Облачный гигант утверждает, что его новейший ИИ-чип обеспечивает более высокую энергоэффективность, улучшенную производительность и доступность для рабочих нагрузок ИИ. Компания Nvidia доминирует в мировой гонке искусственного интеллекта по обучению больших языковых моделей, однако во вторник на конференции re:Invent компания AWS представила свой чип Trainium3, намереваясь бросить вызов доле рынка Nvidia.
Облачный гигант заявил, что UltraServers, вмещающие до 144 чипов Tranium3, обеспечивают в 4,4 раза большую вычислительную мощность, чем предыдущие поколения, а энергоэффективность повышается в четыре раза, наряду с увеличенной пропускной способностью памяти.
AWS заявила, что предварительные испытания показывают, что компании могут сэкономить до 50% затрат по сравнению с обучением на графических процессорах, предоставляя компаниям, наращивающим внедрение ИИ, возможность сэкономить баланс.
Среди компаний, тестирующих новые чипы, были Anthropic, Karakuri, NetoAI, Ricoh и Splash Music.
Управляемый сервис Amazon Bedrock для базовых моделей уже обслуживает производственные рабочие нагрузки, а чипы теперь готовы к развертыванию в масштабах предприятия.
AWS заявляет, что её EC2 UltraClusters 3.
0 может объединить тысячи UltraServer, каждый из которых оснащён до миллиона чипов Trainium, что в 10 раз больше, чем у предыдущих поколений. «Такой масштаб позволяет реализовывать проекты, которые раньше были просто невозможны: от обучения мультимодальных моделей на наборах данных из триллионов токенов до выполнения вывода в реальном времени для миллионов одновременно работающих пользователей», — сообщила компания сегодня в своем блоге.
По словам компании, при максимальной конфигурации чипа/сервера Trainium3 может обеспечить производительность до 362 FP8 PFLOP, демонстрируя в 4 раза меньшую задержку, что позволяет быстрее обучать более крупные модели и выполнять вывод в больших масштабах.
По данным исследовательской компании Kearney, компания Nvidia по-прежнему удерживает внушительное господство на рынке чипов логического вывода и обучения, занимая долю рынка в 90%.
В октябрьском отчёте компании прогнозируется, что доля рынка Nvidia сократится до 70% к 2030 году из-за усиления конкуренции со стороны AMD, Intel и AWS.
Отчасти это снижение будет обусловлено снижением объёма обучающих задач, требующих мощных графических процессоров, по мере того, как мир переходит к более высоким потребностям в области логического вывода.
«Поскольку модели ИИ масштабируются по размеру и сложности, затраты и риски, связанные с опорой на одного поставщика, становятся невыгодными», — говорится в отчете.
AWS уже работает над чипсетами Trainium следующего поколения Компания заявила, что Trainum4 уже находится в разработке и будет спроектирован так, чтобы обеспечить в шесть раз большую вычислительную мощность, в три раза большую производительность FP8 и в четыре раза большую пропускную способность памяти для поддержки обучения моделей и вывода.
«Вы сможете обучать модели ИИ как минимум в три раза быстрее или выполнять как минимум в три раза больше запросов на вывод, а дополнительные преимущества будут реализованы за счет постоянного совершенствования программного обеспечения и оптимизации под конкретные рабочие нагрузки», — сообщает Amazon.
Trainium4 также будет поддерживать высокоскоростную технологию межсоединений микросхем Nvidia NVLink Fusion, что позволит интегрировать Graviton и Elastic Fabric Adapter (EFA) для совместной работы в обычных стойках, предлагая экономичную альтернативу стоечному масштабированию ИИ без ущерба для производительности.
Рубрика: Наука и Hi-Tech. Читать весь текст на android-robot.com.