На I/O 2023 Google анонсировал облачный ИИ-суперкомпьютер Compute Engine A3, который сможет предложить клиентам компании до 26 тыс. ускорителей вычислений NVIDIA H100.
«Внедрение современных моделей искусственного интеллекта и машинного обучения требует больших объемов вычислений как для обучения базовых моделей, так и для обслуживания этих моделей после их обучения. Учитывая требования этих рабочих нагрузок, универсального подхода недостаточно — нужна инфраструктура, специально созданная для ИИ», — отмечают в Google.
Клиенты Google Cloud смогут тренировать и запускать приложения ИИ через виртуальные машины A3 и использовать службы разработки и управления ИИ Google, доступные через Vertex AI, Google Kubernetes Engine и Google Compute Engine. Виртуальные машины A3 основаны на чипах Intel Xeon четвертого поколения (Sapphire Rapids), которые работают в связке с ускорителями NVIDIA H100. Суперкомпьютер A3 построен на основе сетевой структуры Jupiter. Одна виртуальная машина A3 включает восемь ускорителей H100, соединенных между собой с помощью запатентованной технологии NVIDIA. Ускорители будут подключены через коммутаторы NVSwitch и использовать NVLink со скоростью обмена данными до 3,6 Тбит/с. Ускорители на GPU от NVIDIA стали стандартом для построения инфраструктуры ИИ.
Google утверждает, что A3 обеспечивает производительность для задач ИИ до 26 экзафлопс, что значительно сокращает время и затраты на обучение ИИ. A3 является первым облачным ИИ-суперкомпьютером, в котором GPU подключены через инфраструктурный процессор (IPU) Mount Evans, разработанный совместно Google и Intel. «В A3 используются IPU со скоростью 200 Гбит/с, передача данных от одного GPU к другому осуществляется в обход CPU через отдельные интерфейсы. Это позволяет увеличить пропускную способность сети до 10 раз по сравнению с нашими виртуальными машинами A2, с низкими задержками и высокой стабильностью пропускной способности», — утверждает компания.
Следите за новостями в нашем Telegram-канале: https://t.me/infocity_az
