На мероприятии Intel Vision были представлены ИИ-ускорители Gaudi 3. По заявлению Intel они позволяют обучать нейросети в 1,7 раза быстрее, на 50% увеличить производительность инференса и работают на 40% эффективнее самых популярных на рынке H100 от NVIDIA.
Gaudi 3 выполнен по техпроцессу 5 нм (TSMC), он состоит из двух кристаллов, на которые приходится 64 ядра Tensor Processing Cores пятого поколения и восемь матричных математических движков, а также 96 Mb памяти SRAM с пропускной способностью 12,8 ТБ/с и 128 Gb памяти HBM2e с пропускной способностью 3,7 ТБ/с. Кроме того, Gaudi 3 укомплектован 24 контроллерами Ethernet RDMA с пропускной способностью по 200 Гбит/с, которые обеспечивают связь как между ускорителями в одном сервере, так и между разными серверами в одной системе.
Ускоритель будет доступен клиентам в двух форм-факторах. Первый — OAM (HL-328/325L/335) с TDP 450 до 900 Вт. По сравнению с прошлым поколением, Gaudi 3 обеспечивает вдвое большую производительность в FP8 и вчетверо — в BF16, вдвое большую пропускную способность сети и 1,5 раза — памяти. OAM устанавливаются в универсальную плату HLB-325, поддерживающую до восьми модулей. Производительность FP8 — 14,6 PFLOPS.
Второй – двухслотовая карта расширения (HL-388) использует интерфейс PCI Express 5.0 и имеет TDP от 450 до 600 Вт. Производительность FP8 — до 1835 TFLOPS.
Intel Gaudi 3 будут выпускаться в модификациях, предназначенных для систем как с воздушным, так и водяным охлаждением. Массовое производство начнется в конце 2024 года.
