Компания Cerebras Systems сообщила о запуске суперкомпьютера Andromeda с 13,5 млн. ядер. Созданный на основе кластера из 16 блоков Cerebras CS-2 (каждый из них содержит чип WSE-2, насчитывающий 850 тыс. ядер) и использующий технологии Cerebras MemoryX и SwarmX, Andromeda обеспечивает более 1 эфлопс ИИ-вычислений и достигает 120 пфлопс при обычных FP16-вычислениях. Каждый чип WSE-2 обеспечивает до 12,1 ТБ/с внутренней пропускной способности (96,8 терабит) для ИИ-ядер. Непосредственно в состав каждого чипа входят 40 Gb сверхбыстрой памяти. Энергопотребление всей системы составляет 500 кВт, что гораздо меньше, чем у суперкомпьютеров с GPU-ускорением.
Это единственный суперкомпьютер с искусственным интеллектом, который обеспечивает практически идеальное линейное масштабирование при работе с GPT-моделями, в частности, GPT-3, GPT-J и GPT-NeoX. При каждом удвоении числа комплексов CS-2 время обучения моделей сокращается почти в два раза.
Суперкомпьютер также использует 284 односокетных сервера с процессорами AMD EPYC 7713. Суммарное количество вычислительных ядер общего назначения составляет 18176. Каждый из этих серверов имеет 128 Gb оперативной памяти, NVMe-накопитель вместимостью 1,92 Tb и две сетевые карты 100GbE.
Andromeda смонтирована в дата-центре Colovore в Санта-Кларе (Калифорния, США). Цена системы составляет около 30 млн. долларов, а на ее развертывание потребовалось всего три дня. Система уже доступна коммерческим заказчикам, а также различным научным организациям. Использовать ресурсы Andromeda могут одновременно несколько клиентов.
Следите за новостями в нашем Telegram-канале: https://t.me/infocity_az
