Илон Маск, основатель компании xAI, поделился подробностями развития чат-бота Grok, представленного в ноябре 2023 года. Вторая версия выйдет в августе этого года, а третья ожидается к концу текущего года. Обещаны «гигантские улучшения» по сравнению с актуальным вариантом.
Grok 3 будет обучен на 100 000 процессорах Nvidia H100 (Hopper), что является значительным шагом вперед по сравнению с его предшественником Grok 2, при работе над которым было задействовано в 5 раз меньше вычислительных мощностей — 20 000 Nvidia H100.
Процессоры Nvidia H100 играют ключевую роль в разработке искусственного интеллекта, особенно при обработке данных для больших языковых моделей. Стоимость одного процессора оценивается в диапазоне от $30 тыс. до $40 тыс, с возможностью получения скидок при покупке в большом количестве. Таким образом, обучение Grok 3 может потребовать инвестиций в размере от $3 до $4 млрд.
