Компания Meta объявила о создании AI Research SuperCluster (RSC), суперкомпьютера с искусственным интеллектом, который нацелен на решение множества задач, использующих большие модели машинного обучения с миллиардами параметров. По словам компании, RSC станет самой быстрой вычислительной машиной в мире после полной доработки к середине 2022 года. Суперкомпьютер стал результатом почти двух лет работы, часть которой велась удаленно в разгар пандемии коронавируса. Сообщается, что RSC должен сыграть фундаментальную роль в развитии метавселенной.
«Мы надеемся, что RSC поможет нам создать совершенно новые системы искусственного интеллекта, которые могут, например, обеспечивать голосовой перевод в реальном времени для больших групп людей, говорящих на разных языках, чтобы они могли беспрепятственно сотрудничать в исследовательском проекте или проходить совместно какую-то игру с дополненной реальностью. В конечном итоге работа, проделанная с RSC, проложит путь к созданию технологий для следующей крупной вычислительной платформы — метавселенной, где приложения и продукты, управляемые ИИ, будут играть важную роль», — сказали исследователи Meta Кевин Ли (Kevin Lee) и Шубхо Сенгупта (Shubho Sengupta).
Meta сообщает, что на данный момент RSC состоит из 760 систем NVIDIA DGX A100, которые в сумме содержат 6080 ускорителей вычислений NVIDIA A100, что ставит его на пятое место в рейтинге самых быстрых суперкомпьютеров мира. Для связи кластеров используется NVIDIA Quantum на InfiniBand с пропускной способностью 200 Гбит/с.
Как отмечается, первые тесты RSC показали, что по сравнению с предыдущей вычислительной системой, которую использовала Meta, процессы в задачах компьютерного зрения обрабатываются до 20 раз быстрее, запуск Nvidia Collective Communication Library (NCCL) происходит более чем в девять раз быстрее и обучение крупномасштабных моделей NLP осуществляется в три раза быстрее. Это означает, что модель с десятками миллиардов параметров может завершить обучение за три недели по сравнению с девятью неделями ранее.
Meta стремится сделать RSC значительно более мощным, и к середине этого года планирует подключить в общей сложности 16 тыс. графических процессоров.
