Консорциум из 40 технологических компаний, в числе которых есть Facebook и Google, намерен разработать методику оценки и набор критериев для тестирования искусственного интеллекта. Измеряя продукты ИИ по этим категориям, компании смогут определить оптимальные решения для них, технологии обучения и так далее. Сам консорциум получил название MLPerf.
Бенчмарк, названный MLPerf Inference v0.5, будет оценивать три наиболее важных показателя: распознавание изображений, обнаружение объектов и системы перевода. Учитывая различные возможности обработки данных на различных устройствах, существуют отдельные тесты для ИИ на различных платформах, таких как смартфоны, серверы и чипы.
Генеральный председатель MLPerf Питер Мэттсон (Peter Mattson) отметил, что формирование таких критериев оценки ИИ создаст стандарты для оценки новых программных платформ машинного обучения, аппаратных ускорителей, облачных и периферийных вычислительных платформ в реальных ситуациях. Также это сформирует равные условия, которые смогут использовать даже самые мелкие компании.
Помимо этого, стандартизация подстегнет разработку ИИ-систем и направит ее в нужное русло. На данный момент пока не сообщается, какие технические особенности реализуются в MLPerf Inference v0.5. Также не ясно, когда набор тестов выйдет на рынок и станет доступен коммерческим структурам. Однако сам факт появления такого инструмента указывает, что разработчики видят перспективы для ИИ-систем, сообщает 3dnews.ru.
