Дарио Амодеи (Dario Amodei), глава компании Anthropic, создавшей модели искусственного интеллекта Claude, призвал замедлить и начать тщательно контролировать развитие передовых моделей ИИ. В опубликованной в субботу статье Амодеи пишет, что не ставит под вопрос необходимость развития ИИ, но в то же время видит, что он несет с собой серьезные угрозы, вследствие этого, и компаниям и правительствам разных стран нужно дать время, чтобы разобраться с ними. Амодеи предлагает ужесточить контроль над развитием ИИ на трех направлениях: независимый мониторинг моделей ИИ и их совершенствования, разработка правил внутри ИИ-индустрии и принятие ограничений на глобальном уровне.
«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — подчеркнул Амодеи.
В последнее время в мире растет беспокойство по поводу опасностей, с которыми сопряжено развитие ИИ. На этой неделе, в частности, эксперт Anthropic в области безопасности использования ИИ Эван Хьюбингер (Evan Hubinger) заявил, что искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество. Вслед за этим сама компания Anthropic заявила, что заблокировала деятельность неназванных пользователей, которые пытались использовать ее модели искусственного интеллекта для исследований, способных привести к созданию биологического оружия.
Амодеи отмечает, что ИИ-модели совершенствуются невероятно быстро, и в том числе совершенствуется их способность самим создавать следующее поколение ИИ. В своей статье он напоминает о происшествии у его конкурента, компании OpenAI, которая в июле признала, что ее ИИ-агенты без ведома людей устроили кибератаку на посторонние сайты. «[Агенты OpenAI] по сути действовали как коллектив фанатиков», — пишет Амодеи. Сама OpenAI признала, что до июля для нее «не была очевидна важность коммуникации между агентами», и заявила, что ввиду повысившегося риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.
Амодеи призывает развивать ИИ «в сбалансированном темпе, который обеспечит безопасность без отказа от приносимой им пользы». Это не означает, что обучение моделей нужно остановить, но компании должны уделять достаточно времени на настройку и безопасность моделей, а также на их оценку независимыми экспертами. Anthropic, по словам Амодеи, берет на себя такие обязательства в одностороннем порядке и одновременно призывает правительства разных стран потребовать от других компаний-разработчиков передового ИИ последовать ее примеру. При этом законодательство, как признает Амодеи, может не поспевать за развитием сферы ИИ, и потому он призывает другие компании из этой сферы добровольно и сообща выработать соответствующие стандарты.
«Я считаю, что если мы выиграем за счет замедления хотя бы год-два до выхода моделей на критический уровень их способностей, и потратим это время на совершенствование мер безопасности и приведение моделей в соответствие человеческим ценностям, мы существенно снизим вероятность серьезной катастрофы», — пишет Амодеи.
Отдельно глава американской компании касается вопроса международной конкуренции, прежде всего с Китаем. Замедление, по его мнению, должно происходить скоординировано и при этом без того, чтобы США уступили первенство в сфере ИИ Китаю. Для этого замедление должно быть ограниченным. Кроме того, Амодеи призывает власти США принять меры к тому, чтобы ИИ-чипы американских компаний не продавались Китаю, и чтобы в целом эти технологии не попадали в руки автократий.
На статью в блоге Амодеи тут же откликнулись другие видные деятели сферы ИИ. Руководитель платформы Hugging Face Клеман Деланг (Clement Delangue) объявил, что запускает новый проект под названием Open Alignment Initiative (открытая инициатива по приведению ИИ в соответствие человеческим ценностям), а также изъявил желание войти в число тех независимых оценщиков, о которых написал Амодеи. Hugging Face была одной из тех платформ и сайтов, которые взломали агенты OpenAI. Руководители двух конкурирующих компаний в сфере искусственного интеллекта, Сэм Альтман (Sam Altman) из OpenAI и Илон Маск (Elon Musk), также заявили, что согласны с Амодеи.
