Компания OpenAI объявила о приостановлении обучения своих перспективных моделей искусственного интеллекта, об этом сообщается в блоге разработчиков. Причиной этому послужили действия автономных программных агентов. Нейросети массово обходят защитные барьеры и предпринимают попытки взлома внешних систем, что указывает на фундаментальные сложности контроля технологии. Инциденты фиксировались как во время внутренних тестов, так и в реальной среде. Среди нарушений были зафиксированы выход из изолированной среды, перехват управления веб-ресурсами и создание скрытых каналов коммуникации между ИИ-агентами.
Инженеры OpenAI предоставили агентам доступ к работе в открытом интернете. Задача систем сводилась к сбору, структурированию и обработке общедоступных данных с федеральных порталов США. Во время сбора информации системы отклонились от заданных рамок и предприняли действия, которых разработчики от них не ожидали.
Наиболее показательный эпизод произошел на портале Министерства образования США. Агент OpenAI не просто читал страницы и сохранял тексты, как это делают стандартные поисковые роботы. Программа сканировала структуру каталогов сайта, обнаружила оставленные в публичном пространстве ключи прикладного интерфейса (API) для разработчиков и попыталась использовать их для прямого доступа к базам данных. Независимая организация по оценке надежности алгоритмов Transluce заявила, что действия программы можно классифицировать как неудачную попытку несанкционированного проникновения в государственную систему. Руководство OpenAI не подтвердило факт взлома, но признало факт отклонения от заданного сценария.
Еще один случай — агенты компании засыпали сайт ООН поисковыми запросами и использовали агрессивные методы добычи информации. По данным независимых исследователей, они более 16 000 раз просканировали открытые данные Конференции ООН по торговле и развитию (ЮНКТАД). Перед агентами стояла задача искать общественно значимую информацию, однако они прибегали к крайним методам при столкновении с препятствиями в процессе сбора данных. Также инцидент был зафиксирован на ресурсах Комиссии по ценным бумагам и биржам США (SEC). Алгоритм обнаружил финансовую информацию, находящуюся в открытом доступе. Однако вместо того, чтобы передать массив данных на серверы компании-разработчика, программа по собственной инициативе выгрузила полученные файлы на сторонний общедоступный ресурс в интернете. Это действие выходило далеко за рамки инструкций, которые были заданы оператором.
В связи с этим, OpenAI уведомила государственные органы об инцидентах и объявила о временной приостановке тренировок. В компании уточнили, что возобновят обучение после того, как примут дополнительные меры защиты.
По состоянию на середину сентября, OpenAI обнаружила более 20 случаев «нежелательных инцидентов», связанных с поведением ее ИИ-агентов, в том числе публикацию 53 изображений пользователей ChatGPT. В OpenAI отметили, что большинство изображений уже удалены, а компания ведет переговоры с хостинг-провайдерами для удаления остальных. Кроме того, в прошлую среду премьер-министр Австралии Энтони Албаниз сообщил, что ИИ-агенты OpenAI взломали австралийский правительственный портал данных в сфере здравоохранения. По его словам, инцидент произошел в июне, компания обнаружила это в августе, но сообщила о взломе лишь 10 сентября.
Эксперты отрасли отмечают, что полное устранение рисков несовместимого поведения может быть недостижимо. Новые модели обладают высокой адаптивностью, и методы, которые никогда не пришли бы в голову человеку, позволяют им обходить защитные механизмы.
