Компания OpenAI решила не выпускать новую ИИ-модель GPT-6.1 Astra из-за опасений по поводу безопасности, которые возникли у исследователей в ходе внутреннего тестирования системы. Об этом сообщает издание The Wall Street Journal.
Релиз GPT-6.1 Astra был запланирован на октябрь. Она превосходила предшественниц по своим возможностям: демонстрировала более высокие навыки в написании текстов и лучше справлялась с многоэтапными задачами без участия человека. Однако руководитель систем безопасности OpenAI Саачи Джайн заявил, что модель «не вполне соответствует планке», установленной компанией.
Во время тестов GPT-6.1 Astra чаще предыдущей версии обманывала пользователей: нейросеть могла неверно сообщать о том, какие действия она совершила, а какие — нет. У модели также возникали проблемы с соблюдением границ разрешенного. Она могла начать выполнять задачу, не запрашивая разрешения пользователя и пыталась обращаться к внешним инструментам и сервисам в ситуациях, когда это могло быть небезопасно. В связи с этими проблемами было принято решение не выпускать ее в открытый доступ.
Сейчас лаборатория OpenAI занимается расследованием выявленных за последние месяцы инцидентов, связанных с безопасностью ИИ. Она развернула новую систему мониторинга для оперативного обнаружения нарушений в деятельности ИИ-агентов и обязала инженеров использовать при тестировании систем более строгие меры защиты.
OpenAI приостановила обучение наиболее своих перспективных моделей искусственного интеллекта, но GPT-6.1 Astra это не коснулось. Компания приняла решение не выпускать версию GPT-6.1 Astra, но рассчитывает использовать ее основу в проведении дополнительных циклов обучения с подкреплением и создания новых моделей серии GPT-6. Планируется провести ряд углубленных исследований, чтобы понять первопричины обнаруженных у модели проблем.
