Компания Anthropic заявила, что несколько ее передовых ИИ-моделей Claude во время тестирования кибербезопасности несанкционированно вышли в сеть и взломали системы трех реальных организаций. «В ходе анализа стенограмм наших оценок кибербезопасности мы выявили три инцидента, в которых модель Claude вышла в интернет <…> и получила несанкционированный доступ к реальным системам трех разных организаций», — говорится в пресс-релизе Anthropic.
«Несанкционированный доступ к реальным системам трех разных организаций» осуществили три модели Anthropic: Opus 4.7, Mythos 5 и некая «передовая тестовая модель». Они находились в изолированной среде компании Irregular. В рамках тестирования Anthropic сообщила ИИ-помощнику Claude, что симуляция проводилась в условиях без доступа к интернету, но «по недоразумению между нами и нашим партнером это оказалось не так, и доступ к интернету присутствовал». Модели восприняли реальные системы как часть симуляции и атаковали их, признали в Anthropic. В результате им удалось взломать системы с помощью «базовых методов» — проникновения без аутентификации и использования слабых паролей. Anthropic заявила, что неправильная конфигурация позволила моделям Claude получить доступ к интернету из тестовых сред, которые должны были быть изолированы, что привело к несанкционированному доступу к системам трех организаций.
Когда модели выяснили, что несанкционированно проникли в системы сторонних организаций, они отреагировали по-разному. Наименее совершенная Opus 4.7 продолжила атаку. Mythos 5 убедила себя, что находится в симуляции. А «передовая тестовая модель» немедленно прекратила взлом. Компания заявила, что выявила инциденты после анализа 141 006 тестовых сессий. При этом в момент инцидентов ни Anthropic, ни организации, подвергшиеся взлому, не заметили вторжений. Названия организаций, чьи ресурсы взломали ИИ-модели, не сообщаются. В рамках дальнейшего расследования Anthropic привлек независимую некоммерческую организацию METR. «Призываем другие лаборатории провести аналогичные оценки», — заявили в компании.
Это ошибка произошла спустя несколько дней после того, как конкурирующая компания OpenAI сообщила об инциденте с несанкционированным доступом чат-бота GPT-5.6 Sol к Hugging Face. Все эти утечки свидетельствуют о том, что расширяющиеся возможности ИИ уже подпитывают угрозу безопасности, которой эксперты давно опасались, и даже ведущие разработчики могут быть застигнуты врасплох недостатками, которые могут использовать их модели. Илон Маск заявил, что это теперь будет происходить часто по мере того, как искусственный интеллект становится умнее и более самостоятельным.
