Растущая популярность больших языковых моделей (LLM, Large Language Models) не только облегчает выполнение типовых задач и повышает доступность информации, но и создает принципиально новые риски в области информационной безопасности. О том, как можно использовать LLM, сегодня активно спорят не только эксперты отрасли, но и злоумышленники. Специалисты «Лаборатории Касперского» провели исследование, целью которого стало освещение деятельности дарквеб-сообщества, связанной с вредоносным применением инструментов искусственного интеллекта (ИИ). Чат-боты и прочие инструменты на базе ИИ не опасны сами по себе, но злоумышленники могут использовать их в неправомерных целях. Важно понимать, как именно они могут это делать, чтобы выстроить более эффективную защиту от постоянно развивающихся угроз.
Использование GPT на теневых форумах
Участники теневых форумов обмениваются способами использования ChatGPT для неправомерных целей. Например, в одном сообщении предлагается использовать GPT для генерации полиморфного вредоносного кода, который способен видоизменяться, сохраняя базовую функциональность. Обнаруживать и анализировать подобные программы значительно сложнее, чем обычные зловреды. Автор сообщения предлагает использовать API OpenAI для генерации кода с заданной функциональностью. Таким образом с помощью обращения к легитимному домену (openai.com) из инфицированного объекта злоумышленник может сгенерировать и запустить вредоносный код, обходя ряд стандартных проверок безопасности. Помимо этого, злоумышленники стали часто использовать ChatGPT и прочие инструменты на базе искусственного интеллекта при разработке вредоносных продуктов или в иных противоправных целях. На скриншоте ниже посетитель теневого форума описывает, как использование ИИ помогло ему решить проблему при обработке дампов пользовательских данных.
Типовые задачи, для решения которых раньше требовался определенный опыт и знания, сейчас решаются одним запросом, что резко снижает порог входа во многие сферы, в том числе и в преступную. Подобные тенденции могут увеличивать потенциальное количество атак. Действия, для которых ранее требовалась команда людей с определенным опытом, сейчас могут совершать даже новички. Использование языковых моделей для решения типовых задач и получения информации стало настолько популярным, что на некоторых теневых форумах в функциональность по умолчанию встроены ответы от ChatGPT или аналогов. Ниже приведен пример автоматически сгенерированного ответа на пост участника тематического преступного форума. В нем ИИ дает совет по прошивке телефона.
Джейлбрейки
Чтобы языковая модель могла давать ответы, связанные с преступной деятельностью, злоумышленники придумывают наборы особых команд, которые могут открывать дополнительную функциональность. Такие наборы команд для LLM собирательно называются jailbreak. Они весьма распространены и активно дорабатываются пользователями различных социальных платформ и участниками теневых форумов. Есть злоумышленники, которые не только выискивают подобные команды в отдельных сообщениях, но и собирают целые коллекции подобных наборов.
Тут следует отметить, что далеко не все запросы в подобных коллекциях созданы для противоправных действий и снятия ограничений; они могут быть предназначены и для получения более точного результата для конкретной легитимной задачи. При том, что разработчики стремятся ограничить выдачу потенциально опасного контента, они стараются сделать так, чтобы эти ограничения не мешали обычному пользователю. Есть информация, которая, хоть и не является нелегитимной, может использоваться злоумышленниками для проведения атак.
Использование в ПО
Появилось множество утилит и программных решений, использующих GPT для усовершенствования своей работы. В дарквебе вполне реально встретить рекламу нового ПО для операторов вредоносных программ. В числе его особенностей — использование ИИ для обеспечения безопасности оператора и автоматического переключения используемых доменов прикрытия.
Перспективы эксплуатации инструментов open source и программ для пентеста
Различные решения на базе ChatGPT активно тестируются разработчиками ПО с открытым исходным кодом, в том числе в разработках, создаваемых для специалистов по информационной безопасности. Такие проекты могут быть взяты на вооружение злоумышленниками и уже сейчас обсуждаются на соответствующих тематических форумах для использования во вредоносных целях. Одна из утилит с открытым исходным кодом, размещенная на платформе GitHub, предназначена для обфускации кода, написанного на PowerShell. Подобное часто используется как специалистами по кибербезопасности, так и злоумышленниками во время проникновения в систему и попытки закрепиться в ней. Обфускация позволяет повысить шанс остаться незамеченным со стороны систем мониторинга и антивирусных решений. С помощью сервиса Kaspersky Digital Footprint Intelligence был обнаружен пост на теневом форуме, в котором злоумышленники делятся этой утилитой, показывают, как ее можно использовать для вредоносных целей и какой результат это даст.
Существует ряд других легитимных утилит, которыми эксперты сообщества делятся в исследовательских целях. Безусловно, они полезны в первую очередь для специалистов по кибербезопасности и некоторые из них являются ценным активом с точки зрения развития сообщества и даже индустрии в целом. Однако стоит всегда помнить, что злоумышленники тоже постоянно находятся в поиске инструментов для автоматизации вредоносной активности и снижения порога входа в киберкриминальную сферу.
Опасные аналоги ChatGPT
Опасность представляют и такие проекты, как WormGPT, XXXGPT, FraudGPT. Это языковые модели, рекламируемые как замена ChatGPT с отсутствующими ограничениями оригинала и дополнительной функциональностью. Повышенный интерес к подобным решениям может обернуться для авторов проблемой. Большая часть обсуждаемых решений может быть использована как в правовом поле, так и для нелегальной активности. Проект WormGPT был закрыт в августе 2023 года из-за реакции сообщества, хотя разработчики утверждают, что их изначальной целью не были исключительно противоправные действия, а причиной закрытия стали многочисленные публикации в СМИ, освещающие проект как однозначно вредоносный и опасный.
Несмотря на закрытие проекта, специалисты «Лаборатории Касперского» постоянно выявляют множество сайтов и объявлений, предлагающих купить доступ к нашумевшей WormGPT. Злоумышленники не только используют эту языковую модель для своих целей, но и создали целый сегмент фейковых объявлений. Отличительная особенность таких сайтов заключается в том, что они созданы как типичные фишинговые. Сайты отличаются как по дизайну, так и по предлагаемым ценам и способам оплаты. Распространенность подобных предложений вынудила авторов проекта WormGPT еще до закрытия начать предупреждать пользователей о возможности обмана.
Пример WormGPT не является единственным, и, как мы отметили выше, существует множество других моделей. Многие из них не имеют оригинальных ограничений и могут предоставлять рабочие куски кода для такого опасного ПО, как кейлоггеры, способные записывать нажатия клавиш пользователем. Приведенные примеры кода не являются сложными и будут легко замечены большинством антивирусных решений, однако сама возможность их генерации вызывает серьезные опасения.
Продажа аккаунтов
Опасность как для пользователей, так и для компаний представляют и краденые аккаунты от платной версии ChatGPT. Например, участники форума бесплатно распространяют аккаунты, предположительно полученные из лог-файлов вредоносных программ. Данные аккаунтов собираются с зараженных устройств пользователей. Еще один пример — сообщение о продаже взломанного аккаунта от премиальной версии ChatGPT. Продавец предупреждает о том, что нельзя менять данные аккаунта и следует удалять созданные диалоги: это нужно, чтобы повысить вероятность остаться незамеченным для владельца аккаунта и продолжать пользоваться его учетной записью.
Помимо взломанных аккаунтов распространена продажа автоматически созданных учетных записей с бесплатной версией модели. Злоумышленники регистрируются на платформе с помощью автоматических средств, используя поддельные или временные данные. Такие аккаунты имеют лимит на количество запросов к API и продаются пакетами, что позволяет экономить время и сразу перейти на новый аккаунт, как только предыдущий перестанет работать.
***
Конечно, многие из рассмотренных решений не представляют реальной угрозы ввиду их бесхитростности. Тем не менее, технологии развиваются стремительными темпами, и вполне вероятно, что вскоре возможности языковых моделей позволят осуществлять сложные атаки. «Языковые модели не являются угрозой сами по себе. Опасность возникает тогда, когда они попадают в руки злоумышленников. Я убежден, что вместо того, чтобы бояться технологий, мы должны научиться правильно работать с ними и строить защиту от новых сценариев атак», — комментирует официальный представитель «Лаборатории Касперского» в Азербайджане Мушвиг Мамедов.
Поэтому не забывайте соблюдать ключевые правила кибербезопасности, повышать цифровую грамотность, чтобы знать, какими возможностями располагают злоумышленники, а также использовать надежные и комплексные защитные решения. Например, решения «Лаборатории Касперского» ежедневно обнаруживают в среднем 467 тысяч новых вредоносных файлов, подавляющее большинство из которых обрабатывается различными автоматизированными системами, в том числе с применением машинного обучения, без участия человека.
