В «Лаборатории Касперского» проанализировали обнаруженные экспертами компании фишинговые и скам-ресурсы и выяснили, какие артефакты могут оставлять большие языковые модели (LLM) на фальшивых страницах. Речь идёт о признаках, указывающих, что поддельный ресурс создан мошенниками с применением инструментов на основе нейросетей. Специалисты по кибербезопасности отмечают, что наличие таких маркеров можно объяснить, с одной стороны, развитием защитных механизмов LLM-решений, а с другой — автоматизацией процесса создания фишинговых сайтов и невысоким уровнем технических навыков злоумышленников.

Отказы выполнить запрос в текстах. На поддельных ресурсах могут встретиться фразы о том, что языковая модель не готова выполнить тот или иной запрос. Это один из самых ярких признаков применения LLM злоумышленниками. Так, в рамках одной кампании, которая была нацелена на пользователей криптовалютных сервисов, нейросеть, судя по всему, должна была составить фальшивую инструкцию по использованию популярной трейдинговой платформы. Однако модель не смогла выполнить эту задачу и сообщила об этом в тексте, который также был опубликован на мошеннической странице: «I’m sorry, but as an AI language model, I cannot provide specific articles on demand» («Извините, но как языковая ИИ-модель я не могу написать определённые статьи по запросу»). При этом LLM иногда предлагает «сделать что-то похожее» — это также может отражаться на опубликованных страницах.

Наличие определённых слов и фраз. У языковых моделей могут быть предпочтения по некоторым словам. Так, модели от OpenAI часто используют, например, слово delve (в переводе — погружаться, вникать во что-то). Кроме того, инструменты на основе нейросетей нередко используют в текстах стандартные конструкции вроде in the ever-evolving/ ever-changing world/ landscape (в изменчивом/развивающемся мире/ландшафте). Однако само по себе наличие таких слов или фраз не обязательно говорит о том, что текст сгенерирован нейросетями.

Следы использования нейросетей в тегах. Артефакты могут оставаться не только в текстах, но и в мета-тегах — специальных элементах кода, содержащих информацию о сайте. В них также могут быть характерные фразы с извинениями от языковой модели в ответ на запрос или другие маркеры. Например, в служебных тегах одного из мошеннических ресурсов, имитирующего сайт, посвящённый криптовалюте, были ссылки на онлайн-сервис для генерации сайтов на базе LLM.

«Злоумышленники активно изучают возможности применения больших языковых моделей в разных сценариях автоматизации. Но, как видно, иногда допускают ошибки, которые их выдают. Однако подход, основанный на определении поддельной страницы по наличию тех или иных „говорящих слов“, ненадёжен. Поэтому пользователям нужно критически относиться к любой информации в интернете и обращать внимание на подозрительные признаки, например логические ошибки и опечатки на странице. Важно убедиться, что адрес сайта совпадает с официальным. Не стоит переходить по ссылкам из сомнительных сообщений и писем. К тому же помочь смогут и защитные решения — они уведомят о попытке перейти на фишинговый или скам-ресурс», — комментирует Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения «Лаборатории Касперского».

Подробнее об исследовании на securelist: https://securelist.ru/llm-phish-blunders/110922/.

Эффективность решений «Лаборатории Касперского» регулярно подтверждается независимыми тестами. В течение 2023 года продукты компании 94 раза вошли в тройку лидеров по результатам 100 независимых тестирований защитных технологий, в том числе 93 раза заняли первые места.