Четыре технологических гиганта — Google, Microsoft, Anthropic и OpenAI — объединились для поддержки единого стандарта, который позволит владельцам сайтов в один клик запрещать использование их контента для обучения искусственного интеллекта. Новый механизм работает на базе привычного файла robots.txt, куда издатели смогут добавить общий сигнал, автоматически передающий их требования сразу всем ключевым поставщикам ИИ. Инициативу выдвинул технический специалист компании Anthropic Кевин Келли в рамках Рабочей группы по развитию интернета (IETF). До этого момента веб-мастерам приходилось вручную прописывать правила и ограничения для каждого ИИ-робота по отдельности, что сильно усложняло защиту авторских прав.
Все четыре компании официально подтвердили, что их краулеры (роботы сборщики) будут строго соблюдать новый сигнал и обходить стороной закрытые им ресурсы. Anthropic уже внедрила этот инструмент на практике, OpenAI обещает добавить его поддержку в ближайшие месяцы, а Microsoft и Google планируют полноценную интеграцию чуть позже — к 2027 году, о чем Google официально сообщил в своем блоге для разработчиков. При этом Microsoft обещает издателям еще более гибкие настройки: владельцы сайтов смогут отдельно блокировать обучение моделей на своих материалах и отдельно — функцию grounding, то есть извлечение актуальных фактов для мгновенных ответов пользователям. Впрочем, разработчики обещают, что любые ограничения для ИИ никак не повлияют на позиции сайтов в традиционной поисковой выдаче Bing и Google.
Несмотря на важный шаг со стороны лидеров индустрии, к соглашению пока присоединились не все крупные игроки. Представитель Meta Энди Стоун одобрил саму идею общего механизма и выразил готовность участвовать в его обсуждении, однако прямо пока не подтвердил, что компания будет выполнять такие запреты. Это указывает на то, что новый сигнал сам по себе не станет панацеей от несанкционированного сбора данных компаниями, которые откажутся его соблюдать или просто проигнорируют.
Параллельно в индустрии развиваются альтернативные способы защиты контента. Например, стандарт Really Simple Licensing (RSL) предлагает не просто блокировать роботов, а взимать с них плату за доступ к материалам, а сервис Cloudflare и вовсе начал закрывать сайты от ИИ-краулеров по умолчанию. Появление единого сигнала в robots.txt заметно упростит жизнь издателям на фоне массового сбора данных, но реальная эффективность инициативы будет полностью зависеть от того, станет ли этот стандарт обязательным для всего рынка.
