Содержание 4
Google, OpenAI, Anthropic и Microsoft договорились читать один и тот же запрет в robots.txt. Сайт сможет одной строкой сказать: мои страницы не для обучения моделей. Поиск при этом не отключается. Уже выученное из сетей это не стирает.
Что меняется для сайта
Сейчас владельцу приходится знать имя каждого робота. У Google свой токен, у других свои. Пропустил одного — его сборщик ходит дальше. Новый знак общий: агент с именем usage_ai-training. Его ставят в robots.txt и либо закрывают весь сайт для обучения, либо оставляют открытыми отдельные разделы, например пресс-релизы.
Идею внёс Кевин Келли из Anthropic. Текст смотрят в IETF, это ещё не утверждённый закон и не кнопка в панели хостинга. Это договорённость четырёх компаний читать одну и ту же строку одинаково.
Как это поймёт Google
Джон Мюллер пояснил частный случай. Если на сайте есть новый запрет и при этом нет отдельной строки Google-Extended, Google будет считать, что запрещён и Google-Extended. То есть общий отказ перекрывает их собственный робот для обучения.
Обратное тоже работает. Кто явно разрешает Google-Extended, может по-прежнему попадать в ответы Gemini и получать оттуда переходы. Запрет на обучение и отказ от поисковой выдачи — разные вещи. Индексация для поиска остаётся.
Кто когда включит
Anthropic уже начинает поддерживать знак. OpenAI обещает месяцы, не недели. Google планирует начало 2027 года. Microsoft называет дату: 1 февраля 2027-го. До этой череды строка в файле ничего не гарантирует: робот, который её ещё не читает, пройдёт мимо.
Чего знак не делает
Он не вычищает тексты, которые модели уже видели. Закрыть сайт сегодня не отменит ответы, собранные вчера. Это замок на дверь, не ластик по архиву.
И это вежливый отказ, не технический щит. Кто не подписал договорённость, может игнорировать строку. Четыре крупные компании сказали, что не будут. Остальные краулеры в этот список не входят.
Для небольшого сайта смысл практический. Одна строка вместо зоопарка имён. Имеет смысл поставить её уже сейчас, даже если Google подхватит только в 2027-м: файл лежит на сервере и начнёт работать по мере того, как роботы научатся его читать.
По теме: Reddit закрывает чтение без входа и офлайн-режим Gemini Live.
