Что случилось
OpenAI, Google и Microsoft объявили, что будут учитывать общий сигнал в robots.txt — файле, где сайт пишет правила для роботов. Владелец сайта сможет одной группой правил сообщить сразу всем участникам, что не хочет, чтобы его тексты шли на обучение генеративных моделей. Сигнал описан в черновике стандарта IETF: это обычная группа с User-Agent: __usage_ai-training и привычными строками Disallow и Allow. Сроки у компаний разные: OpenAI — «в ближайшие месяцы», Google — в 2027 году, Microsoft — с 01.02.2027. Отдельного анонса в блоге Anthropic мы не нашли.
Зачем тебе
Раньше отказ от обучения приходилось прописывать отдельно для каждой компании: GPTBot, Google-Extended и так далее. Новая группа говорит только об обучении и не запрещает роботам заходить на сайт, а Microsoft прямо пишет, что место в выдаче Bing от неё не зависит. Прежние правила для конкретных роботов продолжат работать. Но у Google есть нюанс: если вы откажетесь от обучения через общую строку и не укажете Google-Extended отдельно, Google сочтёт это запретом Google-Extended — а от него зависит, может ли сайт попадать со ссылками в ответы Gemini.
Как попробовать
Если у вас есть сайт, сначала решите, нужны ли вам ссылки на него в ответах Gemini. Затем сохраните копию текущего robots.txt и добавьте в конец файла отдельную группу из двух строк: User-Agent: __usage_ai-training и Disallow: /. Правила для Googlebot и других поисковых роботов не трогайте. Пока эта группа ничего не меняет — она заработает, когда компании включат поддержку, — поэтому прежние правила для GPTBot и Google-Extended не удаляйте.
Первоисточник
Дата публикации первоисточника — . Пересказ сделан простым языком; точные условия, цены и сроки смотрите по ссылке.