llms.txt: нужен ли он вашему сайту (честный ответ)

Честный ответ: скорее нет. llms.txt — это предложенный в 2024 году формат текстового файла с картой сайта «для нейросетей», и ни одна крупная поисковая система не подтвердила, что учитывает его в ответах. Google в своём руководстве по генеративным функциям поиска говорит об этом прямо: Google Search не использует файлы llms.txt, и создавать специальные машиночитаемые файлы для попадания в поиск не нужно.

При этом файл ничего не ломает, делается за полчаса и в отдельных сценариях полезен. У этого сайта он есть. Ниже — что это такое, кто его действительно читает, когда он оправдан и что стоит делать вместо него, если цель — попадать в ответы нейросетей.

Что это такое

llms.txt кладётся в корень сайта (example.ru/llms.txt) и представляет собой markdown-файл: краткое описание проекта и список важных страниц со ссылками и одной строкой пояснения к каждой. По задумке автора формата языковая модель, у которой мало места в контексте, читает такой файл и понимает структуру сайта без обхода всех страниц.

Идея выросла из простого наблюдения: HTML современного сайта на 90 % состоит из меню, скриптов и обёрток, а модели нужен текст. robots.txt говорит роботам, куда нельзя; sitemap.xml перечисляет адреса; llms.txt пытается объяснить смысл.

Важное отличие от robots.txt: тот стал стандартом де-факто, потому что его поддержали поисковые системы. У llms.txt этой поддержки нет.

Кто его читает, а кто нет

Отдельно про Яндекс, раз уж для рунета он главный: поддержку llms.txt Яндекс не заявлял. Это именно «не заявлял», а не «не читает» — о том, что происходит внутри чужого робота, я знать не могу; я знаю только, что публичного обещания учитывать этот файл нет ни в документации Вебмастера, ни в анонсах. Строить на нём видимость в Алисе AI поэтому нельзя: там работают разметка, структура страницы и прямые ответы в тексте.

Проверить статус легко и самому: откройте официальную документацию поисковой системы и поищите там llms.txt. Если формат не упомянут — значит, его влияние на выдачу вам никто не обещал.

Отдельно про «GPTBot скачал мой llms.txt, значит, он работает». Факт скачивания файла роботом не означает, что содержимое влияет на ответы. Роботы скачивают всё, что доступно.

Когда он всё-таки оправдан

Три случая, где файл приносит пользу:

1. Документация и техническая база знаний. Разработчики и их ИИ-агенты реально ходят по такому файлу — это его родная среда.
2. Сайт, у которого есть свой ассистент или бот. Тогда llms.txt становится вашей же служебной картой смыслов: вы её пишете и вы её читаете.
3. Большой сайт со сложной структурой, где карта смыслов полезна и людям — как приличное оглавление.

И один случай, когда он точно не нужен: сайт из пяти страниц, у которого нет ни структуры, ни текстов. Там файл станет оглавлением к пустоте.

Как он устроен у меня

У этого сайта /llms.txt есть, и вот почему честно рассказать, как именно:

Файл не написан руками. Он собирается из того же реестра страниц, из которого строится карта сайта: путь, заголовок, одна строка о содержании. Статьи подставляются из реестра блога. Поэтому файл не может устареть — новая страница попадает в него автоматически, а старая исчезает вместе с роутом.

Стоимость такого решения — несколько десятков строк кода, которые всё равно существовали ради sitemap.xml. Именно поэтому файл на сайте есть: не потому, что он даёт трафик, а потому, что он ничего не стоит и заодно служит внятным оглавлением проекта.

Если бы его пришлось поддерживать руками — списки страниц, описания, ссылки, — я бы его не делал. Файл, который надо обновлять и который никто не обязан читать, устареет к третьему месяцу и начнёт врать.

Что делать вместо него

Если цель — попадать в ответы ChatGPT, Алисы и GigaChat, работает другое, и это скучные вещи:

• Прямой ответ в первом абзаце. Нейросеть забирает готовую формулировку, а не «подводку про современный мир».
• Контент, доступный без выполнения JavaScript. Если текст появляется только после работы скриптов, часть роботов увидит пустую страницу.
• Разметка schema.org. Она не «оптимизация под ИИ», а подпись к фактам — разбор в статье «Schema.org простыми словами».
• Извлекаемые факты. Название, город, услуги, цены и контакты — текстом, а не картинкой с прайсом.
• Скорость и доступность. Робот с таймаутом ведёт себя как посетитель с плохим интернетом: не дождался — ушёл.

Полная картина — в статье «Что такое GEO». А проверить, что из этого уже есть на вашем сайте, можно экспресс-аудитом: блок «видимость в ИИ-ответах» смотрит и наличие llms.txt, и то, что важнее его — доступность контента без JS и извлекаемость фактов.

Коротко

• llms.txt — предложение формата, а не стандарт: Google прямо пишет, что не использует его, у остальных публичных подтверждений влияния нет.
• Файл не вредит и делается за полчаса — вопрос в том, вместо чего вы его делаете.
• Реально полезен документации, сайтам с собственным ассистентом и агентам разработчика.
• Делайте его генерируемым из реестра страниц, иначе он устареет.
• В ответы нейросетей выводят прямые ответы, текст без JS, разметка и извлекаемые факты — а не файл в корне.

Частые вопросы

Если я не сделаю llms.txt, меня не будет в ответах нейросетей?

Нет. Связи между наличием файла и попаданием в ответы никто не подтверждал, а Google явно говорит, что для его генеративных функций такие файлы не нужны. Видимость определяется содержанием страниц и тем, насколько легко из них достать факты.

Мне предлагают «настройку llms.txt» за отдельные деньги. Брать?

За отдельные деньги — вряд ли. Это генерация текстового файла из уже существующего списка страниц: работа на полчаса, если карта сайта в порядке. Если её продают как самостоятельную услугу с обещанием роста в ИИ-поиске — попросите показать, чем подтверждается эффект.

Чем llms.txt отличается от robots.txt и sitemap.xml?

robots.txt управляет доступом роботов, sitemap.xml перечисляет адреса страниц для поиска, llms.txt пытается объяснить смысл разделов языковой модели. Первые два поддержаны поисковыми системами, третий — нет.

Может ли llms.txt навредить?

Прямого вреда нет. Косвенный — два: время, потраченное вместо работы над текстами, и устаревшее содержимое, если файл ведётся руками. Файл, который описывает несуществующие разделы, хуже отсутствующего.

Стоит ли закрывать llms.txt от индексации?

Нет смысла: это публичный файл со ссылками на публичные страницы. Если в нём оказалось что-то, чего не должно быть видно, проблема не в файле, а в том, что такая страница вообще доступна.