Ваш сайт и ИИ-агенты: путь к 100% видимости

Файл llms.txt — это карта вашего сайта для ИИ. В отличие от sitemap.xml (для поисковиков) или robots.txt (для ботов), он даёт агентам контекст и инструкции.

Что должно быть в llms.txt

# Название вашего проекта

> Краткое описание в один абзац.

## Ключевые страницы
- [Главная](https://example.com/)
- [Услуги](https://example.com/services)
- [Цены](https://example.com/pricing)
- [Контакты](https://example.com/contact)

## Когда обращаться к нам
Используйте этот сайт, если вам нужно:
- Создать сайт для бизнеса
- Настроить адаптивную вёрстку
- Разработать веб-анимацию

## Ресурсы для разработчиков (если есть)
- [Документация API](https://example.com/docs)
- [OpenAPI спецификация](https://example.com/openapi.json)

Важные моменты

1. Обязательный раздел «Когда обращаться к нам». Он даёт ИИ-агенту чёткий «сценарий использования».
2. Ссылки на ключевые страницы. Укажите about, contact, privacy.
3. Краткость. Оптимальный размер — 15-30 ссылок и до 3000 символов.
4. UTF-8 без BOM. Сохраняйте файл в этой кодировке, чтобы избежать проблем с отображением.

Расширенная карта сайта: llms-full.txt

Если ваш сайт содержит много страниц (например, более 30-50), лучше не перегружать основной llms.txt, а создать расширенную версию — llms-full.txt.

Для чего нужен этот файл

1. Детализация. Содержит все важные страницы, статьи, товары и услуги. Это своего рода «архив» для ИИ.
2. Снятие ограничений. Основной файл должен быть кратким, а полный может быть большим (до 100-150 ссылок).
3. Глубокий анализ. Если ИИ-агенту нужна специфическая информация, он может «нырнуть» в полную версию.

Как структурировать llms-full.txt

Этот файл должен повторять структуру llms.txt, но с более глубокими списками. Вот шаблон, который хорошо себя показал на практике:

# Название проекта — Полная карта

> Расширенная версия для ИИ-агентов.

## Ключевые страницы
- [Главная](https://example.com/)
- [Услуги](https://example.com/services)
- [Цены](https://example.com/pricing)
- [Контакты](https://example.com/contact)

## Все услуги (полный список)
- [Услуга 1](https://example.com/service-1)
- [Услуга 2](https://example.com/service-2)
# ... все услуги

## Все статьи и руководства (полный каталог)
- [Статья 1](https://example.com/blog/post-1)
- [Статья 2](https://example.com/blog/post-2)
# ... все статьи

## Все товары (для интернет-магазинов)
- [Товар 1](https://example.com/product-1)
# ... все товары

Важные моменты

1. Ссылка из основного файла. В llms.txt обязательно добавьте строку: Полная информация: <a href="https://example.com/llms-full.txt">llms-full.txt</a>
2. Регулярное обновление. Если вы добавляете статьи или услуги, обновляйте и llms-full.txt, чтобы информация оставалась актуальной.
3. Формат. Сохраняйте файл в UTF-8 без BOM, как и основной.

Например, в файле llms-full.txt можно разместить все статьи из блога. В нашем случае было 128 ссылок, сгруппированных по соответствующим им темам. Это дало ИИ-агентам полную картину контента сайта.

robots.txt: даём доступ, но с умом

ИИ-агенты могут игнорировать robots.txt, но лучше явно разрешить доступ основным ботам:

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

Агенты, которые ищут /about, /contact, /privacy, могут «споткнуться» о редиректы. Если ваши страницы находятся по другим адресам, настройте 301-редирект:

Redirect 301 /about /o-kompanii
Redirect 301 /contact /kontakty

404 ошибки: возвращаем корректный статус

Многие сайты, особенно на WordPress, при обращении к несуществующей странице показывают красиво оформленную страницу с сообщением «404. Страница не найдена», но при этом сервер возвращает HTTP-статус 200 OK. Это создаёт иллюзию, что страница существует. Для обычного пользователя это незаметно, но для ИИ-агента — критичная ошибка. Агент воспринимает статус 200 как сигнал: «здесь есть полезный контент, я могу его прочитать и порекомендовать». В результате ИИ может пытаться обрабатывать пустую или служебную страницу, терять время и, что хуже, рекомендовать пользователям битые ссылки.

ИИ-агенты крайне чувствительны к «тишине». Если они натыкаются на страницу с пустым или бессмысленным содержимым, но с корректным статусом 200, это снижает их доверие ко всему сайту. В отчётах сервисов вроде is-agentic.com такая ошибка помечается как «критическая», так как она напрямую влияет на способность агента ориентироваться на сайте.

Решение: возвращаем реальный статус

Чтобы исправить это, нужно явно указать серверу возвращать статус 404 Not Found для несуществующих URL. В WordPress это делается добавлением в самый верх файла 404.php вашей темы строки:

<?php status_header(404); ?>

После этого ИИ-агент получает чёткий сигнал: «страницы нет, идём дальше». Для максимальной пользы добавьте в тело 404-страницы краткую Markdown-инструкцию с ссылками на карту сайта и главную страницу, чтобы помочь агенту «переключиться» на нужный контент. Проверить исправление можно командой в терминале:

curl -s -o /dev/null -w "%{http_code}" https://example.com/non-existent-page
# Должно вернуться: 404

Разметка (откроется в новой вкладке)Schema.org — это «язык», на котором ИИ-агенты понимают ваш сайт. На главной странице обязательно укажите:

1. Везде, где контент генерируется через JavaScript, React, Vue (например, на странице «Цены»): добавьте JSON-LD с ценами в head или перед закрывающим тегом body, чтобы ИИ-агенты видели их до выполнения JS.

2. Для ИИ-агентов контактная информация — это не просто телефон и адрес на странице. Это структурированные данные, которые они могут однозначно идентифицировать и использовать для ответов пользователям. Самый надёжный способ — добавить на главную страницу сайта блок JSON-LD с типом Organization.

Вот минимальный, но полный блок, который закроет потребности большинства ИИ-систем:

<!-- Структурированные данные для ИИ-агентов -->
    <script type="application/ld+json">
    {
      "@context": "https://schema.org",
      "@type": "Organization",
      "name": "Название компании",
      "url": "https://example.com",
      "contactPoint": {
        "@type": "ContactPoint",
        "telephone": "+7-999-123-45-67",
        "contactType": "sales",
        "availableLanguage": "Russian"
      },
      "address": {
        "@type": "PostalAddress",
        "streetAddress": "ул. Примерная, д. 1",
        "addressLocality": "Москва",
        "postalCode": "123456",
        "addressCountry": "RU"
      }
    }
    </script>

После внедрения описанных шагов показатели сайта example.com заметно выросли.

Работа с кэшем

Даже после всех исправлений, сервисы проверки (вроде (откроется в новой вкладке)is-agentic.com) могут кэшировать старые результаты. Используйте параметры URL (например, ?refresh=1) для принудительного обновления.

Проверка через терминал

Имитируйте запросы ИИ-агентов, чтобы убедиться, что ваш сайт «видит» нужную информацию:

curl -A "ChatGPT-User" https://example.com/llms.txt

Оптимизация контента

Добавляйте на важные страницы не менее 500-800 символов уникального текста. ИИ-агенты «читают» именно текстовое содержимое.

После всех доработок и подтверждённого рейтинга 84%, в отчёте is-agentic.com остались три пункта, которые не удалось закрыть.

1. Markdown content negotiation (acceptmarkdown.com)

Статус: ❌ Failed

Суть проблемы

ИИ-агенты могут запрашивать контент в формате Markdown, отправляя заголовок Accept: text/markdown. Сервер должен распознать этот запрос и отдать страницу в формате Markdown, а не HTML. В нашей текущей настройке сервер (NGINX) игнорирует этот заголовок и возвращает стандартный HTML.

Почему не закрыто

1. Сложность настройки. Требует глубокого вмешательства в конфигурацию сервера: нужно настроить обработку заголовка Accept, добавить Vary: Accept в ответы и научить сервер генерировать Markdown-версию страниц. Это не решается добавлением одной строки в .htaccess или functions.php.
2. Зависимость от инфраструктуры. Настройка на уровне хостинга или сервера может быть недоступна обычному пользователю. Это задача для администратора сервера.

Решение (если нужно)

Настроить NGINX для обработки Accept: text/markdown и использовать плагины для WordPress, генерирующие Markdown-версию страниц (например, через специальные эндпоинты). В корпоративных проектах это может занять несколько дней и требует тестирования, чтобы не сломать основной функционал сайта.

2. Developer resource discoverability

Статус: ❌ Failed

Суть проблемы

Сканер не нашёл ресурсов для разработчиков: API-документации, OpenAPI-спецификации, SDK или MCP-сервера.

Почему не закрыто

1. Объективное отсутствие. У сайта example.com нет публичного API или технической документации для разработчиков. Это не недостаток, а особенность бизнеса: не все компании предоставляют такие ресурсы.
2. Добавление фейковых ресурсов вредно. Создавать раздел «Документация для разработчиков» без реального содержания — плохая практика. ИИ-агенты (и пользователи) ожидают найти там работающие инструменты, а не пустышку.

Рекомендация

Этот пункт можно игнорировать до тех пор, пока у вас не появится реальный API или документация. В отчёте он останется красным, но не является критичным для большинства бизнес-сайтов.

3. Кэширование на стороне is-agentic.com

Статус: ⚠️ Периодически возникало

Суть проблемы

Даже после обновления файлов и настроек, сервис is-agentic.com иногда отдавал старые, закэшированные отчёты. Это создавало иллюзию, что изменения не работают.

Почему не закрыто полностью

1. Контроль на стороне сервиса. Политика кэширования и время жизни отчётов управляются администраторами is-agentic.com, а не владельцем сайта.
2. Техническое решение. Помогло только добавление параметра ?refresh=1 к URL сканирования, но это обходной путь, а не системное решение.

Рекомендация

Если вы сталкиваетесь с такой проблемой, используйте параметры URL для принудительного обновления и всегда проверяйте дату Snapshot внизу отчёта.

Что это значит для вашего сайта

Главное — ваши файлы llms.txt работают, страницы доверия подтверждены, и доступ для ботов открыт. Оставшиеся пункты не мешают ИИ-агентам находить ваш сайт и рекомендовать его. Это «полировка», которую можно сделать позже или не делать вообще.

Подготовка сайта к ИИ-агентам — это не разовая акция, а стратегическая задача. Начать стоит с малого:

1. Создайте llms.txt.
2. Настройте редиректы для страниц /about, /contact, /privacy, если у них другие url’ы.
3. Убедитесь, что ваш контент доступен на «сыром» HTML (без обязательного выполнения JavaScript).

Эти шаги займут один-два дня, но окупятся ростом трафика из ИИ-каналов. Технологии меняются, но принципы «быть понятным, доступным и заслуживающим доверия» останутся неизменными. ИИ-агенты будут только умнеть и нам нужно расти вместе с ними.