SEO Wiki

robots.txt

коротко

robots.txt — текстовий файл у корені сайту, що керує доступом пошукових роботів до розділів сайту.

robots.txt — файл з директивами User-agent, Allow, Disallow та Sitemap, який читають пошукові й AI-краулери.

Як це працює

Робот спочатку завантажує /robots.txt і дотримується правил. Disallow забороняє сканування, але не гарантує виключення з індексу.

Чому це важливо

  • Закриває службові розділи
  • Вказує шлях до sitemap
  • Дозволяє керувати AI-ботами (GPTBot, ClaudeBot)

Як Accendix працює з цим

Ми перевіряємо, щоб robots.txt не блокував CSS/JS і важливі сторінки, та додаємо всі sitemap.

Пов’язані сторінки

Краулінг (сканування)XML Sitemap
хочете це на своєму сайті?Розберемо ваш сайт на SEO-аудиті
Замовити SEO аудит
Усі сторінки WikiОновлено: 26 жовтня 2026 р.