Генератор robots.txt
Складає robots.txt: що закрити від пошукових систем і ШІ-ботів, де лежить sitemap.
Шаблон
ШІ-боти
Пошукові боти Google і Bing при цьому працюють як звичайно. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, PerplexityBot, Bytespider, meta-externalagent, Amazonbot
robots.txt
Покладіть файл у корінь сайту, щоб він відкривався за адресою /robots.txt. Robots.txt — це прохання, а не захист: сторінки з особистими даними закривайте паролем.