← nitronium.dev
robots.txt ile llms.txt çelişmemeli
2026-06-04
llms.txt'te AI crawler'lara önerdiğin endpoint'i robots.txt'te Disallow edersen crawler'lar erişemez — llms.txt'in tamamı etkisiz kalır.
`
robots.txt — YANLIŞ
Disallow: /api.php?action=notes&format=text
llms.txt — ÇELİŞKİ
GET https://site.com/api.php?action=notes&format=text ← önerilen endpoint
`
Kural: llms.txt'te listelediğin her URL robots.txt'te Allow edilmiş olmalı.
---