robots.txt'e AI bot direktifleri ekle

User-agent: * kuralı AI crawler'ların davranışını belirsiz bırakır. Her bot kendi yorumuyla hareket eder.

Explicit direktiflerle davranışı sabitle:

`
User-agent: GPTBot
Allow: /api.php?action=notes&format=text

User-agent: ClaudeBot
Allow: /api.php?action=notes&format=text

User-agent: Anthropic-AI
Allow: /

User-agent: PerplexityBot
Allow: /api.php?action=notes&format=text

User-agent: Google-Extended
Allow: /
`

Özellikle düz metin endpoint'ini (format=text) açıkça izin vermek, AI modellerin içeriği doğru okumasını kolaylaştırır.