# robots.txt — Oposto
# Autorise explicitement les principaux moteurs de recherche IA en plus des crawlers classiques.
#
# [FIX-SEO-NOINDEX-HEADER-2026-08-17] Les routes privées de l'app (/auth, /dashboard,
# /admin, /project/, /account, /notifications) NE SONT PLUS bloquées ici.
# Un Disallow empêche le CRAWL, pas l'INDEXATION : /auth est lié depuis le footer et
# les CTA de toutes les pages publiques, donc Google indexait l'URL sans jamais pouvoir
# lire son contenu → « Indexed, though blocked by robots.txt » dans Search Console.
#
# [FIX-CRAWLER-PRERENDER-2026-08-24] CORRECTIF DE LA PHRASE CI-DESSUS. Elle affirmait que
# le refus d'indexation etait « porte par l'en-tete X-Robots-Tag declare dans vercel.json ».
# C'est FAUX en production : oposto.app est servi par Lovable (DNS 185.158.133.1,
# `Server: cloudflare`), pas par Vercel — vercel.json n'est jamais evalue, et
# `curl -D - https://oposto.app/dashboard` ne renvoie AUCUN en-tete X-Robots-Tag.
# Le noindex des routes privees est desormais pose cote client par le script inline
# d'index.html (bloc [FIX-CRAWLER-PRERENDER-2026-08-24]) : il suffit pour Google, qui
# execute le JS. NE PAS reintroduire de Disallow ici — l'argument d'origine reste valable :
# un Disallow empeche le crawl, donc empeche Google de LIRE le noindex.

User-agent: *
Allow: /

# --- Moteurs de recherche IA / LLM ---
# OpenAI (entraînement + search + publicité)
# [FIX-CRAWLER-PRERENDER-2026-08-24] OAI-AdsBot est OBLIGATOIRE pour ChatGPT Ads : c'est lui
# qui valide la landing page d'une annonce. Il était couvert par `User-agent: *`, mais OpenAI
# demande une autorisation explicite (help.openai.com/en/articles/20001243).
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: OAI-AdsBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google (AI Overviews / Gemini training via Google-Extended)
User-agent: Google-Extended
Allow: /

# Apple Intelligence
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /

# Amazon
User-agent: Amazonbot
Allow: /

# You.com
User-agent: YouBot
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

# Mistral
User-agent: MistralAI-User
Allow: /

# DuckDuckGo assistant
User-agent: DuckAssistBot
Allow: /

# [FIX-CRAWLER-PRERENDER-2026-08-24] /sitemap-index.xml renvoyait 404 : c'est un rewrite
# de vercel.json vers l'edge `sitemap-index`, et oposto.app est servi par Lovable, pas par
# Vercel — aucun rewrite n'est evalue. /sitemap.xml est un fichier reel de public/.
Sitemap: https://oposto.app/sitemap.xml