Inicio › Rastreadores de IA y robots.txt - Qué bots permitir o bloquear (GPTBot, Google-Extended, ClaudeBot)

Rastreadores de IA y robots.txt - Qué bots permitir o bloquear (GPTBot, Google-Extended, ClaudeBot)

Guía de rastreadores de IA: qué hacen GPTBot, OAI-SearchBot, Google-Extended, ClaudeBot, PerplexityBot y otros, qué pasa si los bloqueas y ejemplos de robots.txt listos para copiar.

10 min de lectura Por Emilio Rodríguez Publicado 19/11/2026

Los rastreadores de IA son los robots con los que las empresas de inteligencia artificial recogen contenido de la web: unos para entrenar modelos, otros para alimentar su buscador y otros para leer una página cuando un usuario lo pide. Con el archivo robots.txt puedes decidir cuáles dejas entrar. Esta guía explica qué hace cada uno y qué consecuencias tiene bloquearlo.

  1. Los tres usos de un rastreador de IA
  2. Tabla de rastreadores
  3. Qué pasa con AI Overviews y AI Mode
  4. Tres estrategias de robots.txt
    1. 1. Abrirlo todo (la opción por defecto)
    2. 2. Aparecer en la búsqueda de IA, pero no entrenar modelos
    3. 3. Bloquear todo lo que sea IA
  5. Qué no consigue el robots.txt
  6. Cómo verificar quién te visita
  7. Checklist rápida
  8. Recursos
  9. Preguntas y respuestas

Los tres usos de un rastreador de IA

Cada empresa documenta sus bots por separado, pero casi todos encajan en una de estas categorías. Distinguirlas evita el error más común: bloquear un bot de entrenamiento creyendo que así desapareces de las respuestas de la IA, o al revés.

Uso Qué hace Ejemplos
Entrenamiento Recoge contenido que puede usarse para entrenar modelos. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot
Búsqueda e índice Construye el índice con el que el producto enlaza y cita webs. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot
Acción del usuario Visita una página concreta cuando alguien se lo pide a la IA. ChatGPT-User, Claude-User, Perplexity-User

Tabla de rastreadores

Empresa User-agent Para qué sirve Si lo bloqueas
Google Googlebot Rastreador de Google Search, incluidas sus funciones. Sales de Search. Es también el control de acceso para AI Overviews y AI Mode.
Google Google-Extended Token de robots.txt: sin user-agent propio. Controla el uso del contenido para entrenar futuros modelos Gemini y para fundamentación en Gemini Apps y Vertex AI. No afecta a Search ni al ranking.
OpenAI OAI-SearchBot Muestra webs en los resultados de búsqueda de ChatGPT. No apareces en sus respuestas de búsqueda, aunque puedes seguir saliendo como enlace de navegación.
OpenAI GPTBot Rastreo cuyo contenido puede usarse para entrenar modelos. Indicas que tu contenido no debe usarse para entrenamiento.
OpenAI ChatGPT-User Acciones iniciadas por un usuario en ChatGPT. Según OpenAI, al actuar por petición del usuario, las reglas de robots.txt pueden no aplicarse.
Anthropic ClaudeBot Recoge contenido que puede contribuir al entrenamiento. Tu contenido futuro se excluye del entrenamiento.
Anthropic Claude-SearchBot Mejora la calidad y precisión de los resultados de búsqueda de Claude. Puede reducir tu visibilidad en esos resultados.
Anthropic Claude-User Accede a webs cuando un usuario de Claude lo necesita. Puede reducir tu visibilidad en búsquedas dirigidas por usuarios.
Perplexity PerplexityBot Muestra y enlaza webs en los resultados de Perplexity. No se usa para entrenar modelos fundacionales, según la propia empresa. Dejas de aparecer en sus resultados.
Perplexity Perplexity-User Visita una página cuando un usuario pregunta. Perplexity indica que generalmente ignora robots.txt.
Apple Applebot Alimenta Spotlight, Siri y Safari, y puede usarse también para entrenar modelos. Sales de esas búsquedas de Apple.
Apple Applebot-Extended No rastrea: solo decide si lo que ya recogió Applebot se usa para entrenar los modelos generativos de Apple. Puedes seguir apareciendo en búsqueda. No cuenta en el ranking.
Common Crawl CCBot Rastreador de una fundación sin ánimo de lucro cuyo archivo abierto se usa en investigación y en el entrenamiento de modelos. Sales de sus futuros rastreos.

Esta tabla recoge la documentación de cada empresa a noviembre de 2026. Puede cambiar, y hay más bots que no incluyo (como los de redes sociales o los de otros buscadores). Si necesitas el listado de bots tradicionales de buscadores, mira cómo identificar robots de búsqueda.

Qué pasa con AI Overviews y AI Mode

Aquí hay una confusión frecuente. No existe un user-agent de Google para bloquear AI Overviews o AI Mode. Según la documentación de Google:

Si bloqueas Googlebot, sales de Google Search entero. Para el GEO en Google, lo que importa sigue siendo estar indexado y ser útil. Mira la Chuleta GEO y SEO e inteligencia artificial.

Tres estrategias de robots.txt

Elige según lo que quieras conseguir. Pon el archivo en la raíz del dominio (https://tudominio.com/robots.txt).

1. Abrirlo todo (la opción por defecto)

Si no tienes reglas para estos bots, el contenido es accesible para todos. Es lo más sencillo y la opción coherente si quieres máxima visibilidad en respuestas de IA.

User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

2. Aparecer en la búsqueda de IA, pero no entrenar modelos

Es la postura más habitual para editores que quieren citas y tráfico sin ceder contenido al entrenamiento.

User-agent: *
Allow: /

# Entrenamiento de modelos: bloqueado
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Búsqueda de IA: permitida (no hace falta una regla, pero puedes dejarla explícita)
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

3. Bloquear todo lo que sea IA

Solo tiene sentido si prefieres no aparecer en esas respuestas. Ten en cuenta que perderás las citas y los enlaces desde esos productos.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Tres detalles para no equivocarte:

Qué no consigue el robots.txt

Cómo verificar quién te visita

Mira primero tus logs de servidor. Un ejemplo para contar visitas por IP de los bots principales (ajústalo al formato de tu log):

grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|CCBot" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Después, comprueba que la IP está en el rango oficial de esa empresa. Estas son las listas que publican:

Anthropic avisa de que bloquear por IP no es un método fiable para excluirse. La vía recomendada es robots.txt.

Un detalle práctico: si usas un cortafuegos o un gestor de bots (por ejemplo, el de tu CDN), esas reglas pueden bloquear a los rastreadores aunque tu robots.txt los permita. Si quieres ser visible para la IA, revisa también esa capa.

Checklist rápida

  1. Decide tu objetivo: visibilidad en IA, protección del contenido o un punto medio.
  2. Separa entrenamiento y búsqueda al escribir las reglas.
  3. Publica el robots.txt en la raíz y pruébalo.
  4. Comprueba el sitemap y que tus páginas importantes están indexadas. Mira sitemap XML.
  5. Revisa los logs al cabo de unos días.
  6. Revisa la lista cada pocos meses, porque las empresas añaden y retiran bots.

Recursos

Preguntas y respuestas

No. GPTBot controla si tu contenido puede usarse para entrenar los modelos de OpenAI. Para aparecer en las respuestas de búsqueda de ChatGPT lo que cuenta es OAI-SearchBot. OpenAI indica que cada configuración es independiente.
No. Según Google, Google-Extended no influye en la inclusión en Search ni se usa como señal de ranking. Solo controla si el contenido puede usarse para entrenar futuros modelos Gemini y para la fundamentación en Gemini Apps y Vertex AI.
Con los mismos controles de Search. Google explica que no hay requisitos adicionales: la página debe estar indexada y poder mostrarse con un fragmento. Para limitar lo que se muestra se usan nosnippet, data-nosnippet, max-snippet o noindex, y para el acceso, las reglas de robots.txt para Googlebot.
Los rastreadores automáticos de las grandes empresas sí lo declaran. Los fetchers que actúan cuando un usuario lo pide (ChatGPT-User, Perplexity-User) pueden no aplicarlo, y cualquiera puede falsificar un user-agent. Si necesitas bloquear de verdad, combina robots.txt con la verificación de IP y las reglas de tu cortafuegos.
OpenAI y Perplexity hablan de hasta 24 horas para reflejar los cambios. En Google puede tardar más: su documentación cita desde varios días hasta varios meses para que los cambios se reflejen en las funciones de IA.

Dashboard SEO gratuito Newsletter en LinkedIn

Biblioteca gratuita

Sigue explorando la chuleta.

Guías, herramientas y recursos SEO ordenados por tema.