Política de rastreadores: qué bots dejamos entrar y por qué

El robots.txt de esta web toma una decisión que casi nadie explica: permite al buscador de OpenAI y bloquea a su rastreador de entrenamiento. Son dos bots distintos con dos consecuencias distintas, y confundirlos lleva a una de dos cosas: o ceder todo el contenido para entrenar modelos, o desaparecer de las respuestas donde podrías estar citado.

Esta página explica la decisión, porque una política de rastreadores que no se puede leer no es una política: es un fichero.

Los dos bots que la gente confunde

OAI-SearchBot es el que alimenta la búsqueda de ChatGPT. Cuando alguien pregunta algo y el asistente responde citando fuentes con su enlace, ese enlace llegó por aquí. Bloquearlo es renunciar a aparecer en esas respuestas.

GPTBot es el que recoge contenido para entrenar modelos. Lo que se lleva no vuelve con una cita ni con una visita: entra en un conjunto de entrenamiento y ahí se queda.

Hay un tercero, ChatGPT-User, que actúa cuando una persona pide expresamente al asistente que abra una URL. Ese no rastrea por su cuenta: va porque alguien se lo mandó.

La confusión habitual es tratarlos como uno solo. Quien pone User-agent: GPTBot / Disallow: / creyendo que se protege de la IA sigue permitiendo la búsqueda —bien— y quien bloquea todo lo que suene a OpenAI se queda fuera de las citas sin ganar nada a cambio.

Lo que hace esta web, literalmente

User-agent: *
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Traducido: que nos citen, sí; que nos entrenen, no. Es una postura, no una verdad universal. Hay proyectos a los que les conviene lo contrario y proyectos a los que no les conviene ninguna de las dos.

Cómo decidir lo mismo para tu web

No hay una respuesta que valga para todos, pero sí tres preguntas que la acotan:

1. ¿Tu contenido es el producto o es la puerta al producto? Si vendes el contenido —cursos, informes, suscripciones—, cederlo para entrenar es regalar el inventario. Si el contenido atrae a quien luego contrata un servicio, aparecer citado te interesa.
2. ¿Te llega tráfico de asistentes hoy? Antes de bloquear nada, mira el registro del servidor: quién entra, con qué frecuencia y qué se lleva. Decidir sin ese dato es adivinar.
3. ¿Puedes sostener la decisión dentro de un año? Los rastreadores cambian de nombre y aparecen nuevos cada pocos meses. Una política que exige revisión trimestral y nadie revisa acaba bloqueando a un bot que ya no existe y dejando entrar a tres que sí.

Lo que un robots.txt no hace

Conviene decirlo, porque se le atribuye más poder del que tiene:

• No es un muro. robots.txt es una petición que los rastreadores respetuosos cumplen. Un bot que quiera ignorarlo lo ignora. Si de verdad hace falta impedir el acceso, eso se hace en el servidor o en el cortafuegos, no en un fichero de texto.
• No retira lo ya recogido. Bloquear a GPTBot hoy no borra lo que se llevó ayer.
• No afecta a Google. Googlebot y el rastreador de Gemini son otra cosa, y bloquear a Google por miedo a la IA es la forma más rápida de desaparecer del buscador que sí te trae clientes.

Se revisa cada trimestre

Esta política se comprueba cada tres meses contra la lista de rastreadores conocidos, y el smoke del despliegue verifica que las reglas siguen puestas: un bloqueo que desaparece en una migración no avisa a nadie. La documentación de referencia de OpenAI sobre sus bots está en developers.openai.com, y la de los rastreadores de Google en Search Central.

Si quieres la misma decisión aplicada a tu web —medida antes, no copiada—, está dentro de posicionamiento en IA.