Una línea de robots.txt para no entrenar IA con tu sitio. Bloquear crawlers de IA es otra cosa

El 30 de octubre de 2026, Google, OpenAI y Microsoft anunciaron que van a respetar una misma línea en robots.txt, __usage_ai-training, para que cualquier sitio pueda pedir que su contenido no se use para entrenar modelos de IA. El robots.txt es el archivo de texto que cada sitio publica para indicarles a los crawlers (los programas que recorren la web y descargan páginas de forma automática) qué pueden visitar. Para quien quiere bloquear crawlers de IA, la noticia trae dos límites. La línea todavía no funciona: Microsoft la va a respetar desde el 1 de febrero de 2027, Google en 2027 y OpenAI «en los próximos meses» (traducción nuestra). Y no frena el rastreo: el borrador técnico que la define aclara que «no es una directiva sobre el comportamiento de rastreo» (traducción nuestra).

La línea resuelve una decisión técnica, la del entrenamiento, y deja abierta la estratégica: qué quiere una marca de las plataformas de IA. Aaron Marco Arias, de Postdigitalist, lo planteó en una publicación en X con dos caminos. El primero es el AEO (answer engine optimization) o GEO (generative engine optimization), dos nombres para la práctica de optimizar contenido para que ChatGPT, Gemini y otros asistentes lo citen como fuente en sus respuestas. El segundo es bloquear a los crawlers y negociar con las empresas de IA un licensing deal, un acuerdo para cobrar por el acceso al contenido. Según Arias, cuál funciona depende de dónde se ubica la marca con respecto a la plataforma. Una marca chica necesita que la IA le mande demanda. En cambio, como escribió Arias, «una marca poderosa sabe que cuando su audiencia le pregunte X cosa a la IA, va a esperar verla en la respuesta», y eso le da algo para negociar.

Cómo bloquear crawlers de IA en robots.txt

Estas líneas piden que no se entrene con tu sitio y dejan abierta la búsqueda de ChatGPT. Van en el robots.txt, en la raíz del dominio:

# block AI crawlers (training): shared signal. Google, Microsoft: 2027; OpenAI: "coming months"
User-Agent: __usage_ai-training
Disallow: /

# Training + grounding in Gemini Apps (Google)
User-Agent: Google-Extended
Disallow: /

# OpenAI training (does not affect ChatGPT search)
User-Agent: GPTBot
Disallow: /

Cinco reglas para usarlas:

1. La línea común solo cubre el entrenamiento. No impide el rastreo, y una regla general con User-Agent: * no cuenta: el borrador exige nombrar el token. Un archivo sin el token no expresa ninguna preferencia.
2. Para seguir apareciendo en ChatGPT search, no bloquees OAI-SearchBot, el bot que OpenAI usa para su buscador.
3. Google ata el entrenamiento al grounding, que es cuando un asistente consulta páginas en el momento de responder para apoyar su respuesta. Bloquear Google-Extended te saca también del grounding en Gemini Apps, pero no de Google Search.
4. Microsoft los separa. El grounding se configura página por página, con Disallow o DisallowExtended. Si hoy usás NoArchive o NoCache, cambialos antes del 1 de marzo de 2027.
5. Tus reglas actuales siguen vigentes, y un acuerdo privado de licencia puede pasar por encima de lo que diga el robots.txt.

El robots.txt es un pedido voluntario, así que el bloqueo efectivo se hace en el CDN (la red que entrega el sitio y filtra el tráfico antes de que llegue al servidor) o en el firewall, con herramientas como AI Crawl Control de Cloudflare, que permite bloquear crawlers uno por uno y ver cuáles ignoran el robots.txt.

Qué cambia con la línea común de Google, OpenAI y Microsoft

Hasta ahora, cada empresa de IA tenía sus propios bots y cada sitio tenía que escribir una regla para cada uno. Google describe el cambio así: «En lugar de manejar instrucciones separadas para cada desarrollador de IA, los dueños de sitios van a poder usar un policy token común dentro de robots.txt para fijar preferencias generales ante los proveedores de IA que participen» (traducción nuestra).

El token sale de un borrador individual presentado ante el IETF (Internet Engineering Task Force, el organismo que publica los estándares técnicos de internet) por Kevin Kelley, empleado de Anthropic, la empresa que desarrolla el asistente Claude. Search Engine Journal, un medio especializado en SEO, aclaró que el documento no representa una actividad oficial de estandarización del IETF. El borrador vence el 3 de mayo de 2027. Anthropic no publicó un anuncio propio; según Search Engine Journal, Kelley dijo que la empresa empezó a desarrollar el soporte.

El borrador define el entrenamiento de IA como «usar un recurso para modificar los parámetros aprendidos de un modelo de IA generativa» (traducción nuestra). Los modelos que no generan contenido, como los de clasificación, ranking o scoring, quedan afuera.

Cada empresa la conecta con sus controles a su manera. Si un sitio usa la línea común y no menciona Google-Extended, el control de Google para el entrenamiento de Gemini, Google lo va a interpretar como si lo hubiera bloqueado. OpenAI dice que sus controles existentes «van a seguir aplicándose» (traducción nuestra). Microsoft suma una preferencia de AI Grounding por página, con DisallowExtended, que vale solo para sus propios productos, y advierte que, si un sitio no expresa ninguna preferencia de grounding, su contenido «puede ser usado» (traducción nuestra).

Camino 1: que la IA te cite (AEO/GEO)

Para aparecer como fuente en una respuesta de IA, los bots de búsqueda y de grounding tienen que poder entrar. En OpenAI, los bots son independientes: GPTBot entrena y OAI-SearchBot alimenta ChatGPT search. Según la documentación de OpenAI, los sitios que bloquean OAI-SearchBot «no se van a mostrar en las respuestas de ChatGPT search» (traducción nuestra). Un sitio puede cerrar el entrenamiento y seguir siendo citable.

En Google, la cuenta es otra. Según su documentación de crawlers, Google-Extended controla el entrenamiento de futuros modelos Gemini y también el grounding en Gemini Apps y en Vertex AI, la plataforma de IA de Google Cloud, así que salir de uno implica salir del otro: «Los sitios que permiten específicamente Google-Extended pueden aparecer en respuestas y recibir clics a través del grounding en Gemini Apps» (traducción nuestra). Lo que Google-Extended no toca es Google Search: no afecta la inclusión de un sitio ni funciona como señal de ranking.

Microsoft, en cambio, permite salir del entrenamiento y quedarse en el grounding, página por página.

Para una marca chica, este es el camino natural, y su base técnica es SEO: un sitio que las máquinas puedan leer, como explicamos en nuestra guía sobre agentic search y cómo los agentes de IA eligen marcas, y presencia en todas las superficies donde la gente busca, la idea de Search Everywhere Optimization. El camino también tiene su zona gris: escribirle a la IA instrucciones que el lector no ve, como las que aparecieron en las páginas de ayuda de WhatsApp.

Camino 2: bloquear rastreadores de IA y negociar

El segundo camino exige algo que la mayoría de las marcas no tiene: que la plataforma las necesite. Arias pone como ejemplos de marcas con ese poder al grupo editorial Condé Nast y a Mercado Libre, la plataforma de comercio electrónico más grande de América Latina.

El caso de Mercado Libre fue el que disparó la discusión. El 9 de octubre, el usuario de X @nicoproducto preguntó: «¿Por qué Mercado Libre no deja que los LLM accedan a la información de los productos publicados ahí?» (los LLM son los modelos de lenguaje detrás de asistentes como ChatGPT o Claude). El robots.txt de mercadolibre.com.ar, revisado el 2 de noviembre, tiene Disallow: / (la orden de no visitar ninguna página) para Amazonbot, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User, GPTBot y ChatGPT-User. No tiene reglas para Google-Extended ni para OAI-SearchBot. No conocemos el motivo, y no encontramos información que muestre que Mercado Libre esté negociando con OpenAI.

Un acuerdo que ya existe en español es el de Prisa Media, el grupo español dueño de El País. El 13 de marzo de 2024, OpenAI anunció un acuerdo con Prisa para mostrar en ChatGPT contenido de El País, Cinco Días, AS y El HuffPost, y usarlo también para entrenar sus modelos. El robots.txt de elpais.com, revisado el 2 de noviembre, bloquea ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, CCBot y Amazonbot, entre otros, y no tiene reglas para GPTBot ni para Google-Extended. Un comentario en el archivo dice: «OAI-AdsBot se mantiene permitido». Los datos no alcanzan para afirmar que una cosa explique la otra. El borrador del IETF sí prevé ese escenario: «Los acuerdos privados PUEDEN prevalecer sobre las preferencias expresadas mediante este mecanismo» (traducción nuestra).

Otras dos plataformas se movieron en la misma semana. El 29 de octubre, Reddit, el sitio de foros y comunidades, anunció que pasa a una experiencia principalmente con sesión iniciada y que va a seguir licenciando sus datos, según Axios y TechCrunch. Su CEO, Steve Huffman, dijo a Reuters, en una nota que publicó Investing.com: «La realidad es que el AI Mode no genera tráfico, ni para nosotros ni para nadie» (traducción nuestra). AI Mode es el modo de búsqueda con IA de Google.

Un día después, la CMA (Competition and Markets Authority, el regulador de competencia del Reino Unido) abrió una investigación sobre los términos comerciales de Meta, que según el organismo podían permitirle usar contenido de otras empresas «sin que esas empresas puedan elegir si se usa su contenido ni cómo» (traducción nuestra). Meta había pausado esos términos el 28 de octubre, y la CMA aclaró que todavía no tomó ninguna decisión.

Europa y América Latina

Google presenta la línea común como coherente con el Código de Buenas Prácticas de la Unión Europea para proveedores de modelos de IA de propósito general. Esa es su lectura. En su capítulo de copyright, el código dice que quienes lo firman se comprometen a usar crawlers que lean y sigan las instrucciones del robots.txt según el RFC 9309, la especificación técnica del protocolo.

En Argentina, los robots.txt de Clarín, La Nación e Infobae no tenían reglas para bots de IA cuando los revisamos, el 2 de noviembre. Eso no significa que no los bloqueen: pueden hacerlo en el CDN o en el firewall, y eso no lo verificamos.

Qué mirar en 2027

• 1 de febrero: Microsoft empieza a respetar las nuevas preferencias de entrenamiento y grounding.
• 1 de marzo: NoArchive y NoCache dejan de contar como preferencias en Microsoft.
• Principios de 2027: Google activa el soporte, según su documentación de crawlers. OpenAI no dio fecha.
• 3 de mayo: vence el borrador del IETF.

La línea común le da a cualquier sitio una forma barata de decir que no al entrenamiento. Lo que no le da es poder de negociación. Para las marcas que no tienen una audiencia que espera verlas en la respuesta, la pregunta útil es la que cerraba la publicación de Arias: «no te preguntes qué podría hacer OpenAI por vos, preguntate qué podrías hacer vos por OpenAI». OpenAI ya tiene una respuesta propia para muchas de ellas: desde el 21 de octubre vende anuncios en ChatGPT en 16 mercados de América Latina.

Preguntas frecuentes

¿Qué es la línea __usage_ai-training en robots.txt?

La línea __usage_ai-training es una señal común de robots.txt para pedir que el contenido de un sitio no se use para entrenar modelos de IA generativa. Sale de un borrador individual presentado ante el IETF por Kevin Kelley, de Anthropic. Google, OpenAI y Microsoft anunciaron el 30 de octubre de 2026 que la van a respetar: Microsoft desde el 1 de febrero de 2027, Google en 2027 y OpenAI en los próximos meses.

¿La línea __usage_ai-training sirve para bloquear crawlers de IA?

La línea __usage_ai-training expresa una preferencia sobre el entrenamiento y deja que los crawlers sigan entrando al sitio, porque el borrador que la define aclara que no es una directiva de rastreo. Para bloquear rastreadores de IA desde robots.txt hay que escribir reglas para cada bot, como GPTBot o ClaudeBot. Para un bloqueo efectivo hay que filtrarlos en el CDN o en el firewall, porque robots.txt es voluntario.

¿Bloquear Google-Extended saca a un sitio de Google Search?

Bloquear Google-Extended no saca a un sitio de Google Search, según la documentación de crawlers de Google, y tampoco funciona como señal de ranking. Sí lo saca del entrenamiento de futuros modelos Gemini y del grounding en Gemini Apps y en Vertex AI, que es cuando Gemini consulta páginas para apoyar sus respuestas. Google ata las dos cosas: un sitio no puede salir del entrenamiento y quedarse en ese grounding.

¿Se puede aparecer en ChatGPT search sin que OpenAI entrene con el sitio?

Un sitio puede aparecer en ChatGPT search sin que OpenAI entrene con su contenido, porque según la documentación de OpenAI sus bots son independientes. GPTBot es el bot de entrenamiento y se puede bloquear en robots.txt. OAI-SearchBot alimenta ChatGPT search, y OpenAI advierte que los sitios que lo bloquean no se muestran en las respuestas de ese buscador.

¿Cómo bloquear rastreadores de IA que no respetan robots.txt?

Los rastreadores de IA que no respetan robots.txt se bloquean en el CDN o en el firewall, porque robots.txt es un pedido voluntario que el bot puede ignorar. Cloudflare, por ejemplo, ofrece AI Crawl Control en todos sus planes: permite fijar reglas de bloqueo para cada crawler y ver cuáles incumplen las instrucciones del robots.txt del sitio.