llms.txt, robots.txt y rastreadores de IA: cómo controlar el uso de tu contenido
Publicar llms.txt es barato y moderadamente útil. Controlar los rastreadores de IA no lo es, y es la decisión que sí afecta a tu contenido.
Dos preguntas llegan juntas a toda organización con mucho contenido: ¿deberíamos publicar un archivo llms.txt? y ¿deberíamos dejar que las empresas de IA nos rastreen? La primera es una decisión técnica menor que se ha sobrevendido. La segunda es una decisión comercial real que la mayoría está tomando por accidente.
Qué propone llms.txt
La propuesta plantea un archivo Markdown en la raíz del dominio que enumera tus páginas más importantes con descripciones breves, ofreciendo al modelo una ruta curada hacia tu contenido en lugar de dejarle inferir la estructura desde la navegación. Una convención complementaria ofrece versiones ampliadas en texto plano.
El razonamiento es sólido: el HTML es ruidoso y el Markdown limpio es más económico de procesar. El problema es la adopción: ningún asistente relevante ha confirmado públicamente que lo use para recuperar ni para ordenar resultados.
¿Conviene publicarlo?
Sí, con expectativas correctas. Lleva una hora, no puede perjudicarte y el ejercicio de decidir qué cuarenta páginas representan a tu organización es valioso al margen de quién lea el archivo. Lo que no debe hacer es desplazar el trabajo que sí importa de forma demostrable.
El mecanismo de control que sí funciona
robots.txt, formalizado en el RFC 9309, sigue siendo el instrumento operativo. Los proveedores de IA reputados documentan agentes de usuario distintos y, lo más importante, a menudo los separan por finalidad.
| Finalidad | Qué hace | Consecuencia de bloquearlo |
|---|---|---|
| Rastreador de entrenamiento | Recopila contenido para entrenar modelos | No afecta a las citas; reduce el conocimiento futuro sobre ti |
| Agente de recuperación en vivo | Descarga páginas para responder ahora | Desapareces de respuestas en las que te habrían citado |
| Rastreador de índice de búsqueda | Alimenta un índice convencional que usan las funciones de IA | Pérdida grave de visibilidad orgánica y en IA |
Confundir estos tres casos es el error más caro de este ámbito. Un bloqueo general aplicado por un equipo legal nervioso suele expulsar a la organización de las respuestas de IA mientras sus competidores son citados cada semana.
Una política defendible en cuatro decisiones
- Contenido público de marketing y editorial: permite los agentes de recuperación. Ese contenido existe para ser encontrado; ser citado es distribución.
- Rastreadores de entrenamiento: decisión legítima de negocio. Permítelos si quieres familiaridad futura del modelo con tu marca; bloquéalos si te opones por derechos. Documenta el motivo.
- Contenido cerrado, licenciado o de pago: bloquéalo explícitamente y aplícalo en el edge. Nunca confíes en una convención para proteger ingresos.
- Superficies de aplicación, resultados de búsqueda y URLs facetadas: bloquéalas. Generan rutas de rastreo infinitas y sin valor.
Aplicación real, porque robots.txt es voluntario
- Verifica la identidad declarada: las cadenas de agente de usuario se falsifican con facilidad; comprueba rangos de IP publicados o DNS inverso cuando el proveedor lo ofrezca.
- Limita la tasa por identidad verificada y huella de comportamiento, no por coincidencia de texto.
- Aplica gestión de bots en la CDN o el WAF, distinguiendo agentes autorizados de extracción masiva.
- Registra por separado el tráfico de agentes de IA para ver qué se descarga y con qué frecuencia.
La mejor alternativa al bloqueo: generosidad estructurada
Las organizaciones que más ganan con los asistentes hacen lo contrario de restringir. Hacen que el buen contenido sea trivialmente consumible —HTML limpio, datos estructurados completos, respuestas explícitas, tablas publicadas, autores con nombre— y mantienen lo verdaderamente propietario tras autenticación, aplicando ese límite por medios técnicos. La asimetría es deliberada: maximizar las citas del contenido que te vende y proteger solo aquello por lo que el cliente paga.
Lista de comprobación
- Audita tu robots.txt actual buscando bloqueos accidentales de agentes de recuperación.
- Escribe directivas por agente con un comentario que explique cada decisión, para que el archivo sobreviva a los cambios de personal.
- Publica llms.txt con tus páginas canónicas y mantenlo actualizado.
- Añade gestión de bots en el edge con listas de permitidos verificadas y límites de tasa.
- Segmenta el tráfico de agentes de IA y revísalo mensualmente.
- Recoge la política en un documento de gobernanza compartido entre marketing y legal.
El objetivo no es la máxima restricción ni la máxima apertura, sino una postura deliberada y documentada que hayas elegido tú, y no una configuración por defecto.
Preguntas frecuentes
¿Qué es llms.txt?
Es una convención propuesta: un archivo Markdown en la raíz del sitio que ofrece a los modelos de lenguaje un mapa limpio y curado de tu contenido más importante. Es una propuesta comunitaria, no un estándar adoptado por los grandes proveedores de IA.
¿Funciona hoy llms.txt?
No hay pruebas confirmadas de que los grandes asistentes lo usen para recuperar información. Cuesta muy poco publicarlo y obliga a un ejercicio útil de identificar tu contenido canónico, pero no sustituye la rastreabilidad ni los datos estructurados.
¿Cómo se controlan bien los rastreadores de IA?
Con directivas en robots.txt dirigidas a los agentes de usuario documentados de cada proveedor, reforzadas con reglas a nivel de servidor. robots.txt se define en el RFC 9309 y solo lo respetan los rastreadores reputados, así que la aplicación real requiere infraestructura.
¿Deberíamos bloquear del todo a los rastreadores de IA?
Casi nunca. Bloquear los rastreadores de recuperación te elimina de respuestas en las que te habrían citado. Una postura habitual es permitir los agentes de recuperación en vivo y restringir los de entrenamiento.
¿Y el contenido de pago o licenciado?
Restríngelo explícitamente, aplícalo en el edge y no en una convención, y considera acuerdos de licencia. Un archivo de convención no protege contenido comercialmente sensible.