Saltar al contenido principal

Cuando tu sitio bloquea a los rastreadores de IA

Un cortafuegos, CDN, regla de robots.txt o desafío puede impedir que un lector concreto abra una página. Corregir el acceso elimina ese obstáculo; no garantiza citas, recomendaciones ni ventas. Un informe de Clione marcado como Bloqueado describe la solicitud que nuestro rastreador no pudo completar, no demuestra que todos los lectores de IA estén bloqueados.

Qué indica el informe bloqueado​

Conserva el identificador del trabajo, la URL bloqueada, el código HTTP y el tipo de bloqueo del aviso. Un 401, 403, 429 o 503, un desafío reconocido o una prohibición de robots.txt detienen este informe. Un desafío puede llegar con HTTP 200; una prohibición de robots.txt puede impedir que se solicite la página, por lo que no hay código HTTP de esa página. Un 503 también puede indicar indisponibilidad temporal: consulta la respuesta y los registros para conocer la causa.

Score my store utiliza ClionePulse/0.1 (AI Shelf Report) y comprueba las reglas de robots.txt para ClionePulse. Es distinto de los lectores de los proveedores que aparecen más abajo. Pide a soporte de Clione la información actual de salida del rastreador antes de crear una excepción por IP; no la sustituyas por las IP de otro proveedor ni por la de tu propia prueba.

Un informe marcado como Fallido indica un error de procesamiento. Nuestro equipo recibe una alerta; cambiar el cortafuegos no es la respuesta adecuada a ese estado.

Búsqueda, solicitudes de usuarios y entrenamiento son usos distintos​

LectorUsoReferencia actual del operador
OAI-SearchBotDescubrimiento para búsquedas de ChatGPTRastreadores de OpenAI
ChatGPT-UserAlgunas lecturas solicitadas por usuariosMisma referencia; robots.txt puede no aplicarse a estas solicitudes
GPTBotRecopilación para entrenamientoDistinto del rastreador de búsqueda
Claude-SearchBot / Claude-User / ClaudeBotBúsqueda / solicitudes / entrenamientoControles de Anthropic
PerplexityBot / Perplexity-UserBúsqueda / solicitudesRastreadores y listas de IP actuales de Perplexity
GooglebotRastreo para Google SearchReferencia de Google
BingbotRastreo para BingVerificación de Microsoft

Decide qué usos permites. Los controles no son intercambiables: Google-Extended es un token de política, no un agente HTTP independiente, y afecta al entrenamiento y a ciertos usos de fundamentación de Gemini. No determina la inclusión ni la posición en Google Search. Consulta la referencia de Google.

Cinco comprobaciones para encontrar la causa​

  1. Lee tu robots.txt. Revisa los grupos generales y los específicos, incluidas las reglas añadidas por la CDN. Conserva las restricciones de rutas privadas. Un grupo más específico puede cambiar qué reglas se aplican. No sustituyas todo el archivo por una plantilla genérica.
  2. Haz una solicitud GET. Configura tú la URL completa y el agente, y revisa tanto las cabeceras como el HTML:
: "${PAGE_URL:?Indica la URL completa que quieres comprobar}"
: "${CRAWLER_USER_AGENT:?Indica el agente del lector que quieres comprobar}"
curl --silent --show-error --location --max-time 30 \
--user-agent "$CRAWLER_USER_AGENT" \
--dump-header crawl-headers.txt --output crawl-page.html "$PAGE_URL"

Repite la prueba en inicio, categoría y producto. 200 no basta: inspecciona el contenido por si contiene un desafío, una pantalla de acceso o una página vacía. Copiar un agente no cambia tu IP por la del proveedor. Es una pista de diagnóstico, no una verificación de identidad ni una prueba del trato que recibe ese proveedor.

  1. Prueba la lectura de páginas de un asistente. Una lectura correcta demuestra esa solicitud concreta. Un rechazo también puede deberse a sus herramientas o políticas; contrástalo con los registros antes de atribuirlo al cortafuegos.
  2. Inspecciona los registros del servidor o CDN. Relaciona hora, URL, agente, IP de origen, respuesta y regla aplicada. No encontrar solicitudes significa no observado, no demuestra bloqueo. Las solicitudes verificadas y bloqueadas muestran qué tráfico rechazó tu regla.
  3. Revisa el contenido sin JavaScript. Busca en el HTML descargado nombre, precio público, disponibilidad, descripción y especificaciones útiles. Una respuesta HTTP correcta puede no contener datos aprovechables. Consulta la entrega de datos de producto.

Causas habituales​

CausaDónde mirar
Política de rastreadores o robots gestionadoSeguridad de la CDN y el robots.txt realmente servido
Desafío o CAPTCHACloudflare, Akamai, Imperva, DataDome u otro gestor de bots
Límite de solicitudesWAF, alojamiento o complemento de seguridad; busca 429 y la regla aplicada
Restricción de país o redReglas por geografía, ASN o redes de centros de datos
Acceso, contraseña o verificación de edadConfiguración de acceso al escaparate
Contenido solo con JavaScriptTema o aplicación del escaparate

Corrige la regla que realmente rechazó la solicitud​

Cambia una regla relevante cada vez y repite las comprobaciones. Mantén la autenticación y las protecciones de las zonas privadas.

Cloudflare​

Usa los eventos de seguridad para identificar el producto y la regla responsables. Revisa AI Crawl Control, robots.txt gestionado, el trato de los bots verificados y los límites para los lectores que quieras permitir. Acota las excepciones con identidad verificada o información oficial de IP actual, no solo con el nombre del agente.

Bot Fight Mode y Super Bot Fight Mode son distintos: una regla Skip del WAF no puede saltarse Bot Fight Mode. Super Bot Fight Mode admite excepciones acotadas. Pide a tu administrador que elija el control adecuado; no des por resuelto el acceso al crear una regla Skip ni desactives protecciones ajenas al problema. La guía de falsos positivos de Cloudflare explica esta limitación.

Otros cortafuegos y gestores de bots​

Para Akamai, Imperva, DataDome, Fastly, Sucuri, AWS WAF o Vercel Firewall, facilita al administrador la solicitud y la regla que causaron el bloqueo. Utiliza la verificación admitida por el operador y una excepción acotada al contenido público necesario. Comprueba también límites y reglas de país o red.

Comprobaciones por plataforma​

  • Shopify: revisa aplicaciones de seguridad, reglas de robots.txt.liquid, contraseñas y verificaciones de edad. No atribuyas la causa a la plataforma o a una aplicación sin registros.
  • BigCommerce: revisa el robots.txt servido, las aplicaciones de seguridad y cualquier CDN situada delante del dominio del escaparate.
  • WooCommerce / WordPress: revisa las listas y límites de los complementos de seguridad, el cortafuegos del alojamiento y el modo privado o de próxima apertura.
  • PrestaShop: revisa robots.txt generado, módulos de seguridad, modo de mantenimiento y cortafuegos del alojamiento.
  • commercetools / escaparate propio: la agencia o el equipo del escaparate controla el HTML y las reglas del perímetro. Comprueba ambos.

robots.txt expresa preferencias de rastreo; no es un control de acceso ni anula un rechazo del WAF. Conserva la política existente y consulta las referencias de los operadores al modificar grupos. Una decisión sobre entrenamiento no es un interruptor universal de búsqueda o lectura en directo.

Verifica la identidad y mantén las reglas al día​

Consulta la documentación oficial para obtener rangos actuales y procedimientos de verificación. Combina la identidad con las rutas públicas necesarias. Los agentes se pueden copiar y las IP cambian. Al verificar DNS, comprueba el sufijo exigido por el operador y la resolución directa de vuelta a la IP; una consulta inversa aislada no basta.

Perplexity publica rangos distintos para bots y solicitudes de usuarios. OpenAI publica rangos para sus agentes. Anthropic documenta sus controles e información de identidad. Google y Microsoft documentan la verificación. No copies IP fijas de un artículo antiguo a una regla permanente.

Cuando funcione el acceso, revisa el contenido​

Sirve texto útil de producto, especificaciones, preguntas frecuentes y descripciones de imágenes en el HTML que devuelve el servidor. Mantén el mapa del sitio y respuestas estables. JSON-LD sigue siendo útil para SEO; no garantiza que un lector de IA en directo reciba o utilice esos datos. Acceso, entrega, citas y ventas son medidas distintas.

Confirma la corrección​

  1. Repite las solicitudes GET de inicio, categoría y producto e inspecciona el contenido.
  2. Confirma en tus registros las solicitudes y respuestas de los lectores verificados que quieras permitir.
  3. Comprueba por separado las lecturas reales; no las deduzcas de un agente copiado.
  4. Solicita un informe nuevo desde el formulario original. Si sigue bloqueado, facilita a soporte el identificador del trabajo, la URL bloqueada, el código HTTP y el tipo de bloqueo. No compartas credenciales ni cookies de sesión.

Preguntas frecuentes​

¿Permitir rastreadores de IA perjudica mi posicionamiento en Google?

El acceso de otro rastreador es independiente del acceso de Googlebot. Mantén sus reglas y tus comprobaciones habituales de SEO. Permitir el acceso no garantiza posiciones, citas, recomendaciones ni ventas.

¿Puedo permitir búsquedas sin permitir el entrenamiento de modelos?

Algunos operadores publican controles distintos para búsqueda, solicitudes de usuarios y entrenamiento. Consulta su documentación actual. Google-Extended también controla ciertos usos de fundamentación de Gemini; no es un interruptor exclusivo de entrenamiento.

¿Los rastreadores ralentizarán mi tienda?

Mide el volumen de solicitudes y los tiempos de respuesta en tus propios registros. Si hay problemas de carga, acuerda límites adecuados con tu proveedor de alojamiento en lugar de permitir cualquier volumen sin límites.

¿Basta con cambiar robots.txt?

Solo si robots.txt era la causa. No anula un cortafuegos, CAPTCHA, pantalla de acceso ni límite de peticiones. Algunos lectores activados por usuarios no aplican robots.txt igual que los rastreadores automáticos.

¿Necesito un archivo llms.txt?

No. Clione no lo exige para el acceso, no lo recomienda como paso de configuración ni lo puntúa en preparación. Prioriza el acceso y el contenido útil en el HTML servido; un punto de acceso experimental no demuestra que un lector de IA lo utilice.

Mi competidor bloquea los rastreadores de IA. ¿Debería hacerlo?

Su política no demuestra qué funciona en tu tienda. Decide tu propia política de acceso y entrenamiento, verifica las solicitudes permitidas y mide resultados reales sin suponer las citas ni las ventas de un competidor.