Contar crawlers de IA con un Worker de Cloudflare

Planes: todos. Plataformas: tiendas BigCommerce y Shopify cuyo dominio está en tu propia cuenta de Cloudflare. En WordPress / WooCommerce no lo necesitas: el plugin de Clione cuenta lo mismo (Ajustes → Clione FAQ → Count AI crawler visits).

Los asistentes de IA solo pueden usar lo que sus crawlers han leído. Clione te enseña, para cada producto, categoría, colección y página, qué crawlers de IA la han pedido y cuándo, junto a sus versiones de enriquecimiento, para que veas si un cambio se ha recogido. Para eso hace falta contar en el servidor: estos crawlers no ejecutan JavaScript, así que una etiqueta de analítica nunca los ve.

En BigCommerce y Shopify la página se genera en los servidores de la plataforma, que no ejecutan código de Clione. El único sitio del servidor que queda es delante de la plataforma: un Worker de Cloudflare en tu dominio. Eso es lo que instala esta página.

Qué cuenta y qué no

Por página (la ruta de la URL, sin la query string) y por día:

Crawler	De quién	Qué es
GPTBot	OpenAI	recoge páginas para entrenar modelos
OAI-SearchBot	OpenAI	indexa páginas para la búsqueda de ChatGPT
ChatGPT-User	OpenAI	pide una página en directo porque alguien preguntó a ChatGPT
PerplexityBot	Perplexity	indexa páginas para las respuestas de Perplexity
Perplexity-User	Perplexity	pide una página en directo para un usuario de Perplexity
ClaudeBot	Anthropic	recoge páginas para entrenar modelos
Claude-User	Anthropic	pide una página en directo porque alguien preguntó a Claude
Bingbot	Microsoft	indexa páginas para Bing y Copilot

…y el total de peticiones de página, para que puedas leer cada número como una proporción. Solo cuentan las páginas HTML que respondieron 200; las imágenes, los scripts y los errores no.

• No se lee, guarda ni envía ninguna dirección IP. Solo se mira el user agent, y se reduce a uno de los ocho nombres de arriba o a nada.
• Tus páginas nunca van más lentas ni cambian. El Worker pasa cada petición a tu tienda y devuelve su respuesta tal cual; el recuento ocurre cuando la respuesta ya ha salido y, si algo del Worker falla, Cloudflare vuelve a tu tienda como si el Worker no estuviera.
• Que Clione esté caído nunca afecta a tu tienda. Los datos se guardan en tu cuenta de Cloudflare y se envían una vez al día; un día que no se pudo enviar se envía en la siguiente pasada (hasta 14 días atrás).
• Los datos son un mínimo: se pueden perder unas pocas peticiones contadas en los segundos antes de que Cloudflare recicle una instancia del Worker. Nada se cuenta dos veces.
• Se cuenta cada página tal cual llega, también las de cuenta, checkout y carrito. Así que, en casos raros, la dirección de una página guardada puede incluir un número de pedido (por ejemplo, si un crawler pidió la página de un pedido dentro de la cuenta de un cliente). El dominio y el query string no se guardan nunca.
• Clione guarda los datos 13 meses y después los borra automáticamente, día a día.

Antes de empezar: ¿tu dominio es de verdad tuyo en Cloudflare?

El Worker solo funciona en una zona de Cloudflare que controlas tú. En Clione, abre tu tienda → Vista general → Visitas de crawlers de IA → Comprobar si mi dominio puede usar el Worker. Clione lee los nameservers de tu dominio y te dice una de estas cosas:

Resultado	Qué significa
En Cloudflare	Los nameservers de tu dominio son de Cloudflare. Adelante.
Shopify / BigCommerce gestiona el DNS	La plataforma lleva el DNS de tu dominio, así que no tienes una zona de Cloudflare propia donde poner el Worker. Aquí el Worker no puede funcionar.
Una dirección myshopify.com / mybigcommerce.com	Esa dirección vive en la zona de la plataforma. El Worker no puede funcionar ahí: necesita tu propio dominio.
Otro proveedor de DNS	Tu dominio no está en Cloudflare. Pasa primero su DNS a tu cuenta de Cloudflare o el Worker no podrá funcionar.

Dos cosas más que la comprobación no puede ver por ti:

1. El registro DNS de la tienda tiene que ir con proxy (la nube naranja en Cloudflare → DNS). Un registro «solo DNS» (nube gris) manda a los visitantes directamente a la plataforma y el Worker nunca los ve. Pasar una tienda Shopify o BigCommerce por tu propia zona de Cloudflare es una configuración que Cloudflare soporta («orange-to-orange»); sigue las indicaciones de tu plataforma antes de activarlo.
2. La cuenta de Cloudflare tiene que ser tuya, porque eres tú quien añade el Worker a la ruta.

Instalarlo

Necesitas tu cuenta de Cloudflare, Node.js en tu ordenador y diez minutos.

1. Crea la clave en Clione. Ajustes → API Keys → Generar clave: elige esta tienda, marca solo el permiso crawler:hits y copia la clave (sk_live_…). Solo puede enviar los datos de crawlers de esta tienda, y si la revocas en Clione el Worker se para al momento.
2. Consigue los ficheros del Worker de Clione (pídenos la carpeta crawler-hits-worker): src/ y wrangler.example.toml.
3. Copia wrangler.example.toml como wrangler.toml y rellena:
   • routes: el dominio de tu tienda seguido de /*, y el nombre de tu zona;
   • CLIONE_API_BASE: la dirección de Clione que aparece en tu dashboard;
   • CLIONE_TENANT_ID: el id de tu organización, también en tu dashboard;
   • CLIONE_SITE_URL: la dirección de tu tienda, con https://. Tiene que ser el mismo dominio que tiene la tienda en Clione o Clione rechaza los datos.
4. Inicia sesión y añade la clave como secreto (nunca va en el fichero):

   npx wrangler login
   npx wrangler secret put CLIONE_API_KEY
5. Despliégalo:

   npx wrangler deploy

Ya está. El Worker cuenta desde la primera petición; el primer día llega a Clione al día siguiente.

El primer día: aprueba el envío

Los datos de una fuente nueva esperan en cuarentena hasta que alguien de tu equipo confirma que son vuestros. Cuando llega el primer día, la tarjeta Visitas de crawlers de IA de tu tienda dice esperan tu aprobación: un owner o un admin pulsa Aprobar los datos de crawlers de esta tienda una vez y los días siguientes entran solos. Puedes revocarlo cuando quieras; entonces Clione vuelve a retener los días nuevos hasta que se aprueben.

Comprobar que funciona

• En Cloudflare → Workers → clione-crawler-hits → Logs, las peticiones pasan con los códigos de estado de tu tienda.
• curl -I https://<dominio-de-tu-tienda>/ devuelve las cabeceras de siempre: el Worker no añade ninguna.
• Al día siguiente de instalarlo, la tarjeta Visitas de crawlers de IA muestra el aviso de aprobación o los primeros números.

Quitarlo

npx wrangler delete (o borra el Worker desde el panel de Cloudflare) y luego revoca la clave en Clione → Ajustes → API Keys. Tu tienda no se ve afectada en ningún caso.

Problemas frecuentes

Síntoma	Causa
No llega nada en dos días	El registro DNS no va con proxy (nube gris), la ruta no coincide con tu dominio, o CLIONE_SITE_URL es un dominio distinto al de la tienda en Clione.
La tarjeta sigue diciendo no se puede medir	La clave no está vinculada a esta tienda o no tiene el permiso crawler:hits.
Solo algunas páginas tienen visitas	Solo aparecen las páginas que un crawler pidió de verdad, y solo cuentan las respuestas HTML 200. Una página sin fila en un día del que la tienda envió datos tuvo cero visitas de crawlers: es un cero real.