AI Crawler Access Checks
Platform Readiness Lead
Revisa si Googlebot, Bingbot y los bots de IA pueden llegar a sus páginas: robots.txt, sitemap, errores, redirecciones y caché.
Qué hace este agente en la práctica
Ninguna herramienta puede citar una página que su bot no pudo abrir. A veces el bloqueo viene de algo pequeño que nadie recuerda: una regla vieja en robots.txt, un sitemap que dejó de existir después de un cambio de tema, o una redirección que quedó apuntando a una página vieja. El Platform Readiness Lead revisa ese lado técnico en hasta 8 de sus páginas. Lee su robots.txt y anota qué bots quedan fuera de todo el sitio, desde Googlebot y Bingbot hasta GPTBot, ClaudeBot, PerplexityBot y Google-Extended. Confirma que tiene sitemap y que las páginas que leyó aparecen en él. Anota el código de estado de cada página, y los errores 404 o 500. Sigue las redirecciones paso a paso y revisa a dónde llevan las versiones http y www de su dirección. También mira la cabecera cache-control de cada página. Le da un puntaje de 0 a 100 y hasta 5 problemas ordenados por gravedad. Es útil después de una mudanza de sitio, un cambio de dominio o un rediseño, cuando es fácil que algo quede cerrado sin querer. Este agente no opina sobre su texto: eso lo hace el AI Visibility Auditor.
En qué es bueno
- Leer robots.txt y listar qué bots de búsqueda y de IA bloquea en todo el sitio
- Confirmar que existe sitemap.xml y que sus páginas aparecen en él
- Encontrar páginas que dan error 404 o 500
- Seguir cadenas de redirecciones y ver a dónde llevan las versiones http y www
- Revisar las cabeceras cache-control de cada página
- Darle un puntaje de 0 a 100 con hasta 5 bloqueos para quitar primero
Para qué NO sirve
- Juzgar si su texto explica bien su negocio (eso lo hace el AI Visibility Auditor)
- Escribir o arreglar schema (use el Entity Schema Engineer)
- Cambiar su robots.txt o su servidor por usted (le dice qué regla cambiar)
- Ver cómo se ve su sitio en un navegador (lee lo que responde el servidor)
- Saber si una herramienta de IA ya leyó su sitio o cuándo lo va a leer
Un ejemplo
Usted pide
Acabo de mudar mi sitio de jardinería a un dominio nuevo. Revise si los buscadores y los bots de IA pueden llegar a todo.
Lo que recibe
Por ejemplo: un puntaje de 46 sobre 100. "Alta: robots.txt tiene Disallow: / para todos los bots, una regla que quedó del sitio de pruebas." "Alta: el sitemap todavía lista las direcciones del dominio viejo." "Media: la versión http pasa por dos redirecciones antes de llegar a la página." "Media: la página de servicios responde 404." "Baja: las páginas no mandan cabecera cache-control." Cada punto dice qué cambiar. Este caso es inventado para ilustrar.
Qué planes pueden usar al Platform Readiness Lead
Plan: Cualquier plan, desde Soloist.
El plan Empire ($1,799 al mes) le da los 25 agentes. Department ($499 al mes) le da 5 plazas, Squad ($249 al mes) 3 y Soloist ($129 al mes) 1, y usted elige los agentes. Puede sumar agentes extra a cualquier plan por $59 al mes cada uno.
Ver precios y planesPreguntas frecuentes
¿Cómo sé si mi robots.txt está bloqueando a los bots de IA?
Puede abrir su-dominio.com/robots.txt en el navegador y leerlo, pero las reglas a veces confunden. El agente lo lee por usted y le dice, bot por bot, cuáles quedan fuera de todo el sitio, incluidos GPTBot, ClaudeBot, PerplexityBot y Google-Extended.
Cambié de dominio hace poco. ¿Este agente me sirve?
Sí, es uno de los mejores momentos para usarlo. Revisa que las redirecciones lleguen a la página correcta, que el sitemap tenga las direcciones nuevas y que no haya quedado una regla de robots.txt del sitio de pruebas.
¿Por qué importa la cabecera cache-control?
Le dice al navegador y a los servidores intermedios cuánto tiempo pueden guardar una copia de la página. Si falta o está mal puesta, los visitantes pueden ver una versión vieja o la página puede cargar más lento. El agente la anota para que usted o su proveedor la ajusten.
¿Cuántas páginas revisa?
Hasta 8 páginas, además de su robots.txt y su sitemap. Si su sitio es grande, conviene pedirle que empiece por las páginas que más le importan, como servicios y contacto.
¿Debo dejar entrar a todos los bots de IA?
Es su decisión. Algunos dueños prefieren bloquear ciertos bots. El agente no cambia nada: le muestra qué está bloqueado hoy, así usted decide con la información a la mano.
Otros agentes que conviene tener cerca
Technical SSR Sentinel
Revisa sus páginas en busca de problemas técnicos que impiden que los buscadores las encuentren o las indexen.
AI Visibility Auditor
Revisa si sus páginas dicen con claridad quién es usted, dónde trabaja y qué ofrece, para que ChatGPT, Gemini y Perplexity puedan citarlo.
Speed Optimizer
Encuentra qué hace lento su sitio, sobre todo en el celular, y le da una lista de arreglos con los de mayor impacto primero.
Listo para poner al Platform Readiness Lead a trabajar?
Mes a mes, sin contrato. Puede cancelar desde su panel cuando quiera.