Comprobador de rastreadores de IA
Doce rastreadores de IA, comprobados contra tu robots.txt. Casi todo el que ha bloqueado la IA lo hizo con una línea que atrapó mucho más de lo que pretendía, y casi todo el que se cree abierto no lo ha mirado nunca. Aquí ves qué regla se aplica a cada rastreador y qué línea de tu archivo lo decidió.
Qué comprueba
- Tu robots.txt, pedido a la raíz del sitio, y el grupo de reglas que se aplica a cada rastreador con nombre.
- La diferencia entre los rastreadores que leen páginas para que un asistente pueda citarte y enlazarte, y los que recogen páginas para entrenar. Son dos decisiones distintas y la mayoría solo quería tomar una.
- Si un rastreador está bloqueado por una regla que lo nombra o lo atrapa una regla general que quizá se escribió años antes de que existieran estos rastreadores.
- Permisos como Google-Extended y Applebot-Extended, que no son rastreadores y por eso se muestran aparte.
Lo que esto no puede decirte
- Lee tu robots.txt, que es una petición y no un candado. A un rastreador que ignore el archivo no lo para, y esto no puede decirte si alguno en concreto lo obedeció.
- Permitir un rastreador no significa que un asistente te vaya a citar, recomendar ni saber que existes. Significa que la puerta está abierta. Lo que entre por ella no es nuestro para prometerlo.
- Bloquear un rastreador de entrenamiento no quita nada de un modelo ya entrenado, y las reglas de cortafuegos que bloquean rastreadores antes de que lleguen a leer el robots.txt son invisibles desde aquí.
Preguntas que nos hacen
¿Debería bloquear los rastreadores de IA?
Es una decisión de verdad y no es un error en ninguna dirección. Bloquear los de entrenamiento mantiene tus textos fuera de los modelos futuros, y a mucha gente eso le importa bastante. Bloquear los de búsqueda es otra cosa: son los que permiten que un asistente te cite y te enlace cuando alguien pregunta algo que tu página responde, y bloquearlos significa sobre todo quedarse fuera de eso. El accidente habitual es querer lo primero y hacer las dos cosas con una sola línea.
Mi robots.txt lo bloquea todo. ¿Eso es malo?
Depende de para qué sea la web. Una web de pruebas o una herramienta interna deberían bloquearlo todo. Una web de empresa normalmente no, y un «Disallow: /» bajo «User-agent: *» suele ser un resto de antes de que la web se publicara. La herramienta te enseña la línea exacta para que veas si alguien lo quiso así.
¿Por qué un rastreador da una respuesta distinta de otro?
Porque un rastreador obedece solo al grupo que lo nombra, e ignora por completo el grupo general si tiene uno propio. Así que un archivo con un grupo amable para GPTBot y un «Disallow: /» bajo el asterisco bloquea todo excepto GPTBot. Esa regla sorprende a casi todo el mundo, y por eso aquí se enseña con qué grupo ha cuadrado cada rastreador.