Comprobador de robots.txt
Tu robots.txt con palabras normales. Es un archivo pequeño que es fácil escribir mal de maneras que nada te avisa — una regla puesta antes de su grupo, un Disallow vacío que significa lo contrario de lo que parece — y el precio de equivocarse son páginas que van desapareciendo de las búsquedas.
Qué comprueba
- Si el archivo existe, y si lo que ha llegado es de verdad un robots.txt y no tu portada servida para una dirección desconocida.
- Cada grupo de reglas, a qué rastreadores se aplica, y qué permite realmente cada línea Allow y Disallow.
- Problemas de sintaxis: una línea sin dos puntos, una regla escrita antes de cualquier User-agent, un User-agent vacío, un Sitemap vacío.
- Las referencias a sitemaps, y directivas como Crawl-delay, que se escriben mucho pero no son parte del estándar.
Lo que esto no puede decirte
- Esto lee el archivo. No puede decirte si algún rastreador lo ha obedecido: robots.txt es una petición, y un rastreador que se porta mal sencillamente la ignora.
- Una regla de aquí no controla la indexación. Una página que bloquees puede seguir apareciendo en los resultados si otras webs la enlazan, porque la regla pide no leer la página, no pide no listarla.
- Cada buscador amplía el estándar a su manera. Aquí se siguen las reglas que documentan los buscadores grandes; un rastreador con ideas propias puede comportarse distinto.
Preguntas que nos hacen
¿Sirve el robots.txt para esconder páginas privadas?
No, y tratarlo así es un riesgo real. El archivo es público, lo puede leer cualquiera, y poner ahí una ruta privada le dice al mundo exactamente dónde mirar. Tampoco es control de acceso: una página bloqueada sigue siendo accesible para quien tenga la dirección. Si una página tiene que ser privada, necesita contraseña, no una línea en este archivo.
¿Bloquear una página la quita de Google?
No de forma fiable. La regla pide que no se lea la página, que es distinto de pedir que no se liste: una página bloqueada y enlazada desde otro sitio puede seguir apareciendo, sin descripción porque nadie tuvo permiso para leerla. Para que una página no salga en los resultados, deja que se lea y pon una instrucción noindex en la propia página.
¿Qué significa un «Disallow:» vacío?
Significa permitirlo todo, que es lo contrario de lo que supone casi todo el que lo lee. «Disallow:» sin nada detrás no bloquea absolutamente nada, mientras que «Disallow: /» bloquea la web entera. Un carácter de diferencia.