Buenos días,
Estoy buscando algún script ya hecho para verificar un archivo Robots.txt, ¿alguien sabe donde conseguirlo? Que le introduzcas el texto del archivo Robots.txt, luego las urls, y te diga si estan bloqueadas o no, como Robots.txt Checker, probador de archivos Robots.txt
¡Saludos y gracias!
Estoy buscando algún script ya hecho para verificar un archivo Robots.txt, ¿alguien sabe donde conseguirlo? Que le introduzcas el texto del archivo Robots.txt, luego las urls, y te diga si estan bloqueadas o no, como Robots.txt Checker, probador de archivos Robots.txt
¡Saludos y gracias!