Buscar ignorando el robots.txt sin scrapear la web

iagovar

iagovar

Hierro
Mensajes
218
Puntuación de reacción
0
Buenas foreros, ¿conocéis algún buscador que me permita buscar en una web, ignorando el robots, sin tener que scrapear todo el contenido?
 
V

Voladora

Piedra
Usuario de Piedra
Mensajes
52
Puntuación de reacción
0
No hay tales buscadores... Si no tienen utilidad (no se les permite publicar) ningún buscador se molesta en destinar recursos a ello. Tienes que utilizar tu propio spider/scrapper.
 
Debes iniciar sesión o registrarte para participar.

Comparte esta página

Arriba