Buscar ignorando el robots.txt sin scrapear la web

Mensajes
218
Puntuación de reacción
0
Buenas foreros, ¿conocéis algún buscador que me permita buscar en una web, ignorando el robots, sin tener que scrapear todo el contenido?
 

Voladora

Piedra
Usuario de Piedra
Mensajes
52
Puntuación de reacción
0
No hay tales buscadores... Si no tienen utilidad (no se les permite publicar) ningún buscador se molesta en destinar recursos a ello. Tienes que utilizar tu propio spider/scrapper.
 
Arriba