-
Reglas del foro: https://foro20.com/temas/reglas-de-foro-2-0-lectura-obligatorio.2690/
Rangos de usuario: https://foro20.com/temas/rangos-de-usuario-en-foro-2-0.478/
FAQ de ayuda: https://foro20.com/temas/faq-foro-2-0.46814/ -
¡Hola Visitante! Como usuario "Turista" no es posible crear post de compra o venta. Para ello necesitas una cuenta de rango "Piedra" o superior.
Venta scraperscript script crowdfunding desde 15€
- Autor de tema Julio Rodríguez
- Fecha de inicio
- Estado
- Mensajes
- 2,520
- Puntuación de reacción
- 2
pues colabora y compralo jajajaja
el código esta todo comentado y en una clase para que sea mas fácil de usar, aunque queda ir depurando
- Mensajes
- 1,193
- Puntuación de reacción
- 4
pues colabora y compralo jajajaja
el código esta todo comentado y en una clase para que sea mas fácil de usar, aunque queda ir depurando
Este mes estoy en números rojos para gastos online :sisi1: ... lo compraría y colaboraria si le fuese a dar uso pero no va a ser el caso.
- Mensajes
- 2,520
- Puntuación de reacción
- 2
extraer contenidos de otras ewbs y publicarlo en la tuya.
- Mensajes
- 1,537
- Puntuación de reacción
- 0
Buenas, le he hechado un vistazo rápido, y va la primera mejora, que sería emular a un navegador ya que usamos cURL y hay algunos sitios que bloquean estas transferencias si las cabeceras enviadas no son del todo aceptadas por el servidor, pongo el código que tengo de un scraper que estuve haciendo hace unos días y he dejado parado, si damos un valor true a $imgoogle emulará el bot de Google e caso contrario emulará un Firefox al azar:
Decir por ahí que yo ya tengo el código para traducir texto (ahí me quedé con el scraper), pero no lo voy a compartir que me costó lo suyo xD ya que hay que partir textos largos en cadenas, que no se partan palabras etc y es algo complejo
Saludos :mola:
PHP:
public static function do_curl( $url, $imgoogle = false ) {
$ip = rand( 0, 255 ).'.'.rand( 0, 255 ).'.'.rand( 0, 255 ).'.'.rand( 0, 255 );
$ch = curl_init();
if( true === $imgoogle )
$ua = 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)';
else
$ua = "Mozilla/".rand(3,5).".".rand(0,3)." (Windows NT ".rand(3,5).".".rand(0,2)."; rv:2.0.1) Gecko/20100101 Firefox/".rand(3,5).".0.1";
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept-Language es-ES,es;q=0.8,en-US;q=0.5,en;q=0.3', "REMOTE_ADDR: $ip", "HTTP_X_FORWARDED_FOR: $ip"));
curl_setopt( $ch, CURLOPT_USERAGENT, $ua );
$html = curl_exec($ch);
curl_close($ch);
return $html;
}Decir por ahí que yo ya tengo el código para traducir texto (ahí me quedé con el scraper), pero no lo voy a compartir que me costó lo suyo xD ya que hay que partir textos largos en cadenas, que no se partan palabras etc y es algo complejo
Saludos :mola:
- Mensajes
- 2,520
- Puntuación de reacción
- 2
Yo lo comprare a final de semana, que ahora no tengo cash en paypal
ven a madrid y me lo pagas en persona :sisi1:
- Mensajes
- 207
- Puntuación de reacción
- 0
Me uno a la pregunta. COn Banahosting funcionará el script?
- Mensajes
- 1,193
- Puntuación de reacción
- 4
@lobogris: no sería mejor poner una versión fija de FireFox... lo digo porque de ese modo en el que tratas de conseguir darle naturalidad a las peticiones agregando el User-agent, si haces varias peticiones seguidas, pues es como si usases un firefox diferente para cada petición.
Por otro lado en las cabeceras no entiendo muy bien para que se emplean:
Ambas cabeceras no funcionarán correctamente, imagino que son para simular que la peticion viene de otra IP, pero eso no funciona.
La cabecera de REMOTE_ADDR no existe por parte del cliente, es una variable que se establece a nivel tcp/ip no hay posibilidad de "fakearla", sino no necesitariamos proxies.
La siguiente cabecera HTTP_X_FORWARDED_FOR, esa no es la forma correcta de definir la cabecera, es la forma con la que obtenemos la cabecera en PHP. La cabecera que tiene que enviar el cliente es X-Forwarded-For y luego en PHP se obtiene con $_SERVER['HTTP_X_FORWARDED_FOR'].
Pero ya digo que de todas formas esos metodos no funcionan para ocultar la ip.
Por otro lado en las cabeceras no entiendo muy bien para que se emplean:
Código:
"REMOTE_ADDR: $ip", "HTTP_X_FORWARDED_FOR: $ip"Ambas cabeceras no funcionarán correctamente, imagino que son para simular que la peticion viene de otra IP, pero eso no funciona.
La cabecera de REMOTE_ADDR no existe por parte del cliente, es una variable que se establece a nivel tcp/ip no hay posibilidad de "fakearla", sino no necesitariamos proxies.
La siguiente cabecera HTTP_X_FORWARDED_FOR, esa no es la forma correcta de definir la cabecera, es la forma con la que obtenemos la cabecera en PHP. La cabecera que tiene que enviar el cliente es X-Forwarded-For y luego en PHP se obtiene con $_SERVER['HTTP_X_FORWARDED_FOR'].
Pero ya digo que de todas formas esos metodos no funcionan para ocultar la ip.
Última edición:
- Mensajes
- 2,520
- Puntuación de reacción
- 2
este no es post para eso aun!!
- Estado