-
Reglas del foro: https://foro20.com/temas/reglas-de-foro-2-0-lectura-obligatorio.2690/
Rangos de usuario: https://foro20.com/temas/rangos-de-usuario-en-foro-2-0.478/
FAQ de ayuda: https://foro20.com/temas/faq-foro-2-0.46814/
[Seguimiento] Web Scraper propio
- Autor de tema lobogris
- Fecha de inicio
- Estado
- Mensajes
- 1,537
- Puntuación de reacción
- 0
- Mensajes
- 89
- Puntuación de reacción
- 0
Era trolleo. Ni siquiera sé si lo vende. ( me llevo bien con ese man )
Y qué problema hay con que sea en vb?
Última edición:
- Mensajes
- 336
- Puntuación de reacción
- 3
Tengo varias brother la que me penalizo volvió a crecer sola otra vez
al parecer Google le gusta bailar con los resultados @lobogris Nunca lo olvides amigo, una web scraper tendrá éxito si le haces Seonpage, Seoffpage y tiene una plantilla ligera.
Última edición:
- Mensajes
- 89
- Puntuación de reacción
- 0
Sí, igual que cualquier web ( tenga o no scraper ).
Yo he oido que a algunos les ha ido bien con puro seo on-page. Aunque supongo que es relativo al nicho donde se aplique el scraper.
- Mensajes
- 1,537
- Puntuación de reacción
- 0
Pues no es un problema, es simplemente que no quiero un scraper ni ningún script en VB.NET, ni en ningún lenguaje de Microsoft, lo segundo que no sé VB.NET y lo tercero que me supongo que lo correrá desde la consola, cosa que tampoco quiero ya que no sería algo automático a no ser que lo autoejecute cuando encienda el PC..., aunque también es posible que no claro.
Pues si estás en lo cierto seré el Rey de las webs de películas :qmeparto: porque está 100% optimizada y no pienso hacerle un sólo backlink ni cosas de esas, porque no séTengo varias brother la que me penalizo volvió a crecer sola otra vez
@lobogris Nunca lo olvides amigo, una web scraper tendrá éxito si le haces Seonpage, Seoffpage y tiene una plantilla ligera.
Pues no es un problema, es simplemente que no quiero un scraper ni ningún script en VB.NET, ni en ningún lenguaje de Microsoft, lo segundo que no sé VB.NET y lo tercero que me supongo que lo correrá desde la consola, cosa que tampoco quiero ya que no sería algo automático a no ser que lo autoejecute cuando encienda el PC..., aunque también es posible que no claro.
Pues si estás en lo cierto seré el Rey de las webs de películas :qmeparto: porque está 100% optimizada y no pienso hacerle un sólo backlink ni cosas de esas, porque no sé
jeje si lo corro desde la PC que es un punto en contra (no desde la consola, es un software de ventana), aunque con un VPS con windows no tienes problemas, en togglebox hay de 20$ mensuales xD, siempre me gusto vb.net por eso lo hice en ese lenguaje, ademas tiene puntos a favor por su facilidad al programar, pero claro PHP tambien es muy potente, lastima que de PHP no se mucho solo lo basico, en cuanto al seo con Seo on-page se hace mucho, ni imaginar con seo offpage, pero nunca me ha gustado hacer seo offpage ya que siempre el pinguinito te puede joder si lo haces mal, asi que es un problema menos al no hacerlo
- Mensajes
- 89
- Puntuación de reacción
- 0
No nos decantemos por discutir/cuestionar las ventajas/desventajas de cada uno, pórque si es así, cada uno defenderá su lenguaje.
- Mensajes
- 600
- Puntuación de reacción
- 0
Buenas,
dada la acogida que tienen últimamente los Web Scrapers yo también me decidí a hacer uno, concretamente de películas y series motivado por el resultado de @romanwp con su web. Y éste es su hilo de seguimiento donde iré actualizando con el progreso de la web, que espero sea bueno
Datos:
Dominio: Compré un dominio expirado .com, registrado desde 2001 y activo, con palabra clave.
Script: El script no hace más que grabar texto y traducir lo necesario al Español. Texto es lo que almaceno, pero hay urls de imágenes y un vídeo de Vimeo o Youtube (generalmente entran todos de YouTube).
También le he creado taxonomías por géneros y etiquetas y un sistema de búsqueda.
En cuanto al SEO OnPage es excelente, completamente marcado con microformatos y no tan completamente con WAI-ARIA. Como lo tome Google después es otro caso... También los sitemaps se hacen con imágenes y vídeos.
Timeline:
14-02-2014 -- Cuando lo terminé y lo puse en funcionamiento me dí cuenta de algún error con baja probabilidad (pero ahí estaba) del cual no me había percatado antes dado que al correrlo en localhost lo hacía de manera menos 'bestia', así que cerre la web hasta arreglarlo, no llegué a enviar sitemaps a Google, ni a darlo de alta en GWT.
26-02-2014 -- Estuve algunos días sin tocarlo ya que tuve que hacer otras cosas, por lo que tardé más de una semana en poder ponerme a arreglarlo. Esa noche finalizo y pongo a correr el cron hasta 250.
27-02-2014 -- Reabro la web, corro los sitemaps, pongo el cron para que me grabe 1 película/serie cada 20 minutos y pongo el sitemap para que corra una vez al día. Doy de alta la web en GWT, envío sitemaps y pongo Analytics.
02-03-2014 -- Los sitemaps los tengo que partir en varios porque si la web funciona no me llegarán uno, ni dos ni tres, sino muchos más ya que Google sólo permite un máximo de 50.000 urls /50mb y otros robots sólo 15mb, así que por esta razón creé un index de sitemaps, donde se irán apuntando los demás. Google procesó el index del sitemap, pero no sé porque sucia razón no procesó las urls (que sí detectaba ya que salía el total de ellas) del primer (y único de momento) sitemap que se apunta en el index, en la documentación de Google indica que no es necesario enviar cada sitemap si los tienes en un index, pero como no procesaba envié el sitemap.
Así que ahora de momento esto es lo que me indica:
Y tengo 6 urls indexadas, que yo vea.
03-03-2014 : Ya me ha indexado más de 500 urls
Así que pondré el cron a scrapear unas 10 url por hora
04-03-2014 : Ya tengo cerca de 1000 urls indexadas, así que me pondré a escribir un objeto Javascript para controlar la publicidad a mi antojo e ir eligiendo que campañas poner.
05-03-2014: 1080 urls indexadas, he puesto el scraper a una url cada 3 minutos, lo dejaré así unos días
Pensamientos:
Mi principal idea es que con sacar 200-300€ al mes me conformo, realmente me conformo con que me pague el hosting ya que la experiencia de crear el scraper me ha llenado bastante, pero bueno 200-300€ eran mis expectativas al principio (dado lo que me motivó a hacerlo claro) que no me vendrían mal para ir pagando alguna cosilla.
En cuanto a la monetización será CPA/PPI/PPD lo que vea en su momento.
Sobre el script pues si no da resultado lo pondré a la venta, si da poco resultado o sea menos de 300€ cuando me canse lo pondré a la venta y si el resultado es más de lo esperado no lo venderé y explotaré otras opciones con pequeños cambios del mismo script en distintas webs.
Saludos :mola:
Se agradece, compartir este tipo de posts es lo que enriquece este foro :mola:
A título personal te comento que yo también he probado esto en el pasado, y tienes que pensar en cifras mucho mas milenarias, es decir, indexar cientos de miles de artículos para poder comenzar a tener un flujo de visitas suficiente como para generar esa cantidad de dinero que deseas
- Mensajes
- 76
- Puntuación de reacción
- 0
Muy interesante este tema, me parece que en español, solo en este foro se está tocando el tema de los Web Scrapers. Mucha suerte con tu proyecto Lobo Gris :mola:
- Mensajes
- 1,537
- Puntuación de reacción
- 0
PHP también es fácil de programar, en realidad programar es fácil, sólo hay que ponerle ganas, otra cosa es a que nivel lleves la programación...
Ojo, Google también penaliza el SEO OnPage mal aplicado según tengo entendido.
¿Por 300€?Se agradece, compartir este tipo de posts es lo que enriquece este foro :mola:
A título personal te comento que yo también he probado esto en el pasado, y tienes que pensar en cifras mucho mas milenarias, es decir, indexar cientos de miles de artículos para poder comenzar a tener un flujo de visitas suficiente como para generar esa cantidad de dinero que deseas
Pues te haré caso, correré el cron a minuto para alcanzar mi objetivo (si llego) antes, total, no hay nada que perder
- Mensajes
- 600
- Puntuación de reacción
- 0
PHP también es fácil de programar, en realidad programar es fácil, sólo hay que ponerle ganas, otra cosa es a que nivel lleves la programación...
Ojo, Google también penaliza el SEO OnPage mal aplicado según tengo entendido.
¿Por 300€?
Sí
Depende de muchos factores más, pero yo con 7.000 URLs indexadas con bastante porcentaje de contenido original, no pasaba de 50 visitas diarias. El potencial de estos scrapers es que puedes crear e indexar cientos de miles de URLs, a poco que cada diez URLs supongan una sóla búsqueda ya se arañan bastantes visitas... En resumidas cuentas, se busca la cantidad, no la calidad
- Mensajes
- 1,537
- Puntuación de reacción
- 0
Pues ya lo hiceSí
, pero lo he puesto a 2 minutos ya que estoy en un VPS de 512mb y según vaya creciendo la bd no sé como andaré de memoria...Oye, ¿me recomedarías no indexar las páginas donde liste las películas?, por ejemplo categoría X o etiqueta X, es que hay muchas etiquetas, más que películas y me las indexa todas claro
- Mensajes
- 600
- Puntuación de reacción
- 0
Pues ya lo hice
Oye, ¿me recomedarías no indexar las páginas donde liste las películas?, por ejemplo categoría X o etiqueta X, es que hay muchas etiquetas, más que películas y me las indexa todas claro
A la locura, indexa absolutamente todo
- Mensajes
- 1,537
- Puntuación de reacción
- 0
10-03-2014: Más de 1900 urls indexadas a día de hoy, además Google ha empezado automáticamente a darle más importancia a las urls de contenido que a las listas, un buen avance a mi parecer. Sobre el scraper le he hecho un cron lock y ya me corre a cada minuto el 'problema' es que como no todas las urls me sirven por falta de un contenido u otro, 1440 urls diarias que debería guardar se me quedan en unas 500, así en breve haré un fix a esto para guardar más
- Mensajes
- 777
- Puntuación de reacción
- 0
una pregunta, lo de no hacerle backlinks es por experimetar, por vagueria o por alguna otra oscura razon? porque yo creo que con un pequeño empujon (un par de links "potentes", unas menciones en redes sociales) podria aumentar el numero de visitas, no?
- Mensajes
- 2,158
- Puntuación de reacción
- 0
LO ideal es no hacer SEO en este tipo de sitios es mejor ir despacio
y siempre poner botones sociales que la gente le de Likes ellos mismo.
- Mensajes
- 1,537
- Puntuación de reacción
- 0
Acciones sociales tengo a 1 like por día en AddMeFast y sobre backlinks pues no sé hacer SEO, nunca le he puesto interés y paso de arriesgarme tocando donde no sé, además de momento prefiero que vaya posicionando sola.
No creo que haya mucha gente que le de likes a páginas de este tipo :qmeparto: a no ser que se confunda/precipite
- Mensajes
- 2,158
- Puntuación de reacción
- 0
En seriesly.org tiene 4700 like de gente interesada en el tema.
- Mensajes
- 1,537
- Puntuación de reacción
- 0
pues lo probaré, desde luego yo entro a una web así y lo primero que hago es salir mientras me cago en sus __- Estado