Herramienta para exportar las URLs de un sitemap a un archivo de texto

Zeokat

Oro
Usuario de Bronce
Mensajes
1,194
Puntuación de reacción
4
Hace ya algún tiempo que tenia esta herramienta preparada y le venía dando bastante uso. He decido compartirla ya que a más de uno le puede ser de utilidad. A pesar de su simpleza, puedo decir que le he encontrado multitud de usos como herramienta auxiliar para realizar algunos trabajos. La herramienta se llama Sitemap Extractor, nombre poco original, lo sé jeje

sitemap-extractor.png

Los requisitos son: disponer de sistema operativo Windows y .Net Framework 4 instalado.

El programa es muy sencillo, es un archivo ejecutable que no necesita instalación ni configuración, un par de clicks y listo. Tal y como mandan las regals del foro dejo el analisis de virustotal que muestra que esta limpio: https://www.virustotal.com/es/file/...03a82b4a8e3d1f761696b9e5/analysis/1415603649/

No me voy a liar mucho más, ya que la explicación de como funciona y la descargar la podéis encontrar en: Como extraer las URLs de un sitemap con Sitemap Extractor
 
Mensajes
378
Puntuación de reacción
0
Probando, tiene muy buena pinta. Gracias por compartir @Zeocat
 

doctorpc

Cobre
Usuario de Bronce
Mensajes
555
Puntuación de reacción
0
Mejoras rápidas:

Auto detectar sitemap: Generalmente todos usan el mismo formato. Puedes tener un listado de 25 formatos predefinidos para automatizar más la tarea. Hasta puedes tratar de detectar dónde se encuentran desde el robots.txt

Que el archivo se guarde en formato txt (extensión).

Saludos!


Hace ya algún tiempo que tenia esta herramienta preparada y le venía dando bastante uso. He decido compartirla ya que a más de uno le puede ser de utilidad. A pesar de su simpleza, puedo decir que le he encontrado multitud de usos como herramienta auxiliar para realizar algunos trabajos. La herramienta se llama Sitemap Extractor, nombre poco original, lo sé jeje

sitemap-extractor.png

Los requisitos son: disponer de sistema operativo Windows y .Net Framework 4 instalado.

El programa es muy sencillo, es un archivo ejecutable que no necesita instalación ni configuración, un par de clicks y listo. Tal y como mandan las regals del foro dejo el analisis de virustotal que muestra que esta limpio: https://www.virustotal.com/es/file/...03a82b4a8e3d1f761696b9e5/analysis/1415603649/

No me voy a liar mucho más, ya que la explicación de como funciona y la descargar la podéis encontrar en: Como extraer las URLs de un sitemap con Sitemap Extractor

- - - Actualización- - -

Se me olvidó: Coloca un link dentro del soft para poder bajar las actualizaciones ;)
 
Última edición:

Zeokat

Oro
Usuario de Bronce
Mensajes
1,194
Puntuación de reacción
4
Mejoras rápidas:

Auto detectar sitemap: Generalmente todos usan el mismo formato. Puedes tener un listado de 25 formatos predefinitos para automatizar más la tarea. Hasta puedes tratar de detectar dónde se encuentran desde el robots.txt

Que el archivo se guarde en formato txt (extensión).

Saludos!


Se me olvidó: Coloca un link dentro del soft para poder bajar las actualizaciones ;)


Tomo nota con lo de la extensión en txt, es algo que se me pasó si jeje

Lo de autobuscar la localización del sitemap automáticamente lo descarto, cada usuario que busque el sitemap por si mismo. En el artículo del programa describo lo del archivo robots.txt como tu bien dices.

Un sistema de actualizaciones es algo que tengo pendiente de implementar, al menos notificar que hay versiones nuevas sip.

Gracias por los comentarios.
 
Mensajes
336
Puntuación de reacción
3
Tomo nota con lo de la extensión en txt, es algo que se me pasó si jeje

Lo de autobuscar la localización del sitemap automáticamente lo descarto, cada usuario que busque el sitemap por si mismo. En el artículo del programa describo lo del archivo robots.txt como tu bien dices.

Un sistema de actualizaciones es algo que tengo pendiente de implementar, al menos notificar que hay versiones nuevas sip.

Gracias por los comentarios.

Gracias amigo por la herramienta.

Es posible en un futuro liberar su source?? seria excelente :mola::mola:

Lo de la actualización de nuevos enlaces seria excelente :)
 

Zeokat

Oro
Usuario de Bronce
Mensajes
1,194
Puntuación de reacción
4
Gracias amigo por la herramienta.

Es posible en un futuro liberar su source?? seria excelente :mola::mola:

Lo de la actualización de nuevos enlaces seria excelente :)

El codigo fuente es bastante sencillo, podria liberarlo en un futuro, segun tenga tiempo libre :mola:
 
Mensajes
336
Puntuación de reacción
3
Hola @Zeokat

Primero quería agradecerte por tu excelente web amigo me ha servido mucho, ademas de los códigos de fuente de c# fabulosos (ojala en el futuro hagas mas tutoriales :sisi1:), sin embargo tengo un duda amigo con respecto a esta entrada:

Usar la API de Tumblr con C# - Vozidea.com

En los parámetros del método POST los he buscado aquí:

https://www.tumblr.com/docs/en/api/v2#posting

En el proyecto de c# esta lo siguiente:

var postdata = "type=" + type + "&body=" + body + "&title=" + title;

Funciona super bien publica correctamente la entrada en el blog de Tumbrl,

Pero resulta bro que deseo agregar las tags a dicha publicación de TUMBRL y he editado el string así:

var postdata = "type=" + type + "&body=" + body + "&title=" + title + "&tags=seo";

Pero al momento al crear el post me genera un error 401 no me acepta el parámetro tags y no le encuentro donde esta el error he probado miles de formas sin éxito :(

Por favor ayúdame amigo a publicar la entrada con tags, en verdad te lo agradecería muchísimo.

Saludos y gracias....
 

Zeokat

Oro
Usuario de Bronce
Mensajes
1,194
Puntuación de reacción
4
Hola @Zeokat

Primero quería agradecerte por tu excelente web amigo me ha servido mucho, ademas de los códigos de fuente de c# fabulosos (ojala en el futuro hagas mas tutoriales :sisi1:), sin embargo tengo un duda amigo con respecto a esta entrada:

Usar la API de Tumblr con C# - Vozidea.com

En los parámetros del método POST los he buscado aquí:

https://www.tumblr.com/docs/en/api/v2#posting

En el proyecto de c# esta lo siguiente:

var postdata = "type=" + type + "&body=" + body + "&title=" + title;

Funciona super bien publica correctamente la entrada en el blog de Tumbrl,

Pero resulta bro que deseo agregar las tags a dicha publicación de TUMBRL y he editado el string así:

var postdata = "type=" + type + "&body=" + body + "&title=" + title + "&tags=seo";

Pero al momento al crear el post me genera un error 401 no me acepta el parámetro tags y no le encuentro donde esta el error he probado miles de formas sin éxito :(

Por favor ayúdame amigo a publicar la entrada con tags, en verdad te lo agradecería muchísimo.

Saludos y gracias....

Seguramente te está dando ese problema porque a la hora de crear el nuevo oauth_signature no incluyes los tags... fijate en esta línea:

Código:
// Creamos el oauth_signature
            string oauth_signature = CreateOAuthSignature(oauth_consumer_key, oauth_nonce, oauth_signature_method,
                oauth_timestamp, oauth_token, oauth_version, type, body, title, resource_url, request_type, oauth_consumer_secret, oauth_token_secret);

Como puedes ver hay una función CreateOAuthSignature que debes modificar tambien para agregar las tags y que la oauth_signature sea la correcta.

Suerte y saludos.

P.D: esto nada tiene que ver con el programa de extraccion de sitemaps :p
 

jsebastiang

Estafador
Mensajes
204
Puntuación de reacción
0
Muchísimas gracias, estaba buscando algo que pudiera combinar con Xenu para comprobar url's y me cae como anillo al dedo. :mola:
 
Mensajes
336
Puntuación de reacción
3
Seguramente te está dando ese problema porque a la hora de crear el nuevo oauth_signature no incluyes los tags... fijate en esta línea:

Código:
// Creamos el oauth_signature
            string oauth_signature = CreateOAuthSignature(oauth_consumer_key, oauth_nonce, oauth_signature_method,
                oauth_timestamp, oauth_token, oauth_version, type, body, title, resource_url, request_type, oauth_consumer_secret, oauth_token_secret);

Como puedes ver hay una función CreateOAuthSignature que debes modificar tambien para agregar las tags y que la oauth_signature sea la correcta.

Suerte y saludos.

P.D: esto nada tiene que ver con el programa de extraccion de sitemaps :p

omg como no me di cuenta antes, puede que el problema este allí :mola::mola: ya te contare amigo como me fue :D


jaja es que no sabia otro medio rápido para contactarte amigo :mola:

Igualmente gracias y saludos :mola:
 

Peisithanatos

Oro
Usuario de Bronce
Mensajes
1,018
Puntuación de reacción
0
La verdad es que hace tiempo necesitaba algo justamente como esto y es el más eficiente de los que he tenido ocasión de probar. Muchas gracias @Zeokat
 
Arriba