Que cambiarias o agregarias de mi robots.txt

Estado
No está abierto para más respuestas.
yeinier81

yeinier81

Cobre
Usuario de Bronce
Mensajes
832
Puntuación de reacción
0
Amigos como no se crear un robots.txt me lo busque ya extructurado para wordpress, pero me surge una duda, estara bien el robots.txt?
se los dejo para que me digan que cambiarian o agregarian, seria de mucha ayuda porque si estoy denegando el acceso a algo importante ufff, seria un problema

Aqui lo dejo

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Allow: /files

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google
Allow: /

Sitemap: http://peliculascubanas.org/sitemap.xml
 
drytagoras

drytagoras

Hierro
Mensajes
104
Puntuación de reacción
0
Buenas compañero

Veo que has cogido el de ayudawordpress...

Te dejo el que suelo utilizar yo:

Sitemap: http://nombreweb.com/sitemap_index.xml

User-agent: Mediapartners-Google*
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /ir/
Disallow: /?s=
Disallow: /search
Disallow: /tag/
Disallow: /cgi-bin/
Allow: /feed/$

Es que más me gustó :mola:
 
Zeokat

Zeokat

Oro
Usuario de Bronce
Mensajes
1,193
Puntuación de reacción
4
Yo uso el siguiente:
Código: 
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.vozidea.com/sitemap.xml.gz

Pero depende de cada caso... de si indexas tags, etc...
 
yeinier81

yeinier81

Cobre
Usuario de Bronce
Mensajes
832
Puntuación de reacción
0
Ya veo que todos lo tienen segun su gusto, yo quisiera posicionar por ejemplo eso
peliculascubanas.org/peliculas-cubanas-completas/ que tendria que corregir en el robots

- - - Actualización- - -

drytagoras dijo:
Buenas compañero

Veo que has cogido el de ayudawordpress...

Te dejo el que suelo utilizar yo:

Sitemap: http://nombreweb.com/sitemap_index.xml

User-agent: Mediapartners-Google*
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /ir/
Disallow: /?s=
Disallow: /search
Disallow: /tag/
Disallow: /cgi-bin/
Allow: /feed/$

Es que más me gustó :mola:
Click para expandir ...

Creo que te copiare el robots me gusta, el tuyo indexa por ejemplo : peliculascubanas.org/peliculas-cubanas-completas/ es que el que tengo creo que no lo indexa
 
Freikorp

Freikorp

Hierro
Mensajes
343
Puntuación de reacción
0
Yo tengo este, pero creo debería quitar algunas opciones no creeis?

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /author
Disallow: /category
Disallow: /feed/
Disallow: /trackback/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /tag/
Disallow: /*/*/*/page/
Disallow: /*/*/page/
Disallow: /*/page/
Disallow: /page/
Disallow: /search/
Disallow: /category/
Disallow: /pages/
Disallow: /rss.xml
Disallow: /wp-login.php

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
 
yeinier81

yeinier81

Cobre
Usuario de Bronce
Mensajes
832
Puntuación de reacción
0
Freikorp dijo:
Yo tengo este, pero creo debería quitar algunas opciones no creeis?

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /author
Disallow: /category
Disallow: /feed/
Disallow: /trackback/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /tag/
Disallow: /*/*/*/page/
Disallow: /*/*/page/
Disallow: /*/page/
Disallow: /page/
Disallow: /search/
Disallow: /category/
Disallow: /pages/
Disallow: /rss.xml
Disallow: /wp-login.php

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
Click para expandir ...

Al final lo deje asi
User-agent: Mediapartners-Google*
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /ir/
Disallow: /?s=
Disallow: /search
Disallow: /tag/
Disallow: /cgi-bin/
Allow: /feed/$

Sitemap: hxxp://peliculascubanas.org/sitemap.xml

Muchas gracias
 
Freikorp

Freikorp

Hierro
Mensajes
343
Puntuación de reacción
0
Creo que quizás use el mismo, porque el mio me venia así después de una compra y creo que me tapa algunas cosas que no hace falta..

yeinier81 dijo:
Al final lo deje asi
User-agent: Mediapartners-Google*
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /ir/
Disallow: /?s=
Disallow: /search
Disallow: /tag/
Disallow: /cgi-bin/
Allow: /feed/$

Sitemap: hxxp://peliculascubanas.org/sitemap.xml

Muchas gracias
Click para expandir ...
 
yeinier81

yeinier81

Cobre
Usuario de Bronce
Mensajes
832
Puntuación de reacción
0
Freikorp dijo:
Creo que quizás use el mismo, porque el mio me venia así después de una compra y creo que me tapa algunas cosas que no hace falta..
Click para expandir ...

Este mismo lo usa uno de los primeros que respondio en este post, y es el mejor que he visto hasta el momento xd
 
Estado
No está abierto para más respuestas.

Comparte esta página

Arriba