robotx

alguien me puede pasar la estructura para crear mi robot.txt

me refiero al texto que tengo que copiar y subir al ftp

gracias!!

- - - Actualización- - -

asi estaria bien???

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Allow: /files

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

Sitemap: http://www.coctelcombinado.com/sitemap.xml

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Hey hermano! ACABO de hacer un post sobre eso, donde te dejo el ejemplo de robots.txt que uso yo para Wordpress.

Un abrazo!

Rankings Fáciles con Pocos Links (o la Estructura de tu Web?Media Bucket Blog

Todo depende de las carpetas que quieras bloquear o que tengas tu sitio.

Por ejemplo en mi sitio yo bloquee la carpeta de las imágenes para que Google no me las indexe, se me hacen visitas de muy baja calidad y alto rebote.

Igual puedes bloquear el javascript así:

Disallow: /*js*

User-agent: Googlebot
Disallow: /*.js$
Disallow: /*js*

u otras cosas como el css:

Disallow: /css/

Pero en general se ve bien el robots.txt de tu ejemplo.


Saludos