Hola,
El sitemap XML es una guía para los robots. Les dice qué páginas deberían rastrear. Si quiere que los buscadores visiten e indexen las páginas que menciona, debería incluirlas en su archivo sitemap. En caso contrario, no deberían formar parte del mapa de sitio. En el archivo robots.txt puede impedir su rastreo. He aquí un ejemplo cómo hacerlo:
User-agent: *
Disallow: /eldirectoriodondesehallanlaspaginas
La mayoría de los robots respetan esta directiva.
Otra posibilidad es utilizar la meta etiqueta robots. Se escribe en la sección HEAD de cada página que los robots no deberían indexar. Un ejemplo:
<meta name="robots" content="noindex, nofollow">
Esta meta etiqueta dice a los robots que ni deberían indexar esta página (noindex) ni seguir los enlaces en ella (nofollow). Sin embargo, los robots seguirán rastreando la página. Si no quiere perder el tiempo que los robots tienen para el rastreo de su sitio web, debería utilizar más bien el archivo robots.txt.
