Hasta hace poco,si alguna web de noticias no quería que sus notas aparecieran listadas en Google News tenía dos opciones: o desadmitia al user-agent GoogleBot mediante un «disallow» en el archivo robots.txt (lo cual evitaba que Google en general indexara el contenido de la web) o llenaba un formulario indicando que no quería que sus noticias salieran en Google News pero sí en los resultados de búsqueda de Google.
Ahora la cosa se torna más fácil. Google acaba de anuncair el lanzamiento del user-agent Googlebot-News , el cual aplica específicamente para los contenidos a indexar para Google News. Al igual que con los user-agents Googlebot y Googlebot-images, este nuevo user-agent nos permite indicarle a Google qué contenidos de nuestra web de noticias queremos que sean indexados y se muestren en los resultados de Google News.
Por ejemplo, si queremos que el contenido de nuestra web se indexe y aparezca en los resultados de búsqueda de Google, pero no en Google News, agregamos las siguientes líneas a nuestro robots.txt:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
Otro ejemplo, si queremos que solo cierta sección de nuestra web de noticias no se indexe en Google News:
User-agent: Googlebot-News
Disallow: /archives
Si no les queda claro el asunto o simplemente no tienen idea del uso adecuado del archivo robots.txt, les recomiendo enormemente que lean estos dos artículos para aclarar las cosas:
- El archivo robots.txt y la meta-etiqueta robots
- Aclarando dudas sobre robots.txt y la indexación de páginas en Google
Fuente: Google Webmaster Central Blog