Generador de archivo Robots.txt de Google

Google, en sus constantes esfuerzos por hacer la vida de nosotros, los webmasters, más fácil día a día, ha lanzado un generador de archivos robots.txt dentro de las herramientas para webmasters de Google. Esta herramienta nos permitirá crear el archivo robots.txt con las instrucciones necesarias para evitar que los robots de los buscadores (encargados de indexar la mayor cantidad de contenido posible de las webs que visitan) accedan a áreas de nuestras webs que no queremos que sean indexadas.

Una vez que hemos creado nuestro archivo robots.txt con las instrucciones necesarias, debemos levantarlo a la raiz de nuestra web y, mediante la herramienta de análisis de robots.txt podemos revisar si esta funcionando correctamente. El archivo generado por la herramienta de Google será leido por la mayoría de motores de búsqueda, no solo Google. En realidad nunca fue muy difícil crear el archivo robots.txt, pero si Google nos da esta herramienta para facilitarnos la vida, mejor aún.

Si te preguntas que demonios es la herramienta para webmasters de Google, puedes empezar por leer mi post al respecto (Registrando nuestro blog con las herramientas para webmasters de Google).