Valencia, 06/05/2012, G.B.
El archivo robots.txt es un fichero de texto plano (plain text) que se utiliza para dar instrucciones a los robots web, crawlers o arañas web -programas que rastrean toda la Red para indexar resultados en las bases de datos de los motores de búqueda, como Google, Yahoo!, Bing…- qué es lo que deben visitar y qué es lo que no deberían para indexar de nuestro sitio web.
Con robots.txt podemos así excluir páginas y directorios enteros de nuestro sitio web de los resultados de búsqueda.
Cómo crear el fichero robots.txt
Un fichero robots.txt se crea de forma muy sencilla: simplemente necesitas un editor de texto plano (como el notepad de Windows, gedit de Linux, etc.) el cual, tras haber escrito las instrucciones y guardado el archivo como robots.txt (siempre en formato texto plano, recordad), subimos al directorio raíz de nuestro sitio web. ¿Y cuál es su sintáxis? Sencilla. Veámoslo con un ejemplo:
User-agent: *
Disallow: /
Leer más →