Robots.txt es un archivo de texto almacenado en el servidor de un sitio web que se comunica con los rastreadores de búsqueda. A los robots de indexación o rastreadores se les “dice” qué archivos y carpetas se pueden ver y qué archivos y carpetas el webmaster no permite ver. Así mismo, Robots.txt puede mantener las páginas indexadas de un webmaster limitadas a las páginas que deseen.
¿Qué son los rankings o clasificaciones?
Las clasificaciones es un término general asociado con la posición de un sitio web en los resultados del motor de búsqueda. Nunca se «garantiza» que un sitio esté en una posición superior o en las últimas páginas de los resultados del motor de búsqueda. El SEO y la calidad del sitio influyen en gran medida en la posición de un sitio.