Blog de Max Glaser

Hace días atrás Google, Yahoo y Microsoft resolvieron unificar la forma de tratamiento de los comandos para los bots de los  buscadores que los webmasters pueden colocar en el archivo robots.txt.  El  protocolo   se llama  Robot Exclusion Protocol (REP) y esta  definido  en RobotsTxt.

Ahora, Vanessa Fox ha escrito un artículo muy detallado sobre este tema, el uso correcto de robots.txt Se trata de un documento que todo webmaster debería leer.

Artículos relacionados

• Diferencia de resultados en Google por el uso de acentos
• Sobre los meta tags para los robots
• Artículo sobre la historia e hitos de SEO
• Google mejora la indexación de Flash
• Como sabe Google cual es el tema de tu web?