Sobre los meta tags para los robots
Como es bien conocido, los robots de los diferentes motores de búsqueda, permiten el uso de meta tags para ayudar a los webmasters a controlar la indexación de las webs.
La sintaxis y el uso de estos meta tags es unívoca, pero lo que siempre ha causado confusión es la forma en que son interpretados por los diferentes motores de búsqueda y si es que realmente funcionan efectivamente.
Ayer, Vanessa Fox ha escrito un artículo en el blog de Google Webmaster Central explicando como se deben usar los meta tags para que los robots de Google los pueden interpretar correctamente.
Según este artículo, esta es la lista de meta tags que son reconocidos e intepretados por Google:
- NOINDEX evita que la página sea indexada
- NOFOLLOW Evita que el Googlebot siga los enlaces de una página, o mejor dicho los valore para la propagación del PageRank. Aquí se debe mencionar la diferencia del atributo NOFOLLOW en los enlaces que evita seguir los enlaces de una página en forma individual.
- NOARCHIVE Evita que Google genere, mejor dicho muestre la página de cache en los resultados de búsqueda.
- NOSNIPPET Evita que en los resultados de la busqueda se muestre una pequeña descripción de la página, que también se la conoce como snippet.
- NOODP Evita que Google use la descripción de la página en ODP (Open Directory Project) como descripción o snippet en los resultados de búsqueda.
- NONE es equivalente a “NOINDEX, NOFOLLOW”.
Los meta tags deben tener la siguiente sintaxis:
<meta name="ROBOTS" content="VALOR" />
donde VALOR es una de las palabras clave anteriormente mencionadas.
Actualización
Aqui una lista de articulos relacionados con el Googlebot
Todo sobre el Googlebot
Como usar el archivo robots.txt
Testear URL´s bloqueadas
Respecto a nofollow sé que mucha gente confunde este tag con la idea de que una página no sea indexada. A veces ha pasado q sitios con claves o datos confidenciales han dejado links con el tag nofollow pensando que no serían indexados para los resultados…
Es como tu dices, se refiere a que la página destino no reciba “crédito” en forma de pagerank…