¿Por qué se producen resultados desde varias máquinas en Google.com, todas con el agente usuario Googlebot?
Googlebot se ha diseñado para distribuirse en varias máquinas para mejorar el rendimiento y adaptarse al crecimiento de la web. Además, para reducir el uso de ancho de banda, ejecutan varios rastreadores en máquinas situadas cerca de los sitios que están indexando en la red.
¿Pueden facilitarme las direcciones IP desde las que Googlebot realiza los rastreos para que pueda filtrar mis registros?
Las direcciones IP utilizadas por Googlebot cambian de vez en cuando. La mejor manera de identificar los accesos de Googlebot es utilizar el agente usuario (Googlebot).
¿Por qué descarga Googlebot en mi sitio la misma página varias veces?
En general, Googlebot deberá descargar únicamente una copia de cada uno de los archivos de su sitio en un rastreo dado. De manera ocasional, el rastreador se detiene y se reinicia, lo que puede provocar que realice el rastreo de páginas que ha recuperado recientemente.
¿Por qué las páginas de mi sitio que ha rastreado Googlebot no aparecen en su índice?
No se preocupe si no puede encontrar inmediatamente documentos que Googlebot ha rastreado en el motor de búsqueda de Google. Los documentos se introducen en nuestro índice poco después de haber sido rastreados. En ocasiones, los documentos obtenidos por Googlebot no se incluyen por diversas razones (por ejemplo, por parecer duplicados de otras páginas de la web).
¿Qué tipo de vínculos rastrea Googlebot?
Googlebot rastrea los vínculos HREF y SRC.
¿Cómo puedo evitar que Googlebot rastree los vínculos de mis páginas?
Para evitar que Googlebot rastree vínculos de sus páginas que enlazan con otras páginas o documentos, deberá insertar el siguiente metacódigo en la cabecera de su documento HTML:
<META NAME="Googlebot" CONTENT="nofollow">
Si desea obtener más información acerca de los metacódigos, consulte http://www.robotstxt.org/wc/exclusion.html#meta; también puede leer lo que indican los estándares HTML al respecto. Recuerde que los cambios que aplique en su sitio no se reflejarán inmediatamente en Google, sino que se detectarán y propagarán la próxima ocasión que Googlebot rastree su sitio.
¿Cómo le especifico a Googlebot que no rastree un vínculo que aparece solo en una página?
Los metacódigos pueden excluir todos los vínculos salientes de una página, pero también puede indicar a Googlebot que no rastree los vínculos individuales añadiendo rel="nofollow" a un hipervínculo. Cuando Google detecte el atributo rel="nofollow" en algún hipervínculo, éste se omitirá en la clasificación de sitios web en nuestros resultados de búsqueda. Por ejemplo, el vínculo
<a href=http://www.ejemplo.com/>¡Un vínculo excepcional!</a>
se podría sustituir por
<a href=http://www.ejemplo.com/ rel="nofollow"> No puedo responder por este vínculo</a>.
Autor: Google
http://books.google.es/webmasters/bot.html
Usuarios que han visto este tema también han visto...
- Cómo hacer rentable un blog
- 10 consejos para alcanzar una prospera relación cliente diseñador
- Google asciende a los cielos
- Falsos trucos de Posicionamiento Web
- Diseño de formularios: conceptos básicos
- Versión imprimible de este documento
- Enviar por e-mail este documento
