Tuesday, October 4, 2016

Alexa - s web and site audit crawlers - alexa support , alaxa






+

Soporte Alexa Los rastreadores de auditoría y del sitio Web de Alexa Greg 15 de de enero de, el año 2016 18:41 La información relativa a nuestra política de privacidad, la empresa y la tecnología se puede encontrar en la siguiente Política de Privacidad y las páginas Sobre Nosotros. Alexa rastrea la Web con el fin de identificar y clasificar el contenido web, para descubrir los vínculos de retroceso, y encontrar sitios relacionados. No vamos a índice de algo que le gustaría mantener en privado. ¿Qué pasa si no quiero Alexa para rastrear mi sitio? Todo lo que tiene que hacer es decirnos mediante un archivo robots. txt. Robots. txt es un archivo de administradores de sitios web pueden colocar en el nivel superior de un sitio para dirigir el comportamiento de rastreo web robots. Todos los principales rastreadores web, como Google, Yahoo, Bing y Baidu robots. txt respeto. El rastreador web Alexa (robot) se identifica como campo de cabecera "ia_archiver" en el HTTP "User-Agent". El Alexa Internet ia_archiver rastreador se adhiere estrictamente a las reglas de robots. txt. Para evitar ia_archiver de visitar cualquier parte de su sitio, el archivo robots. txt debe tener este aspecto: También puede restringir el rastreo de directorios específicos. Por ejemplo, para evitar ia_archiver de visitar el directorio de imágenes (y sus subdirectorios): User-agent: ia_archiver Disallow: / images / Para permitir ia_archiver para visitar todo el sitio añadir estas líneas a su archivo robots. txt: Para obtener más información con respecto a los robots, se arrastra, y la visita robots. txt los robots web páginas en Robotstxt. org. una excelente fuente para la información más reciente sobre la Norma para exclusión de robots. Comentarios (0)




No comments:

Post a Comment