¿El contenido de robots.txt está indexado? [cerrado]

El contenido de mi archivo robots.txt está en realidad indexado y aparece en los resultados de búsqueda de Google. Es solo Google y no Yahoo, por ejemplo.

Realmente creo que Google debería entender no para indexar el contenido de mi archivo de robots, ya que solo está ahí para decirle a Google ¡qué no indexar!

¿Me estoy perdiendo de algo?

preguntado el 08 de noviembre de 11 a las 10:11

¿Alguna vez ha tenido un enlace en su archivo robot.txt dentro del sitio web? -

No, no tengo ningún enlace al archivo.

4 Respuestas

Eso es normal. El mío también fue indexado hace unos meses. Creo que es un problema con el rastreador. editar: por cierto, puede eliminar el enlace en el sitio web de herramientas para webmasters.

respondido 08 nov., 11:14

No recomendaría rechazar el archivo robots.txt en sí mismo. En su lugar, puede utilizar el Encabezado http de X-Robots-Tag con un valor de noindex que evitará que los motores de búsqueda indexen el archivo.

Esto les permitirá acceder a su archivo robots.txt pero evitará que aparezca en los resultados de búsqueda.

Respondido el 05 de diciembre de 11 a las 12:12

Puede añadir Disallow: /robots.txt a tu archivo robots.txt. Creo que debería evitar que se indexe el archivo robots.txt.

respondido 08 nov., 11:14

¡Intentaré esto! Aunque un poco extraño no permitir algo que ya está leyendo. ;-) ¡Gracias! - michael

Creo que si no permite su propio archivo robots.txt (si es posible), todos los demás comandos escritos allí también serán ignorados por los bots.

respondido 28 nov., 11:14

Si ese fuera el caso, poner 'Disallow: *' al principio podría tener el mismo problema. - Pere

No es la respuesta que estás buscando? Examinar otras preguntas etiquetadas or haz tu propia pregunta.