Google en camino a ampliar la lista de reglas no soportadas en Robots.txt

Google, el gigante de las búsquedas en la web, está considerando una expansión de su lista de reglas no soportadas para robots.txt. Este cambio podría tener un impacto significativo en cómo los motores de búsqueda interactúan con los sitios web y cómo se manejan los errores comunes y las faltas de ortografía en la directiva "disallow".

La lista de reglas no soportadas en Robots.txt

La lista de reglas no soportadas en robots.txt de Google es un conjunto de directivas que, aunque comúnmente utilizadas por los administradores de sitios web para controlar cómo los motores de búsqueda interactúan con su sitio, Google ha decidido no seguir. Estas reglas no soportadas pueden variar desde versiones mal escritas de directivas comunes hasta directivas que no son estándar y que Google no reconoce.

Utilizando los datos de HTTP Archive

Google está considerando expandir esta lista utilizando los datos del HTTP Archive. El HTTP Archive es una herramienta que rastrea cómo se construye la web. Proporciona datos sobre una variedad de factores, incluyendo cómo se utilizan las diferentes tecnologías y directivas en la web. Utilizando estos datos, Google está en condiciones de identificar las reglas comúnmente mal escritas y no estándar y potencialmente agregarlas a su lista de reglas no soportadas.

Manejo de errores y faltas de ortografía

Además de agregar nuevas reglas a su lista, Google también está considerando cambiar cómo maneja los errores comunes y las faltas de ortografía en la directiva "disallow". Actualmente, si un administrador de sitio escribe mal la directiva "disallow", Google simplemente no la reconocerá y continuará rastreando el sitio como si la directiva no existiera. Sin embargo, con este cambio, Google podría comenzar a reconocer estas faltas de ortografía y tratarlas como la directiva "disallow" real, ayudando a prevenir el rastreo no deseado de ciertas partes de los sitios web.

Impacto en los administradores de sitios web

Estos cambios podrían tener un impacto significativo en los administradores de sitios web. Si Google comienza a reconocer errores comunes y faltas de ortografía en las directivas, los administradores de sitios tendrán que ser más cuidadosos con su ortografía y la forma en que escriben sus directivas. Además, si Google agrega nuevas reglas a su lista de reglas no soportadas, los administradores de sitios web tendrán que estar al tanto de estos cambios y asegurarse de que sus sitios están en conformidad.

En conclusión

Google está siempre buscando maneras de mejorar y optimizar su motor de búsqueda. La expansión de su lista de reglas no soportadas en robots.txt y el cambio en cómo maneja los errores y las faltas de ortografía son solo dos formas en las que Google está trabajando para hacer que la web sea un lugar mejor y más eficiente. Los administradores de sitios web deberán estar atentos a estos cambios y estar preparados para ajustar sus sitios en consecuencia.