Give me a second...

Robots.txt: in futuro sarà uno standard

robotstxt

Robots.txt: in futuro sarà uno standard

Il file robots.txt ha da poco soffiato le candeline sulla torta del suo 25° compleanno. Installato alla radice di un sito web dal suo creatore, genera indicazioni dettagliate agli spider, i crawler automatizzati che analizzano una pagina all’interno dei motori di ricerca. Si tratta di un vero e proprio file di istruzioni, personalizzabile dall’editor di un sito web, che permette ai webmaster di consentire – o al contrario, bloccare – l’accesso ai vari software che manualmente scandagliano la rete.

Creato nel 1994 da Martijn Koster, il Robots Exclusion Protocol è quindi di fondamentale importanza per diversi motivi inerenti all’analisi e alla SEO, eppure, finora, non è mai diventato uno standard globale e regolarizzato in rete. Motivo che ha portato, durante gli anni, a far nascere diverse varianti che complicano le circostanze di funzionamento, sia a webmaster che a proprietari dei crawler, che si sono aggiunte alle discrepanze dovute alle dozzine di aggiornamenti dei sistemi, che creano caso dopo caso nuove regole da comprendere e gestire.

https://twitter.com/googlewmc/status/1145618080191721472

Google ha finalmente detto la sua: vuole rendere il REP un vero must del web che verrà, con delle regole di base per tutti. A un quarto di secolo dall’invenzione, Big G ha infatti deciso di chiamare in causa proprio Koster, lo sviluppatore olandese che inventò il protocollo. La bozza del nuovo sistema pronto a sostituire la versione tutt’ora in uso, come comunicato attraverso un comunicato ufficiale, “riflette ad oggi oltre 20 anni di esperienza con le regole di robots.txt nel mondo reale, utilizzate sia da Googlebot che da altri principali robot, nonché da circa mezzo miliardo di siti web che si fidano di REP. Non cambia le regole create nel 1994, ma definisce tutti gli scenari per l’analisi e l’adattamento di robots.txt e li estende al web moderno“.

Con tutta probabilità si arrivera a uno standard che verra inserito dentro il file .txt, al contrario delle restrittive regole di allow: e disallow: attuali. Qualcosa quindi cambierà all’interno dell’alfabeto attraverso cui il REP è codificato, definendo un linguaggio compatibile a tutte le situazioni. Google si è circondato di sviluppatori in grado di raccogliere commenti e suggerimenti del caso, con una campagna diffusa attraverso il canale dedicato Google Webmasters, prima di agire in modo definitivo verso la decisione che porterà alla svolta.

La standardizzazione di robots.txt dovrebbe, molto presto, diventare qualcosa di reale. Bisogna solo aspettare di capire come.