Non sono pazzo: sì, possiamo far credere ad un sito di essere uno spider come googlebot con estrema facilità.
Perchè mai farlo? Semplice, perchè in alcuni casi questo trucco ci risparmia la “fatica” di doverci registrare ai vari siti, blog, forum durante le nostre ricerche sul web.
Lo scenario tipico è quello in cui, quando digitiamo una chiave di ricerca su google e seguiamo uno dei risultati ci troviamo di fronte ad una richiesta di registrazione, necessaria per accedere al contenuto desiderato. Il che a volte è molto fastidioso.
Come avrete capito Googlebot, il famoso spider (o Crawler) che in ogni momento setaccia il web a caccia di contenuti da indicizzare, ha le porte aperte un po più degli altri. Il motivo lo ho già detto: in quanto spider analizza e indicizza le pagine, indicizzazione significa popolarità, popolarità significa incremento della visibilità e volendo maggiori guadagni per il webmaster, magari se nelle proprie pagine mostra un po di pubblicità.
Ecco perchè ognuno di noi avrebbe interesse a far leggere i propri contenuti al googlebot di turno, pure se normalmente non sarebbero accessibili ad utenti non registrati, ed è proprio questo quello che accade, per un semplice discorso di visibilità.
Come si fa?
Basta modificare lo User-agent del nostro browser, una stringa di testo (header) inviata ai vari server durante le richieste http e usata per identificare il client (browser) utilizzato per la navigazione.
Banalmente, se avete firefox, la stringa che inviate è questa:
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3
Anche Googlebot manda un header quando bussa alle porte di una pagina web, ed è questo:
User-Agent: Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Se volete provare vi consiglio di usare Firefox, installando un leggerissimo Add-On che modifica a piacimento gli header HTTP: Modify-Headers.
Installatelo e aggiungete la stringa di googlebot come nell’immagine, attivate la modifica e buona navigazione.
Il mio consiglio è quello di attivare l’header solamente quando si fanno ricerche, in quanto certi domini tendono a dare in pasto ai bot versioni Lo-Fi delle pagine.
