SEO Tools: feedback e nuova versione del crawler

  • Scritto il 02.08.09

I primi feedback ricevuti per la versione Beta dei SEO Tools che sto sviluppando sono stati veramente interessanti.
Ho avuto conferma di un buon interesse nei confronti del Website Analyzer, ed i risultati della comparazione tra le pagine raggiungibili di un sito web e quelle indicizzate da Google, e alcune indicazioni molto utili per capire quale linea seguire nelle future release.

Questa sera ho pubblicato la nuova versione dell'engine dei tools che, oltre a risolvere alcune anomalie segnalate, migliora le prestazioni del crawler e, quindi, i tempi di analisi.

Grazie per i feedback!

Tag: (2) (2) (1)

Scritto da Simone Rinzivillo il 02.08.09
| Comments (3) | TrackBacks (0)

TrackBack

TrackBack URL for this entry:
http://www.simonerinzivillo.it/mt4/mt-tb.cgi/49

Comments (3)

Alessandro:

Ciao.
Complimenti per i tool. Ho apprezzato in particolare quello che permette di valutare se una pagina è indicizzata. Siccome è un problema sul quale stavo ragionando anche io ho un paio di considerazioni:

- Mi piacerebbe sapere come fa il tool a valutare se una URL è indicizzata o meno. Suppongo che faccia una ricerca con l'operatore "inurl" ma vorrei sapere di più. Un semplice ma, per la mia esperienza efficace, algoritmo è quello usato da Site diagnois che riassumo qui:
1. Fa inurl: per ogni url del sito
2. Per ogni URL che non salta fuori con inurl fa un
site:nomedominio.org titolo_della_pagina
3. Se la pagina non è fra i primi 10 risultati della SERP allora c'è un problema.

- Il problema con il quale mi sono scontrato io quando ho cercato di protipare un tool simile è legato al fotto che dopo poche query con inurl google mi bannava allegramente anche usando intervalli consistenti fra le query. Hai avuto anche tu un problema simile? Come lo hai risolto?

- Sarebbe bello che il tool accettasse come input una lista di URL o anche una sitemap XML. In questo modo risparmieresti il lavoro di crawling che su grossi siti come sai bene è piuttosto dispendioso.

- Per costruire il crawler sei partito da zero ho hai usato un crawler esistente?

A presto!

Posted by Alessandro | 03.08.09 10:57

Posted on 03.08.09 10:57

Simone Rinzivillo:

Ciao Alessandro,

in realtà il tool non indica solo quali pagine sono indicizzate o meno, ma anche l'attuale status di quelle presenti in Google.
Per evitare i ban c'è da giocare molto con lo user-agent, è uno degli aspetti che sto perfezionado.

L'idea (molto buona :) ) di accettare le sitemap XML o elenchi di URL è in cantiere, vorrei fossero funzionalità in più a quelle del progetto principale.

Il crawler l'ho sviluppato io perchè dovendo 'pesare' le risorse del server ho preferito questa soluzione per poterlo customizzare al meglio.

Grazie
Simone

Posted by Simone Rinzivillo | 03.08.09 12:22

Posted on 03.08.09 12:22

Alessandro:

Ciao.

Per evitare il ban ho trovato che un fattore molto importante è anche accettare, dichiarandolo negli header HTTP, contenuto compresso.

Posted by Alessandro | 03.08.09 13:12

Posted on 03.08.09 13:12

Post a comment

Chi sono

Questo box mi fa sentire stretto per raccontare in breve chi sono, non che io abbia tante cose da scrivere ma lo spazio sembra veramente poco.
Lavoro nell'informatica dal 2000. Ho iniziato come analista programmatore prestando consulenza presso TSF S.p.A. nello sviluppo di sistemi informatici per il Gruppo Ferrovie dello Stato.
Ho lavorato in Ad Maiora come Project Manager e SEO specialist.
Oggi curo la visibilità online dei clienti di Mamadigital dove ricopro l'incarico di Technical Manager. Il blog nasce dalle ceneri del ban di Google e peggio di così non può essere per un SEO. Ho deciso di avviarlo spiegando proprio cosa ha portato a questa situazione.
Simone Rinzivillo su LinkedIn