Modification du crawler sur Google

1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (No Ratings Yet)
Loading...Loading...
Par Lionel Miraton le 24 mars 2011 Logiciel SeeUrank
24 mar 2011
6

Comme dit précédemment, Google a durci les restrictions de requêtes pour ces utilisateurs. Nous avions rapidement réagi en temporisant plus le crawl sur le moteur. Cela c’est révélé à moitié efficace. Après une semaine de tests sur le comportement de Google, nous avons identifié et validé une solution. Celle-ci viens d’être implémentée dans votre SeeUrank.


Dans notre précédent billet, nous abordions les volumes de requêtes alloués à chaque utilisateur, et la restriction de ces volumes par Google depuis le 11 mars.
Nous avons réagi rapidement en ralentissant encore le crawl de SeeUrank sur Google… avant de constater que cela était efficace en partie seulement.

Une semaine de tests intensifs sur Google

Constatant que la vitesse de crawl n’était pas une solution satisfaisante, le Yooda Lab a mené de nombreux tests ces derniers jours. Ces tests visaient à comprendre mieux quels critères étaient utilisés par Google pour choisir les utilisateurs qui seraient limités.
Ces tests ont permis de comprendre mieux le comportement de Google, et d’adapter avec succès le comportement du crawler.

SeeUrank, un crawler intelligent

Sans rentrer trop dans les « secrets de fabrication », le crawler Yooda est désormais mieux adapté aux souhaits du moteur.
Au global, les analyses seront plus longues à réaliser, mais devraient entrainer beaucoup moins de blocages d’IP que ces derniers jours.
Par ailleurs, pour être le plus rapide possible, le crawler de SeeUrank va adapter son comportement :

  • Selon chaque moteur : SeeUrank adapte son comportement au profil de chaque moteur de recherche. Il sera plus doux sur les moteurs sensibles, et plus rapide sur les moteurs tolérants.
  • Selon vos volumes de mots-clés : SeeUrank comptabilise les requêtes envoyées à chaque moteur (toutes analyses et tous projets confondus). Si (et uniquement si) le compte de requêtes s’approche de la zone sensible, SeeUrank passe en mode temporisé.
  • Selon la profondeur de votre analyse : Un internaute lambda ne va guerre plus loin que la 1ere page de résultats. Analyser un grands nombre de résultats est donc très significatif pour le moteur d’une utilisation détournée de ces pages de résultats. Analyser en profondeur « coûte cher ». Par conséquent, la temporisation du crawl de SeeUrank sera d’autant plus importante que votre analyse des positions sera profonde.

Des conseils de préventions toujours d’actualité

Afin de préserver votre tranquillité, nous vous recommandons de :

  • Limiter la profondeur d’analyse au strict minimum. L’impact de cette mesure est très fort sur Google. 30 positions sont classiques, descendez à 20 si vous êtes très entravés.
  • Limiter la profondeur d’analyse, vraiment, c’est important.
  • Étaler vos analyses. Ne cumulez pas les volumes de requêtes de vos analyses en les lançant les unes derrières les autres. Les fonctions de planification de SeeUrank permettent de planifier le jour et l’heure d’exécution. Profitez-en.
  • Désactiver les autres outils ou extensions Firefox qui font des requêtes sur les moteurs (SEO Quake, SEOpen, SEO Link Analysis…)

A propos de : Lionel Miraton

Responsable Webmarketing & Formation chez Yooda. Dans le SEO depuis... 1999. Avec Yooda depuis 2006.

Newsletter Yooda

Recevez une fois par semaine la veille SEO & Webmarketing par Yooda.

6

Commentaires à "Modification du crawler sur Google"

Salix à écrit :

Vendredi 25 mars 2011 à 13:34

Je teste seeurank falcon et seule l’analyse du site est arrivée à son terme, tout le reste est bloqué depuis 1 heure…

Si le problème des restrictions google et yahoo se pose trop souvent, ce logiciel n’a plus aucun intérêt.

Lionel Miraton à écrit :

Mardi 05 avril 2011 à 8:47

Bonjour Salix;

Depuis la dernière mise à jour de SeeUrank, la situation avec Google est revenue à un état normal.

L’analyse de Site utilise très peu les moteurs comme source de donnée, seulement une interrogation de Google pour le PageRank des pages (information optionnelle).
Pour une analyse plus complète de votre situation, je vous propose de questionner notre support technique :
support@yooda.com ou par téléphone 04 67.15.54.09

location voiture marrakech à écrit :

Mardi 19 avril 2011 à 16:39

SeeUrank Falcon est sans doute le meilleur logiciel dédié au référencement naturel. Tout y est: popularité, structure,

Rencontre mature à écrit :

Mardi 19 avril 2011 à 17:27

Un très bon soft pour le référencement je confirme!

[...] Comme nous l’avions détaillé précédemment, Google limite les requêtes qu’un utilisateur peut envoyer sur le moteur. Nous avons mis en place dans SeeUrank des mécanismes de temporisation intelligents. [...]

Aurelien à écrit :

Jeudi 29 décembre 2011 à 12:13

Bravo pour ces nouvelles optimisations.
Nous venons de renouveler notre licence avec plaisir :)