Accueil > Nouveautés SeeUrank > Modification du crawler sur Google
Nouveautés SeeUrank
Yooda
24 mars 2011
5 octobre 2023

Comme dit précédemment, Google a durci les restrictions de requêtes pour ces utilisateurs. Nous avions rapidement réagi en temporisant plus le crawl sur le moteur. Cela c’est révélé à moitié efficace. Après une semaine de tests sur le comportement de Google, nous avons identifié et validé une solution. Celle-ci viens d’être implémentée dans votre SeeUrank.


Dans notre précédent billet, nous abordions les volumes de requêtes alloués à chaque utilisateur, et la restriction de ces volumes par Google depuis le 11 mars.
Nous avons réagi rapidement en ralentissant encore le crawl de SeeUrank sur Google… avant de constater que cela était efficace en partie seulement.

Une semaine de tests intensifs sur Google

Constatant que la vitesse de crawl n’était pas une solution satisfaisante, le Yooda Lab a mené de nombreux tests ces derniers jours. Ces tests visaient à comprendre mieux quels critères étaient utilisés par Google pour choisir les utilisateurs qui seraient limités.
Ces tests ont permis de comprendre mieux le comportement de Google, et d’adapter avec succès le comportement du crawler.

SeeUrank, un crawler intelligent

Sans rentrer trop dans les « secrets de fabrication », le crawler Yooda est désormais mieux adapté aux souhaits du moteur.
Au global, les analyses seront plus longues à réaliser, mais devraient entrainer beaucoup moins de blocages d’IP que ces derniers jours.
Par ailleurs, pour être le plus rapide possible, le crawler de SeeUrank va adapter son comportement :

  • Selon chaque moteur : SeeUrank adapte son comportement au profil de chaque moteur de recherche. Il sera plus doux sur les moteurs sensibles, et plus rapide sur les moteurs tolérants.
  • Selon vos volumes de mots-clés : SeeUrank comptabilise les requêtes envoyées à chaque moteur (toutes analyses et tous projets confondus). Si (et uniquement si) le compte de requêtes s’approche de la zone sensible, SeeUrank passe en mode temporisé.
  • Selon la profondeur de votre analyse : Un internaute lambda ne va guerre plus loin que la 1ere page de résultats. Analyser un grands nombre de résultats est donc très significatif pour le moteur d’une utilisation détournée de ces pages de résultats. Analyser en profondeur « coûte cher ». Par conséquent, la temporisation du crawl de SeeUrank sera d’autant plus importante que votre analyse des positions sera profonde.

Des conseils de préventions toujours d’actualité

Afin de préserver votre tranquillité, nous vous recommandons de :

  • Limiter la profondeur d’analyse au strict minimum. L’impact de cette mesure est très fort sur Google. 30 positions sont classiques, descendez à 20 si vous êtes très entravés.
  • Limiter la profondeur d’analyse, vraiment, c’est important.
  • Étaler vos analyses. Ne cumulez pas les volumes de requêtes de vos analyses en les lançant les unes derrières les autres. Les fonctions de planification de SeeUrank permettent de planifier le jour et l’heure d’exécution. Profitez-en.
  • Désactiver les autres outils ou extensions Firefox qui font des requêtes sur les moteurs (SEO Quake, SEOpen, SEO Link Analysis…)

Partager cet article sur