YoodaMap Bêta : Logiciel gratuit pour votre Google SiteMap

Par Damien Guigue, mardi 2 août 2005 à 17:14 :: Autres outils :: #7 :: rss

YoodaMap est un logiciel gratuit destiné à vous aider dans la création de vos fichiers Google Sitemaps. Pour en savoir plus sur cette technologie nous vous invitons à lire notre fiche pratique: Google SiteMap: Comprendre et utiliser GoogleSiteMap.

YoodaMap, dans cette version bêta, dispose d'une fonction d'édition de fichier Google SiteMap : vous saisissez l'URL de votre site , et YoodaMap génére votre fichier Google SiteMap.

3 phases de traitement :
-Crawl du site,
-Visualisation du SiteMap,
- Création du fichier Google SiteMap

YoodaMap permet d'exclure du crawl certains fichiers (répertoires, fichiers précis, paramètres de sessions) afin d'accélérer l'analyse du site.

Télécharger Yooda Map
+ d'infos Yooda Map

N'hésitez pas à nous faire part de vos commentaires et suggestions

Mises à jours de YoodaMap :

1er Mise à jour de YoodaMap - 13/09/2005 : lire le post

Trackbacks

Aucun trackback.

Les trackbacks pour ce billet sont fermés.

Commentaires

1. Le vendredi 5 août 2005 à 09:03, par hit7374

bonjour,
comment utiliser yoodamap avec des sites php dynamiques. j'utilise les tableaux de variables $_POST pour le passage de mes données entre pages, ces valeurs ne sont pas prises en compte par yoodamap. Pour les pages qui passent les variables dans l'url ça fonctionne bien.
je n'ai pas <lastmod> <changefreq> ni <priority> cela fait il une grosse différence?
amicalement

2. Le vendredi 5 août 2005 à 09:52, par Dams

YoodaMap fonctionne sur le principe du crawler, comme google quoi

En résumé il passe de page de en page en suivant les liens ce sont donc les liens "réels" du site qui sont récupérés... Les variables POST ne peuvent être récupérés qu'après validation d'un formulaire. Ce que les robots ne font jamais!!! Donc totalement et irrémédiablement déconseillé si tu veux que ces pages soient prises en compte sur les moteurs, et par notre logiciel sinon c'est bon

Pour les variables <lastmod et les autres:
D'après les observations de certains de nos clients référenceurs, il n'y à pas de grandes différences avec et sans... Face à cette constatation on a préféré aller au plus simple.

Mettre l'url et c'est parti !

3. Le vendredi 5 août 2005 à 10:17, par Armand

Bonjour

J'ai utilisé votre logiciel sur un pemier site, cela s'est passé correctement, mais quand j'ai voulu essayer sur d'autre sites que j'ai réalisé, cela ne marche pas, aucun crawl n'est réalisé, votre logiciel est il bloqué sur une url ?

Merci pour votre réponse

4. Le vendredi 5 août 2005 à 10:24, par Dams

Non le logiciel n'est pas bloqué sur un site... Il s'agit d'une version sans limitation.

Est ce que cela c'est produit, après redémarrage du logiciel, ou étais ce plusieurs analyse consécutives ?

Vous pouvez m'envoyer la liste des urls contrôlé successivement à partir du formulaire www.yooda.com/aldeis/cont...
Je pourrais ainsi voir ce qu'il en est

5. Le vendredi 5 août 2005 à 10:33, par Armand

Re bonjour

J'ai essayé de plusieurs manières :

L'une derrière l'autre
En relançant le logiciel
En désinstallant et réinstallant

Rien n'y fait....

Le logiciel est il influencé par les "robot.txt" ?

Je vous envoi les URL testé sur votre formulaire

Cordialement

6. Le vendredi 5 août 2005 à 10:55, par Dams

Merci Armand,

La réponse est toute simple, les frames... Le soft ne détecte pas les frames ET les javascripts.

Je te conseille, et ceci est "Bon" pour ton référencement, car il semblerai qu'il existe encore "quelques" robots qui ne les suivent pas , de mettre dans ton <noframes> les liens vers tes pages principales, cela permettra au logiciel de crawler et surtout cela ne pourra qu'améliorer ton référencement

Nb : Ce problème sera réglé dans une prochaine version.

7. Le vendredi 5 août 2005 à 11:11, par Armand

Ok Dams

Compris pour les frames et javascript , merci pour le conseil, je vais essayer

Cordialement

8. Le vendredi 5 août 2005 à 12:28, par Botum

Il serait intéressant de pouvoir limité la fréquence d'aspiration de façon à limiter la charge serveur.

9. Le vendredi 5 août 2005 à 14:47, par Yann

Bonjour,

Votre logiciel est très et c'est vrai que cela évite une trop forte charge du serveur.
Je m'étonne tour de même de ne pas retrouver certains éléments des SiteMaps comme la date de modification de la page. Est-ce peut-être prévu dans une prochaine version ?

10. Le vendredi 5 août 2005 à 17:15, par todo

le crowl de ces pages donne un résultat des plus étrange
le crowler par dans des répertoire et sous rep qui n'existe pas
du coup la tache ne se conclu pas !
Là ca fait 25min qu'il tourne
voici qq résultats
www.portail-des-sorties.f...
www.portail-des-sorties.f...
www.portail-des-sorties.f...
www.portail-des-sorties.f...
www.portail-des-sorties.f...
www.portail-des-sorties.f...
www.portail-des-sorties.f...

11. Le vendredi 5 août 2005 à 20:28, par hit7374

merci Dams pour la réponse.
en fait je me suis mal exprimé
le logiciel prend quand même les URL mais sans paramêtre de langue par exemple, ce qui donne des pages en erreur si on fait un copié/collé de l'url telle quel.
quelles sont les conséquences si une url de sitemap est érronée.
amicalement à tous

12. Le samedi 6 août 2005 à 10:26, par washer

Bonjour,

Y-a-t-il un problème sur l'activation par e-mail ?
Je ne recoit pas de code d'activation !

Merci

13. Le samedi 6 août 2005 à 13:04, par Romain

washer,

Je viens de t'envoyer ton M.P. par mail. Tiens moi au courrant (par mail).

A+

14. Le dimanche 7 août 2005 à 19:56, par Shain

J'ai fait un essais sur mon site www.forum-webmaster.com : plantage après environ 10 000 pages ...

15. Le lundi 8 août 2005 à 01:43, par oracle

Bonjour merci pour ce logiciel qui est bien sympa relativement efficace pour une bêta.
Toutefois permettez moid e signalez des erreur de jeunesses.
Youdamap crawle des urls qui n'existe nulle part
dans les logs je vois des urls composée de type
monsite.com/chose.4785.html/&ads&chose.php?etc
J'ai l'url rewriting sur mon site etd es urls qui sont dynamiques,tout fonctionne en clikant les liens je comprends pas pour Youdamap se melange les pinceaux.Sinon la charge du pc c'est 98% sous xp
je trouve que c'est un peu limite surtout que j'ai pas mal de ram.
Bon je continue mes test ets uivre les conseil pour filtrer ces url fantastiques;-)
Merci pour ce logiciel!
Cordialement

16. Le lundi 8 août 2005 à 11:48, par Shain

A mon avis si le logiciel trouve ces urls c'est qu'est qu'est qu'elles existent quelque part dans ton code (vieilles pages par exemple), c'est pas possible autrement. Je travaille sur un moteur de recherche, et le crawler ne peut trouver strictement que les urls présents dans le code.

17. Le lundi 8 août 2005 à 13:49, par oracle

Bonjour
Comment procedent-ils pour crawler ,il doit suivre les urls interne au site en principe.
Le souci c'est qu'il me les melangent,exemple monsite-com/url-dynamique... variable//ici il ajoute une url-rewrite en htlml et cela sur plusieurs milliers de liens avec les variables.
hors ces urls dans ma declaration dans header .php urlin urlout n'existent pas.
A moins que ce soit Apache qui proposent ces urls parce que je n'ai pas mis les bon flags à la fin de ma regle rewriterules?
Je vais y regarder
Merci de ta reponse

18. Le lundi 8 août 2005 à 19:43, par Dams

Voici quelques réponses à vos questions :

Pour todo
Le problème viens des liens de la formes « ./details.php » que l’on peut trouver sur :
www.portail-des-sorties.f...

Ce genre de lien n’est pas supporter par le soft. Et je n’en ai pas trouver de trace « officielles » dans les spécifications du html, ce qui ne veux pas dire qu’ils ne sont pas bons ; Je vais creuser un peu le sujet, à moins que quelqu’un ai déjà la réponse…

Ce qui se passe c’est une interprétation du ./ comme un sous-répertoire. Le rewriting derrière interprète le lien comme bon. Et donc la boucle continue. Il serais intéressant que tu nous disent si tu a déjà observé dans tes logs ce genre de boucle sur certains robots. Je penses que certains doivent se perdre aussi

Pour hit7374
Uniquement les urls répondant et ne renvoyant pas de code d’erreur sont incluses dans le fichier Map.

Pour Shain
Ce logiciel est essentiellement pensé pour les petits et moyens sites… Pour des raisons de capacités de traitement. Un PC « craque » vite avec un crawl sur un forum. La solution idéale pour un forum reste les scripts dynamiques. Ce qui est difficile, lourd et inutile pour un petit ou moyen site n’ayant pas une évolution dynamique exponentielle (comme un forum). D’où ce soft.

Pour oracle
Merci pour le compliment, n’hésite pas à m’envoyer les urls fantaisistes en question par notre formulaire de contact. Cela peu permettre de faire avancer et progresser le logiciel.

Pour la charge de 98% , analyser et parser une page html… C’est coûteux en CPU. C’est pas mal de calculs. Cependant la charge du CPU est dans ce genre d’applications n’est pas réellement gourmande. Je m’explique, si 98% sont libres le logiciel en prendra 98%. Si tu à une autre application à coté elle aura sont quota de CPU. Autant tout utiliser, non

Dans tout les cas,
Le fait que le soft trouve des urls, et très probablement dû à une référence à ces dernières. Une erreur restant possible quand au logiciel n’hésitez pas à nous envoyer les cas « concrets » d’erreurs détectés.

Nous utilisons tous plus ou moins le rewriting… C’est puissant, mais parfois cela dérape  On peu vite ce retrouver avec une boucle. YoodaMap peu tomber dans ce genre de piége. Les robots d’indexations des moteurs aussi ! Seulement il s’agira souvent de la même page, crawlé plusieurs fois. Donc contenu identique… Et au final cela n’apparaît pas dans les résultats du moteur. Mais ce n’est pas bon, pas bon du tout.

19. Le mardi 9 août 2005 à 23:36, par oracle

Bonsoir a tous
Pour Dams
merci pour ta reponse cela me permet d'y voir clair et je me demande si j'ai pas fait mes regles comme un sagouin :/
Enfin voilà des exemple d'url qui n'existent nul par dans les scripts du site.
h*tp://www.domaine.com/posts321-0.html&postdays=0&postorder=asc&highlight=/postp826.html
h*tp://www.domaine.com/posts321-0.html&postdays=0&postorder=asc&highlight=/ftopic-quote-826.html
h*tp://www.domaine.com/posts321-0.html&postdays=0&postorder=asc&highlight=/postp827.html
le debut en html existe c'est une url rewrite qui fonctionne aucun souci la fin de l'url aussi et dans le milieu la partie dynamique je sais pas ou il la trouve :/
un autre type:
h*tp://www.domaine.com/downloads-details-24-F-prot-pour-windows-d-.htmlémo/article92.html
h*tp://www.domaine.com/downloads-details-24-F-prot-pour-windows-d-.htmlémo/article84.html
h*tp://www.domaine.com/downloads-details-24-F-prot-pour-windows-d-.htmlémo/article80.html
Bonne analyse;-)
A bientôt

20. Le mercredi 10 août 2005 à 11:27, par Fred

Hello

merci pour ce logiciel, chez moi il a marché à la perfection, sans aucuns bugs...

A quand une version officielle ?

21. Le jeudi 11 août 2005 à 16:49, par Time

Bonjour

Je viens d'envoyer 2 Mo de mon sitemap à Google, tout marche bien, j'ai pu compléter mon ancien sitemap par les topics réécrits de mon forum.

Super !

P.S j'ai noté cependant ceci :

<url>
<loc>mon url/././</loc>
</url>
<url>
<loc>mon url/./Accueil.htm</loc>
</url>

or les /././ ne correspond à rien chez moi, je les ai enlevé, on dirait que çà bug

En tout cas merci pour le cadeau (gratuit)

Bien cordialement

22. Le vendredi 12 août 2005 à 19:08, par oracle

Bonjour

Bug mineur (Time)
C'est une bêta et chaque site ayant ses particularités!
Pour le moment je ne soumet rien je revois mon url rewriting:/ parce que ca boucle à l'infini.
Bon web a tous

23. Le vendredi 12 août 2005 à 22:27, par aida

ouf ça mouline depuis près de 4 heures et seulement 12% de fait... j'abandonne. Je travaille sur un cms (npds) yodamap me trouve près de 50 000 pages ce qui ferait plus de 40 heures pour créer le fichier xml. Ma machine est un athlon xp 1800. a suivre

24. Le dimanche 14 août 2005 à 19:35, par oracle

Bonjour,

aida
Tes urls sont reecrites?ou ce que c'est l'id de sessions qui te fais boucler?
Id que tu peux filtrer en le tapant dans le fenetre prevue.

Bien a toi

25. Le dimanche 14 août 2005 à 20:39, par aida

bjr, ça al'air de bien fonctionner mais c'est très long, pas de probleme pour réécrire dans la fenêtre et relancer. ça ne boucle pas mais ça a l'air d'inventer une quantité de pages énorme et n'écrit qu'une url sur un stock (j'utilse l'url rewriting, évidemment...) pour info l'url du site: www.aidadomicil.com

26. Le mercredi 17 août 2005 à 20:31, par adrienmiamibeach

Bonjour, je viens donc d installer votre logiciel. J ai mis la recherche sur mon site. J ai ensuite fait le transfert sur Microsoft FrontPage 2003. J ai ensuite change le nom du dossier a marque .xml
Pouvez vous me dire si votre logiciel est bien mis a jour pour les nouveautes de Google SiteMaps. SiteMaps aide t il vraiment a une plus rapide reconnaisance des pages pour les moteurs de recherche ?

Si tout fonctionne correctement avec google SiteMaps, je tire mon chapeau au createur du Logiciel.

Merci,

Adrien

27. Le jeudi 18 août 2005 à 13:45, par Ben

Le crawl est en cours et tout à l'air de se passer pour le mieux...
Par contre l'opération à l'air relativement longue. Mon site a des mises à jour quasi quotidiennes, faut-il renouveller l'ensemble du crawl à chaque fois ? Ou seules url non listées son rajoutées ?

28. Le jeudi 18 août 2005 à 15:25, par Ben

En fait rectification, j'ai un petit souci

Pour une adresse donnée j'ai par exemple ces résultats :

www.ben-blog.com/index.ph...
www.ben-blog.com/index.ph...
www.ben-blog.com/index.ph...
www.ben-blog.com/index.ph...
www.ben-blog.com/index.ph...
www.ben-blog.com/index.ph...

Toutes ces adresses donnant le même résultat...

J'ai donc stoppé la machine car pour un blog avec 168 post, 247 commentaires et 87 trackback... j'en suis à plus de 3000 pages à indexer...

Il ya comme quelque chose qui cloche

29. Le vendredi 19 août 2005 à 10:51, par Dams

Bonjour,

Et merci pour vos commentaires et remarques à tous. Cela va nous permettre de corriger certains problèmes afin de vous présentez une version encore plus performante bientôt.

Pour ben, Oui tu devras régénérer ton Sitemap à chaque fois!

YoodaMap n'est pas adapté aux sites DotClear.. Il existe des plugins taillé sur mesure pour cela Cela me semble beaucoup plus judicieux pour un site dynamique, en évolution continue et sur une technologie répandu de partir sur des plugins, addons.. Taillés sur mesure

Par exemple:
coudert.free.fr/blog/inde...

YoodaMap c'est du prêt à porter...

30. Le dimanche 21 août 2005 à 20:06, par julien

Impossible de le lancer sur mon site hébergé chez free.

Il prend les adresse monsite.free.fr ?

31. Le lundi 22 août 2005 à 02:37, par oracle

Bonsoir

Les sites chez free sont pris en charge!

32. Le mardi 23 août 2005 à 16:41, par baptiste

Merci pour le logiciel tres bonne idée. mais je rencontre de gros problèmes. En effet 50% des URL de sortie ne sont pas propres. le log trouve des liens comme cela : annuaire-philatelie.com/g... et la je ne sais pas.

J'ai fais le meme chose sur un autre site avec de le réecriture d'URL et la c pas bon le logiciel tourne en boucle. Espérons que googne ne va pas tourner en boucle lui non plus . voivi la page qui crée la boucle www.lesdiscounteurs.com/d...

33. Le mercredi 24 août 2005 à 14:50, par danamina

Bonjour,
Je viens de tester un site map.Lorsque je le passe au site map validator, (www.smart-it-consulting.c...
voici un message que je ne comprends pas:
"No declaration for document root found, validation was lax"
Quelq'un peut-t-il m'aider?
voici l'adresse du site map:
produitsaloes.com/googlem...

34. Le vendredi 26 août 2005 à 17:40, par roberto

Bravo pour ce log il fonctionne tres bien pour mes deux sites (des petites sites de 100 pages) les sites map on été crées en moins de 5 minutes et à part deux adresses fantaisites (des liens vers sites externes avec des % que j'ai effacés) il fait ca impec ! bravo !

35. Le mercredi 31 août 2005 à 14:11, par Jo

Bonjour!
Excellent logiciel, seulement chez moi ça pose un petit problème, en effet sur mon site j'utilise l'url rewriting et la balise <base href="www.mon-site.com">... et le logiciel ne prend pas en compte la balise , c'est a dire qu'il ne repart pas a la racine du site, donc il repart a partir du faux repertoire du rewriting, donc il donne des url qui n'existe pas.
Suis-je obliger de mettre les urls completes et de ne pas mettre cette balise html?
Merci d'avance.

36. Le jeudi 1 septembre 2005 à 18:07, par Dams

La balise Base sera prise en compte lors de la prochaine version

37. Le lundi 5 septembre 2005 à 21:43, par depanpc78

Bonsoir,

Ce logiciel est très facile et pratique à utiliser.
Cependant, ce que je ne comprend pas c'est qu'il trouve des liens "fantomes".
Par exemple :
- depanpc78.network-hosting...
- depanpc78.network-hosting...
- depanpc78.network-hosting...
[...]

J'ai bien scanné tous mes fichiers, et aucune référence à ces page n'existe dans mon code.

Je ne sais pas d'ou sortent ces adresses.

Cordialement.

38. Le lundi 5 septembre 2005 à 21:46, par depanpc78

Désolé pour le post précédent, j'ai trouvé le problème.
C'était lié à un module externe que j'avais ajouté sur mon site.

Je confirme donc : YoodaMap est un très bon produit.

Merci

39. Le mardi 6 septembre 2005 à 12:32, par Philippe

Bonjour,

J'ai demandé mon code d'activation il y a près de 3 heures. J'ai vérifié mon adresse e-mail qui est correcte. Pourtant, je n'ai encore rien reçu... Est-ce dû à un porblème momentané ?
Merci.

40. Le mardi 6 septembre 2005 à 15:06, par quentinspk

Dams,

Le logiciel me ressort toutes les pages du site, pas de pb, mais donc aussi celles qui ont x variables avec x >= 3.
Exemple : www.monsite.com/page.php?var1=abc&var2=abc&var3=abc&var4=abc

Or il me semble que Google ne référence pas les pages ayant plus de deux variables.
Donc faut-il vraiment les conserver ?

Ton avis sera forcément bon !

41. Le mardi 6 septembre 2005 à 17:44, par Dams

Google référence les pages de plus de 2 variables.

Une recherche dans les occurences de la base Yoovi m'a permis de faire ressortir des pages a 6 variables:

Il s'agit de l'url:
+www.cyberbricoleur.com/?r...

Sur "porte de garage":
www.google.gg/search?hl=f...

Vous noterez egalement le premier résultat à 4 variables.
Ca c'est un "fait"..

Maintenant est ce bon ? Difficile à dire.

De mon avis personnel, non. L'url rewriting permet une récriture propre... Et dans tout les cas cela ne fait pas de mal

Maintenant, pour en revenir à la question initiale qui est "faut-il vraiment les conserver dans le siteMap ?". Je pense que oui.

En effet l'objet du sitemap est de soumettre à Google des pages. Libre à lui ensuite de les accepter ou pas..

Dans le cas ou il ne les acceptent pas, il serait illogique de la part de Google de sanctionner les urls répondant aux critères ... d'autant plus que le sitemap est ne l'oubliant pas.. Une aide pour Google.

42. Le mardi 13 septembre 2005 à 16:38, par Dams

Merci a tous...
La nouvelle version Beta est Disponible

Je clos les commentaires sur ce billet et vous invite à poursuivre sur le billet YoodaMap 0.4.

Ajouter un commentaire

Les commentaires pour ce billet sont fermés.

Weblog Yooda