Zoom sur les pages « fantômes » d’un site

Le site Botify a publié un article intéressant concernant sa propre étude de pages dénommées « fantômes ».  En savoir plus…

Certaines pages d’un site peuvent être indexées par Google, être crawlées, et malgré tout ne plus faire partie de la structure du site. Comment est-ce possible ?

Explications avec un test de Botify

L’auteur du site Botify explique qu’il utilise son propre crawler pour analyser les sites. Ce crawler sert à détecter les pages que Google indexe, celles qui sont présentes dans l’arborescence du site (CF l’article concernant le sitemap), celles qui ne le sont plus, etc..

Ce résultat est obtenu suite à un test sur un site marchand :

Schéma Botify

On observe 3 couleurs : rouge, marron et gris foncé.

Le mélange de rouge et marron est le résultat du nombre de pages du site trouvé par le crawler de Botify = 129 694.

Le mélange de marron et gris foncé est le résultat du nombre de pages trouvé par Google = 677 813.

La partie marron à elle seule désigne le nombre de pages communes trouvées par Botify et Google = 90 615.

Première constatation : Le crawl de Botify et celui de Google n’ont pas l’air de bien s’entendre !!

Or, en analysant la structure du site, on aperçoit bien qu’il n’y a que 129 694 pages réelles reliées à la structures. La partie grise foncée semble donc injustifiée, car Google explorerait des pages non reliées à la structure ! Ces pages sont appelées « pages fantômes » par Botify puisqu’elles n’apparaissent « nul part » ou du moins pas dans l’arborescence du site.

Plusieurs questions ont été posées, notamment concernant le SEO, la question est de savoir si :

Ces pages ont-elles un poids en SEO ?

Il s’avèrerait qu’elles aient un poids minime par rapport à celles présentes dans la structure (en marron).

Elles seraient environ 11x moins importantes en terme de référencement naturel que les autres d’après l’enquête Botify (4% contre 45%) :

tableau Botify

Une autre question serait de savoir :

D’où Google tient-il ces pages ?

Est-ce dû :

• Au sitemap actuel ?
• Aux pages anciennement indexées par Google et que ce dernier retient comme « appartenant au site » même si elles ne font plus partie de celui-ci actuellement ?
• Aux liens reliant le site à des articles passés en mode « fantôme » ?

 Yves HEILIG