Ce site est en train de mener une expérimentation concernant la gestion du "Duplicate Content" par les moteurs de recherche.

Les principes généraux en sont définis sur la première page d'expérimentation.

La page que vous êtes en train de lire décrit les résultats de cette expérimentation et sera régulièrement mise à jour en fonction des évolutions constatées.

Première expérimentation (21/03/06)

Les premières pages d'expérimentation ont été mises en place.

Ce première lot comportait la page originale plus 6 copies de cette page dans lesquelles la partie basse du texte avait été modifiée par rapport à l'original. Ces copies ont été baptisées sous la forme "experimentation-duplicate-XX.php" ou XX représente le pourcentage de similarité avec la page originale. Le mot clé "akurbitz", pour lequel aucun moteur ne trouvait de résultat, a été placé en tête de page afin de faciliter les recherches des pages de ce test.

Pour tenter un essai qui soit le plus représentatif possible, le texte de la partie basse a été remplacé par des textes d'une longueur à peu prés équivalente à celle de l'original. Tous les textes étaient des originaux qui n'avaient jamais été publiés sur le Web. Les textes de substitution étaient tous différents d'une page à l'autre.

Les contenus des balises <TITLE> et <DESCRIPTION> étaient strictement identiques pour toutes les pages.

Résultats : Le 27/03/06, "Googlebot - Googlebot/2.1;" a effectué un scan du site mais n'a intégré que la page originale dans son index. Une recherche sur "Duplicate content detection" proposait notre page originale dans ses résultats dès le lendemain (28/03/06). Une nouvelle visite le 06/04/06 suivie d'une visite le 09/04/06 n'ont pas modifié les résultats. Google semblait refuser d'indexer nos duplicatas. On observait d'ailleurs exactement la même chose avec MSN.

La structure dans laquelle nous avons intégré ces pages est peut-être responsable de cet état de fait. Voici comment nous avions construit nos liens :

Cette construction obligeait Google à explorer le site très profondément pour découvrir toutes ces pages.

Deuxième expérimentation (10/04/06)

Une deuxième série de pages de test a été copiée sur le site. Cette série est exactement du même genre que la première à ceci près que :
- les balises <TITLE> et <DESCRIPTION> ont été individualisées
- les noms des pages sont désormais assez différents de celui de la page d'origine (la série a été nommée "duplicate-content-experimentation-XXb.php" ou XX représente le pourcentage de similarité)
- le titre figurant dans le texte a été modifié

Toutes les pages des deux séries comportent désormais une série de liens vers toutes les autres pages, ceci afin de faciliter l'indexation de chaque page.

La liste des liens vers toutes ces pages figure désormais sur l'un de nos sites partenaires . Ceci, toujours dans le but de faciliter l'indexation de l'ensemble de la série.

les balises <TITLE> et <DESCRIPTION> de la présente page ont été individualisées. Elles étaient jusqu'alors identiques à celles de la page d'expérimentation originale.

Résultats : GoogleBot est repassé le 11/04/06, le 13/03/06 et le 15/03/06. A partir du 15, l'ensemble des pages étaient indexées.
Une recherche sur "akurbitz" ramenait trois résultats, dont 2 appartenant à nos tests :

Une recherche sur "Duplicate content detection " ne trouvait qu'une seule des pages appartenant à nos tests alors que cette expression figure dans le "chapeau" de toutes les pages du test :

Une recherche sur "Duplicate content filter" ramenait 2 résultats, dans lesquels ne figurent pas la page originale (Notez que cette expression figure au début du texte dupliqué à travers toutes les pages du test) :

Les nouveaux passages de GoogleBot le 18/04/06 et le 20/04/06 n'ont pas amené de changement dans ces résultats.