La personnalisation des résultats et le SEO : comment Google construit un profil d'utilisateur à partir de termes, de catégories et de liens

La personnalisation des résultats est le réordonnancement des résultats de recherche pour chaque utilisateur selon un profil de ses centres d'intérêt. Le brevet US 9,298,777 B2, « Personalization of web search results using term, category, and link-based user profiles », décrit comment Google construit et utilise un tel profil. La demande d'origine date du 30 septembre 2003, et cette continuation, déposée le 7 janvier 2013, a été délivrée le 29 mars 2016.

Que décrit le brevet US 9,298,777 ?

Le brevet US 9,298,777 décrit un système qui crée un profil d'utilisateur et s'en sert pour ordonner les résultats d'un moteur de recherche. Son unique inventeur est Stephen R. Lawrence, et le brevet a été déposé par Google Inc. Il compte 24 revendications et 12 planches de dessins, et il prolonge une chaîne de demandes qui commence en 2003 (demande 10/676,711, puis 12/778,869 en 2010 et 13/295,019 en 2011, toutes abandonnées).

Le résumé le condense : le profil « repose sur les requêtes saisies par l'utilisateur, ses interactions avec les documents trouvés par le moteur et les informations personnelles qu'il fournit ». « Les scores génériques des résultats sont modulés par le profil », et « les résultats sont réordonnés pour que les plus pertinents apparaissent en haut de la liste ».

Les revendications vont plus loin que le résumé : elles protègent un score final qui mélange le score personnalisé et le score générique selon la confiance du système dans le profil (voir plus bas).

Quel problème la personnalisation résout-elle ?

La personnalisation résout le fait qu'un classement générique traite tous les utilisateurs de la même façon. Le brevet décrit le surfeur aléatoire du PageRank et note qu'« un moteur qui utilise le PageRank traite une requête de la même façon quelle que soit la personne qui la saisit ». Le score générique « peut ne pas refléter correctement l'importance du document D pour un utilisateur U si ses intérêts ou ses préférences diffèrent fortement de ceux du surfeur aléatoire ».

L'exemple du brevet est la requête « blackberry » : un moteur fondé sur le PageRank peut placer www.blackberry.net en tête « parce que cette page a le PageRank le plus élevé », alors qu'un utilisateur passionné de cuisine préférerait voir des recettes. Le brevet veut aussi un système qui fonctionne « en grande partie ou entièrement sans intervention explicite de l'utilisateur », car « les utilisateurs rechignent à donner un retour explicite ».

D'où vient le profil d'utilisateur ?

Le profil d'utilisateur vient de 8 types d'informations listés dans la figure 2 du brevet :

1. Les requêtes passées de l'utilisateur. Un utilisateur qui a cherché plusieurs fois des informations sur le diabète puis tape « organic food » s'intéresse probablement aux aliments bio « qui aident à lutter contre le diabète ».
2. Les URL des documents identifiés, en particulier les résultats que l'utilisateur a choisis ou « visités ».
3. Le texte d'ancre de ces URL.
4. Les informations générales sur les documents : leur format (HTML, texte brut, PDF, Microsoft Word) et leur sujet.
5. Les actions de l'utilisateur sur les documents : « le temps passé à consulter le document, l'ampleur du défilement, et le fait de l'avoir imprimé, enregistré ou ajouté aux favoris ». Ces actions peuvent pondérer les informations extraites ou choisir les documents utilisés : le système peut « exclure du profilage les documents consultés moins longtemps qu'un seuil prédéfini ».
6. Le contenu échantillonné des documents, plutôt que les documents entiers, « pour économiser l'espace de stockage et le coût de calcul ».
7. Les informations de catégorie sur les documents.
8. Les informations personnelles, facultatives : données démographiques et géographiques comme la tranche d'âge, le niveau d'études, la tranche de revenus, les préférences de langue, la situation familiale ou la localisation. L'exemple du brevet est « Japanese restaurant » : sans la localisation de l'utilisateur, il est difficile de faire remonter les restaurants proches.

Les « documents identifiés » ne sont pas seulement des résultats de recherche : ils incluent les documents consultés hors de la recherche, et les documents liés vers ou depuis ces documents.

Le profil évolue. Dans certains modes de réalisation, il est mis à jour « chaque fois que l'utilisateur effectue une recherche et choisit au moins un document », ou à des moments prédéfinis. « Les nouvelles données reçoivent plus d'importance que les données générées auparavant » dans certains modes de réalisation, et les éléments peuvent être pondérés selon leur âge, « les plus anciens recevant un poids plus faible que lorsqu'ils étaient nouveaux ». Les poids les plus faibles peuvent être élagués pour que le profil tienne dans une limite de stockage.

Quels sont les 3 sous-profils ?

Le profil se divise en 3 sous-profils, qui décrivent chacun les intérêts de l'utilisateur « sous un angle différent » :

1. Le profil de termes : « des termes, chacun associé à un poids qui indique son importance par rapport aux autres ».
2. Le profil de catégories : « plusieurs catégories, éventuellement organisées en carte hiérarchique », chacune avec un poids d'intérêt. La carte d'exemple du brevet est l'Open Directory Project : sous la racine, de grands thèmes comme « Art », « News » ou « Sports » ; « Art » se divise en « Movie », « Music » et « Literature », et « Music » en « Lyrics », « News » et « Reviews ».
3. Le profil de liens : « des liens liés directement ou indirectement aux documents identifiés », chacun avec un poids, qui « peuvent être organisés par hôte et par domaine ».

Un profil peut ne contenir qu'une partie des trois : dans un mode de réalisation, il comprend un profil de termes et un profil de catégories, « mais pas de profil de liens ».

Comment les termes et les catégories sont-ils pondérés ?

Les termes et les catégories reçoivent un poids positif pour les intérêts et négatif pour ce que l'utilisateur évite. Un terme fait « en général 1 à 3 mots » et peut être représenté par des n-grammes. « Le poids d'un terme n'est pas forcément positif » : pour un groupe de fans de surf à Santa Cruz, « surfing club » ou « Santa Cruz » reçoivent un poids positif, tandis que « Internet surfing » ou « web surfing » ont « plus de chances de recevoir un poids négatif ».

Le profil de termes exige une correspondance exacte : « si un document ne contient pas exactement un terme, il ne reçoit aucun poids associé à ce terme ». Un profil avec « Mozilla » et « browser » n'apporte rien à une page sur « Galeon » ou « Opera ». Le profil de catégories sert à rapprocher les intérêts « sans correspondance exacte des termes ». Les catégories peuvent aussi décrire les formats des documents, leurs types (page d'accueil d'une organisation, article de recherche, message de forum) ou leur origine, « par exemple le pays associé à l'hôte de chaque document ».

Comment le profil de liens pondère-t-il les sites ?

Le profil de liens pondère les URL, les hôtes et les domaines que l'utilisateur visite souvent :

1. Les URL préférées sont repérées « en analysant la fréquence de ses accès à ces URL », et peuvent être pondérées par « le temps passé par l'utilisateur et son défilement ».
2. Les hôtes et domaines préférés viennent de la fréquence des visites sur leurs pages. Quand deux URL préférées partagent un hôte, leurs poids peuvent être combinés en un poids pour l'hôte. Pour finance.yahoo.com, l'hôte est « finance.yahoo.com » et le domaine « yahoo.com ».
3. Les liens indirects étendent la liste : les URL ou hôtes liés vers ou depuis les préférés sont pondérés selon la distance. Quand une URL identifiée directement pèse 1, les URL à un lien de distance « peuvent avoir un poids de 0,5 », à deux liens « 0,25 ».
4. Les liens hors sujet perdent du poids : pages de copyright, pages de téléchargement de navigateur (le site d'Internet Explorer est l'exemple du brevet), ou liens dont le thème est très différent.

Comment Google extrait-il les termes des pages lues par l'utilisateur ?

Google extrait les termes avec 2 méthodes, utilisables seules ou ensemble (combinées, la sortie de l'échantillonnage alimente l'analyse de contexte) :

1. L'échantillonnage de paragraphes : retirer « les commentaires, le JavaScript et les feuilles de style », puis sélectionner « les N premiers mots (ou M phrases) » de chaque paragraphe plus long qu'un seuil, MinParagraphLength. Dans un mode de réalisation, N vaut 100 et M vaut 5. La procédure commence par les paragraphes les plus longs et peut s'arrêter à un maximum, « par exemple 1000 mots », par document. Les limites des paragraphes suivent la page telle qu'elle s'affiche dans un navigateur : les liens intégrés et le texte en gras ne coupent pas un paragraphe. Les phrases contenant des termes passe-partout comme « Terms of Service » ou « Best viewed » peuvent être écartées. Si la limite de mots n'est pas atteinte après tous les paragraphes longs, la procédure ajoute le titre, les liens non intégrés, les attributs ALT et les balises meta.
2. L'analyse de contexte : apprendre des « motifs de contexte » (préfixes, suffixes ou les deux) qui signalent les termes importants à partir de documents d'entraînement, puis les appliquer aux documents de l'utilisateur. Les motifs comptent en général moins de 5 mots avant ou après le terme, de préférence 1 à 3. Un poids possible pour un motif est Log(ImportantContext + 1) - Log(UnimportantContext + 1). Dans la phrase d'exemple du brevet, « Welcome to Foobar. Foobar builds and sells the world's best cars », « Foobar » reçoit un poids de 1,2, somme des motifs « Welcome to * » (0,7) et « * builds » (0,5), et « cars » reçoit 0,8 grâce à « world's best * ». L'analyse de contexte peut ainsi trouver des termes « absents d'une base de termes prédéfinie ».

Comment le profil modifie-t-il le classement ?

Le profil modifie le classement en combinant le score générique de chaque document avec sa correspondance avec les profils de l'utilisateur. Dans un mode de réalisation, le brevet donne les formules :

• GenericScore = QueryScore × PageRank
• PersonalizedScore = GenericScore × (TermScore + CategoryScore + LinkScore)

TermScore mesure la corrélation entre le contenu du document et le profil de termes (des techniques connues comme le TF-IDF peuvent servir), CategoryScore la corrélation entre les catégories du document et le profil de catégories, et LinkScore la corrélation entre l'URL ou l'hôte du document et le profil de liens. Les résultats sont ensuite triés selon le score personnalisé.

Un second mode de réalisation (figure 9B) personnalise la requête au lieu des résultats : « des termes pertinents du profil peuvent être ajoutés à la requête avec des poids associés », et les résultats reviennent déjà ordonnés.

Les profils « peuvent être créés ou stockés côté client ou côté serveur ». Le brevet note que le stockage côté client « répond aux exigences de confidentialité de certains utilisateurs », mais seul un nombre limité de documents, « par exemple les 50 premiers », peut être envoyé au client pour être réordonné, contre « par exemple 1000 » côté serveur. Le côté client « peut priver l'utilisateur des documents dont le classement générique est assez bas mais le classement personnalisé nettement élevé ».

Comment le score de confiance limite-t-il la personnalisation ?

Le score de confiance limite la personnalisation en donnant moins de poids au profil quand le système sait peu de choses sur l'utilisateur. Le niveau de confiance « tient compte de facteurs comme la quantité d'informations recueillies sur l'utilisateur, la proximité entre la requête et son profil, et l'âge du profil ». Avec « un historique très court », le profil reçoit une confiance faible. Le score final est :

• FinalScore = PersonalizedScore × ProfileConfidence + GenericScore × (1 - ProfileConfidence)

Une autre option entrelace les deux listes : les positions impaires (1, 3, 5) vont aux résultats génériques et les positions paires (2, 4, 6) aux résultats personnalisés, ou l'inverse, sans doublons. La part de résultats personnalisés peut suivre la confiance, « par exemple un seul résultat personnalisé quand la confiance est faible ».

C'est le cœur des revendications. Les 3 revendications indépendantes (1, 9 et 17) exigent un score final calculé à partir du score personnalisé, du score générique et d'un score de confiance, des résultats ordonnés en partie selon le score personnalisé et en partie selon le score générique, avec un ratio « déterminé en fonction du score de confiance », et un profil mis à jour à partir des requêtes et des documents choisis par l'utilisateur. Les revendications dépendantes ajoutent les termes, catégories et liens pondérés, et des motifs de contexte dont les poids « peuvent être recalibrés ».

Quelles limites le brevet reconnaît-il ?

Le brevet reconnaît 2 faiblesses de la personnalisation :

1. Les intérêts qui changent : quand les nouveaux intérêts d'un utilisateur « ressemblent peu à son profil », ou quand l'intérêt est temporaire, les résultats personnalisés « peuvent être moins satisfaisants » que les résultats génériques.
2. Les nouveaux sites : les résultats « peuvent ne pas inclure de nouveaux sites parmi les premiers documents, car le profil tend à augmenter le poids des sites plus anciens que l'utilisateur a visités ».

Mélanger résultats personnalisés et génériques est la réponse du brevet à ces faiblesses. Le brevet traite aussi les ordinateurs partagés : une famille qui utilise une seule machine peut partager un profil de groupe, et dans une bibliothèque publique les utilisateurs peuvent se connecter ou être reconnus à leurs habitudes, comme leur façon de « déplacer la souris » ou de « taper ».

Quel lien entre ce brevet et les autres brevets sur les signaux utilisateurs ?

Ce brevet personnalise les résultats pour un utilisateur, tandis que Navboost et le brevet sur le biais de présentation agrègent les clics de tous les utilisateurs pour une requête. Le brevet sur les résumés génératifs utilise lui aussi des mesures liées à l'utilisateur pour choisir les sources d'un résumé IA.

Que change la personnalisation pour votre SEO ?

La personnalisation signifie que les internautes qui fréquentent déjà vos contenus peuvent vous voir plus haut que le classement générique ne le laisse penser. 6 conséquences en découlent :

1. Fidélisez vos lecteurs. Le temps de lecture, le défilement, l'impression, l'enregistrement et les favoris alimentent le profil, et des visites fréquentes font de votre URL, de votre hôte et de votre domaine des liens préférés. Les pages consultées trop brièvement peuvent être exclues du profil.
2. Rendez vos sujets évidents. L'échantillonnage lit les 100 premiers mots (ou 5 phrases) de vos paragraphes les plus longs : énoncez votre sujet tôt dans chaque long paragraphe pour que les termes qui définissent votre page soient extraits, et tenez le texte passe-partout à l'écart.
3. Remplissez le titre, les attributs ALT et les balises meta. Ils complètent l'échantillon quand les longs paragraphes n'atteignent pas la limite de mots.
4. Restez cohérent avec une catégorie. Le profil de catégories associe les documents aux intérêts de l'utilisateur sans termes exacts : un site clairement rattaché à un thème profite des internautes qui s'y intéressent.
5. Continuez à travailler le classement générique. Le brevet admet que les profils favorisent les sites anciens déjà visités : pour un nouveau site, les résultats génériques entrelacés avec les résultats personnalisés sont la porte d'entrée.
6. Ne vous fiez pas aveuglément à vos propres classements. Un moteur personnalisé classerait plus haut, pour vous, le site que vous visitez chaque jour : vérifiez vos positions avec des outils neutres ou en navigation déconnectée.

Le brevet décrit ce que le système de Google peut faire. Il ne confirme pas comment Google personnalise aujourd'hui ses résultats.