La détection du spam de liens par la dérivée est une méthode qui repère les pages au PageRank gonflé artificiellement, en mesurant comment leur importance varie quand le poids donné aux liens change. Le brevet US 7,953,763 B2, « Method for detecting link spam in hyperlinked databases », la décrit. La demande d'origine a été déposée le 18 août 2004, à partir d'une demande provisoire du 18 août 2003. Cette continuation (demande 12/410,381) a été déposée le 24 mars 2009 et délivrée le 31 mai 2011.
Que décrit le brevet US 7,953,763 ?
Le brevet US 7,953,763 décrit un détecteur de gonflement qui calcule, pour chaque page, une quantité correspondant à la dérivée mathématique de son importance (son PageRank, dans le mode de réalisation principal) et signale les pages dont la valeur est anormale. Ses 3 inventeurs sont Sepandar D. Kamvar, Taher H. Haveliwala et Glen M. Jeh, chercheurs connus pour leurs travaux sur le calcul du PageRank. Sepandar Kamvar a aussi cosigné le brevet sur la réputation des auteurs. Le brevet compte 25 revendications et 6 planches de dessins, et il prolonge le brevet US 7,509,344. Dans le moteur de recherche décrit, le détecteur de gonflement examine les cartes de liens et utilise les PageRanks, et il « peut modifier les PageRanks 132 ou les cartes de liens 128 après avoir détecté des nœuds gonflés ».
Le brevet traite une faiblesse connue du classement fondé sur les liens : « la structure des liens autour d'un nœud peut être modifiée volontairement pour gonfler artificiellement son classement ».
Quels types de spam de liens le brevet vise-t-il ?
Le brevet vise 2 types de spam de liens :
- Les fermes de liens : « un ensemble de nœuds où un grand nombre de nœuds pointent vers un seul pour donner la fausse impression qu'il est important ». L'exemple du brevet est la page d'accueil d'un site commercial, gonflée par « de nombreuses pages factices » qui pointent toutes vers elle.
- Les attaques en clique, ou cercles de liens : « un ensemble de nœuds qui pointent surtout les uns vers les autres pour donner une fausse apparence d'autorité ». Son exemple est un cercle de 4 pages aux nombreux liens réciproques.
Pourquoi un simple comptage de liens échoue-t-il ?
Un simple comptage de liens échoue parce que les vraies autorités ressemblent à des fermes de liens. Une ferme de liens est « un nœud central vers lequel pointent de nombreux autres nœuds », mais « cette même structure apparaît naturellement chaque fois qu'un nœud très important reçoit de nombreux liens ». L'exemple du brevet : « le site Yahoo.com reçoit de nombreux liens, mais ce n'est pas une ferme de liens ».
La différence tient à ceux qui font les liens. Pour une vraie autorité, « les nœuds qui pointent vers le nœud central ont souvent certains liens de classement relativement élevé », alors que dans une ferme, « ils ont tous un classement relativement faible ». Vérifier ce motif pour chaque nœud est « trop coûteux en calcul » à l'échelle du web : le brevet a besoin d'une quantité qui le capture directement.
Comment la dérivée détecte-t-elle le spam de liens ?
La dérivée détecte le spam de liens en mesurant comment l'importance d'une page réagit au facteur de couplage des liens, qui joue le rôle du facteur d'amortissement du PageRank : dans la matrice A(c) = [cP + (1 − c)E]ᵀ, c pondère les vrais liens (P) face aux sauts aléatoires (E). Ce facteur va de 0 à 1 :
- À 0, les nœuds sont « totalement découplés » : les internautes sautent au hasard et « tous les nœuds reçoivent le même classement ».
- À 1, les nœuds sont « totalement couplés » : il n'y a plus de sauts aléatoires, et le classement dépend entièrement des liens.
Le système calcule la dérivée de l'importance de chaque page par rapport à ce facteur, puis, dans certains modes de réalisation, la normalise par l'importance de la page. L'importance utilisée pour normaliser « n'est pas nécessairement la même que celle du nœud dont on prend la dérivée » : elle peut aussi venir d'un comptage des liens entrants, d'un vecteur propre principal ou d'une décomposition en valeurs singulières de la matrice des liens. Les 2 types de spam donnent des signatures opposées, mesurées « par comparaison avec la même quantité pour les autres nœuds du graphe » :
| Structure | Dérivée normalisée | Pourquoi |
|---|---|---|
| Ferme de liens | Fortement négative | Les nombreuses pages qui font le lien ont une importance très faible : la page centrale perd vite quand les liens pèsent davantage |
| Vraie autorité | Modérée | Les liens de pages fortes et de pages faibles se compensent |
| Cercle de liens | Fortement positive | L'importance circule à l'intérieur du cercle sans se dissiper vers l'extérieur |
| Groupe naturel | Modérée | Il a davantage de liens vers l'extérieur, ce qui dissipe le renforcement mutuel |
Le brevet calcule la dérivée à partir des équations du PageRank, x'(c) = (I − cPᵀ)⁻¹(P − E)ᵀx(c), où x(c) est le vecteur d'importance. Comme la matrice « tend à être très grande et creuse », une factorisation est « d'un coût prohibitif » : un mode de réalisation résout donc le système linéaire par « une technique de relaxation de Jacobi », une méthode itérative simple dont la vitesse de convergence vaut c, très rapide pour des valeurs de c allant jusqu'à 0,98. Les techniques de Gauss-Seidel sont citées comme alternative.
Le brevet mesure-t-il la dérivée pour une seule valeur du facteur ?
Non, pas forcément. Comme « la fonction dérivée peut ne pas être uniforme sur toutes les valeurs », certains modes de réalisation calculent plusieurs dérivées pour chaque page à différentes valeurs de c, puis les combinent, par exemple en faisant la moyenne, pour saisir la variation « sur une plage plus large ». Quand la dérivée est normalisée par le classement de la page elle-même, la moyenne sur un intervalle [a, b] a une forme exacte : [log x(b) − log x(a)]/(b − a). En pratique, la probabilité de spam peut se calculer directement à partir de l'importance de la page évaluée pour 2 valeurs de c, comme l'indique l'abrégé.
La dérivée peut-elle aussi classer les pages ?
Oui. Le brevet indique que « indépendamment de toute considération de spam de liens, la valeur de la dérivée peut servir à attribuer un classement à un nœud », par exemple pour trier les résultats de recherche. Les revendications 20 à 25 couvrent cet usage : en réponse à une requête, le système ordonne les pages « en fonction des quantités respectives » et renvoie les résultats dans cet ordre. La méthode ne se limite pas non plus au web : le brevet cite les articles scientifiques, les brevets qui citent d'autres brevets, les messages de forums, les e-mails, les réseaux sociaux et les réseaux pair à pair.
Que deviennent les pages signalées comme spam de liens ?
Les pages signalées deviennent candidates à des contre-mesures. Le brevet décrit plusieurs règles de sélection : un pourcentage prédéfini des pages à la dérivée normalisée la plus basse pour les fermes de liens, la plus haute pour les cercles, ou la plus grande en valeur absolue pour attraper les deux, ou encore un seuil sur ces valeurs. « Une personne ou un algorithme complémentaire peut examiner les nœuds suspects pour décider s'il s'agit de spam ».
Les contre-mesures sont explicites : « le nœud est supprimé du graphe », ou son importance est réduite par « une pénalité prédéfinie ou un montant calculé, par exemple proportionnel à la valeur absolue de la dérivée normalisée ». L'ajustement peut s'appliquer à un classement calculé par d'autres techniques que le classement par les liens, ou par une combinaison des deux. Dans les revendications indépendantes principales (1, 12 et 19), l'exécution d'« une action corrective » sur les pages identifiées fait partie de la méthode elle-même.
Quel lien entre ce brevet et les autres brevets sur le spam de liens ?
Ce brevet détecte le spam à partir de la forme du graphe de liens. Le brevet sur le contexte des liens le détecte à partir des mots qui entourent les liens, le brevet sur la vélocité des liens à partir du calendrier des liens, et le PageRank par pages de confiance rend les fermes inutiles en mesurant la distance aux pages de confiance.
Que change la détection du spam de liens pour votre SEO ?
La détection du spam de liens signifie que les liens venant de nombreuses pages faibles et les cercles fermés de liens réciproques laissent une signature mathématique qui les distingue de la vraie autorité. 5 conséquences en découlent :
- Ne construisez jamais de fermes de liens. De nombreuses pages de faible importance qui pointent vers une même page produisent une signature fortement négative.
- Évitez les cercles de liens et les réseaux de liens réciproques. Des groupes de sites qui se lient surtout entre eux produisent une signature fortement positive.
- Obtenez quelques liens de pages fortes. Ce qui distingue une vraie autorité, c'est la présence de pages bien classées parmi les nombreux petits liens.
- Gardez votre profil de liens ouvert sur l'extérieur. Les sites naturels pointent vers d'autres sites, ce qui dissipe le renforcement mutuel qui définit un cercle.
- Des pénalités sont possibles, pas seulement une neutralisation. Les pages signalées peuvent être retirées du graphe ou voir leur importance réduite en proportion de l'anomalie.
Un audit de backlinks de notre équipe recherche les 2 signatures : de nombreuses pages faibles qui pointent vers une même URL, et des groupes de sites qui pointent surtout les uns vers les autres.
Le brevet décrit ce que le système de Google peut faire. Il ne confirme pas que Google utilise aujourd'hui cette dérivée pour détecter le spam de liens.
