Intéressé par un aspect spécifique du fonctionnement des moteurs de recherche ? Si vous possédez, gérez, monétisez ou promouvez du contenu en ligne via Google, ce guide vous est destiné.
Comment un moteur de recherche comme Google trouve du contenu ?
Google explore le Web à l’aide d’un code appelé « Spider« . Il s’agit d’un petit programme qui suit les liens d’une page à une autre et chaque page sur laquelle il est créé est copiée et transmise aux serveurs. De plus, le Web est énorme et si Google devait garder une trace de tout le contenu qu’il trouvait, il serait ingérable. C’est la raison pour laquelle Google enregistre uniquement le code de la page et supprimera les pages qu’il ne pense pas utiles.
Les codes « Spider » fonctionnent de manière très spécifique, sautant de lien en lien en découvrant de nouvelles pages. C’est pourquoi, si votre contenu n’est pas lié à celui-ci, il ne sera pas indexé. Quand un nouveau domaine est rencontré, le code va d’abord chercher cette page : domain.com/robots.txt.
Tous les messages que vous avez pour le code de google, tels que le contenu que vous souhaitez indexer ou l’emplacement de votre sitemap, peuvent être laissés sur cette page. Le code devrait alors suivre ces instructions. Les codes Spider de Google sont généralement bien comportées et respecteront les commandes.
D’ailleurs, le code en question est un petit programme simple. Il existe de nombreuses versions open source que vous pouvez télécharger et mettre à votre disposition gratuitement sur le Web. Aussi vital que cela soit pour Google, trouver le contenu n’est pas le plus facile.
L’indexation de votre contenu
Lorsque vous avez une grande quantité de contenu, vous avez besoin d’un moyen de raccourci vers ce contenu. Google ne peut avoir qu’une seule base de données contenant toutes les pages, qu’elle trie chaque fois qu’une requête est entrée. Ainsi, cela serait très lent à exécuter.
Au lieu de cela, google crée un index qui raccourcit essentiellement ce processus. En effet, les moteurs de recherche utilisent actuellement une technologie telle que Hadoop pour gérer et interroger très rapidement de grandes quantités de données. La recherche dans l’index est beaucoup plus rapide que la recherche dans toute la base de données à chaque fois.
Les algorithmes de classement
Le contenu a maintenant été indexé. Google en a donc pris une copie et placé un raccourci vers la page de l’index. Parfait, il est désormais possible de le trouver et de l’afficher lorsqu’il correspond à une requête de recherche pertinente. Chaque recherche que vous effectuez dans Google produira probablement des milliers de résultats. Google doit donc maintenant décider dans quel ordre afficher les résultats.
Ensuite, google décide quelle requête va où dans l’algorithme. Un algorithme est un terme générique qui désigne un processus ou un ensemble de règles suivies pour résoudre un problème. En référence à Google, il s’agit de l’ensemble des statistiques pondérées qui déterminent l’ordre dans lequel elles classent la page.