C’est simple, ils servent à orienter le sujet des contenus d’un site. Grâce à l’étude des mots des textes, les moteurs de recherche sont capables de catégoriser un site internet, une page ou un article. La catégorisation est un phénomène qui se développe de plus en plus, grâce aux moteurs verticaux, les bots catégorisent les types de données (vidéos, maps, images…). Certains bots, je prends comme exemple celui de wikio, sont capables d’analyser des contenus et de les ranger dans une catégorie précise de leur index.
Mais d'après ce que je sais il y a toujours quelqu'un derrière l'ordi qui détermine qu'est-ce qui est prioritaire. Ainsi quand on cherche un livre on a plus de chances de tomber sur amazon que sur le texte version digitale, parce que les gens de Google veulent plutôt qu'on achète le livre qu'on le lise sur Internet.