Surveiller le crawl des moteurs de recherche sous Google Analytics

L’idée n’est pas de réinventer la roue, mais plutôt de donner un écho supplémentaire à un petit tweak Google Analytics qui permet de surveiller l’activité des crawlers moteurs de recherches sur vos pages. Le concept à la base proposé par Rémi Aubert consiste à créer un profil Analytics dédié aux robots et l’utiliser pour surveiller l’indexation des pages de votre site.

Les résultats dans Google Analytics :

Ci-dessous un extrait du profil Google Analytics où apparaissent les pages visitées par le crawler et l’intensité des visites. L’avantage de cette solution est que cela s’utilise comme un profil classique sous Google Analytics : les visiteurs sont les bots et il ne visitent qu’une seule page à la fois. On a donc des données en visites et en pages vues avec une interface toute faite, merci Google!

Affichage des pages vues par les crawler

Cette lecture est beaucoup plus complète, et contrairement au graph Google Webmaster Tools, elle permet de cibler si vos pages ont fait l’objet d’un big crawl Google, quels articles sont les plus souvent revisités, etc…

Google Webmaster Tools pages crawlées

L'outil Google Webmaster Tools : il n'affiche que l'indexation globale et est orienté sur la performance

Vous trouverez la liste des robots qui ont parcouru votre site dans la section “Sources”, et en affinant à l’aide de “User Defined Value”. Cette liste est très riche en infos, elle permet surtout si nécessaire de filtrer et exclure certains crawlers qui utilisent des ressources serveur sans bénéfice.

Liste des crawlers
Voici la démarche à suivre  pour installer la solution

Profil Dédié Google Analytics

Tout d’abord, créer un nouveau profil à votre compte Google Analytics (pour obtenir un ID UA-xxxxx différent). Le nom est indifférent, vous pourrez utiliser comme dans l’exemple robots.domaine.com, peu importe.

Il faut ensuite récupérer les scripts, avec 3 fichiers que vous pourrez télécharger ici, puis modifier 3 paramètres (voir le screenshot ci-dessous) dans le fichier config.php, uploader les trois fichiers sur votre serveur dans un répertoire /analytics/, et enfin référencer le fichier analytics.php dans le code source de vos pages (le header.php sous WordPress).

Configuration de config.php:
La manipulation consiste à entrer l’ID Analytics du nouveau profil que vous avez créé, le domaine et puis le hash du domaine que vous allez trouver en regardant la valeur du cookie _utma (l’extension Chrome Google Analytics Debugger est conseillée) :

Cookie Google Analytics _utma
Extension Google Analytics Debugger pour Chrome

La valeur du cookie ressemble à cela : 58715258.281663908.1207124725.1229617107.1229703684.210
C’est donc cette première suite de chiffre “58715258″ qu’il faut spécifier dans le fichier de configuration.

Référencer le fichier :

Insérer un appel au fichier analytics.php dans vos pages  l’aide d’un include php

[sql]<!–?php include_once( dirname(__FILE__).’/analytics.php’); ?–>[/sql]
Et enfin, valider l’installation dans Google Analytics, qui permet aujourd’hui un affichage quasi temps-réel des visites.

6 Comments

  1. Bonjour,

    C’est un article très intéressant mais est-il toujours d’actualité ?
    Je pense que c’est important de pouvoir “suivre” le bot de Google pour avoir une idée des pages à améliorer ou non, du temps de chargement, des pages inutiles etc.

    Merci pour la réponse,

    Isa

Leave a Reply