Quand les données nous induisent en erreur

Mark Murrell

Le 14 avril 2021

« Lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure »La Loi de Goodhart (telle que reformulée par Marilyn Strathern)

Récemment, j’ai lu un excellent article qui soulignait les différentes façons dont les données et les statistiques nous trompent. Puisque le monde est complexe et rempli de nuances subtiles, il se trouve que, lorsque nous tentons de le réduire à un ensemble limité de nombres qui sont gérables et contrôlés, nous risquons souvent de nous décevoir nous-mêmes. La citation ci-dessus n’est que l’une des raisons pour lesquelles cela se produit. Dès qu’on tente d’améliorer quelque chose qu’on mesure, ces mesures deviennent de moins en moins fiables.

La raison qui se cache derrière ce concept est assez simple : les gens réagissent aux encouragements. Ce n’est peut-être pas évident ou même conscient, mais c’est ce qui se produit. En 2005, le célèbre ouvrage Freakonomics expliquait éloquemment les différentes manières dont ce phénomène s’était manifesté, mais cela continue d’arriver même si nous en sommes inconscients.

Personnellement, je l’ai constaté dans le cadre de mon premier emploi en technologie. Je travaillais au centre d’appels de soutien technique chez Apple, et nous mesurions le volume d’appels et le taux d’abandonnement (le nombre de personnes qui raccrochent avant de parler à un agent). L’idée était de compenser en fonction du nombre d’appels répondus, et de motiver les gens à répondre à ces appels dans un délai acceptable. Cela a entraîné une conséquence imprévue : les agents sont devenus excellents à prescrire rapidement une série d’étapes de résolution aux clients, de leur demander de les effectuer, avec la directive de rappeler si cela ne fonctionnait pas. Résultat : un grand nombre d’appels répondus, un faible taux d’abandonnement, mais des délais de résolution plus importants, et une expérience plutôt mauvaise pour le client.

À mesure que nous recueillons de plus en plus de données pour calculer ce qui se passe dans le monde, et que nous tentons de nous en servir pour améliorer le rendement, il est important de comprendre les différentes façons dont les données peuvent nous induire en erreur, et de faire notre possible pour contourner ces écueils.

Éviter les données indirectes

Les données nous induisent en erreur, notamment lorsqu’elles sont enveloppées dans un substitut, soit un système de calcul abstrait utilisé au lieu des vraies données. Parfois, obtenir les vrais chiffres est trop compliqué, ou ils n’existent tout simplement pas, alors on crée des substituts pour tenter de comprendre ce qui se passe, et on établi des mesures qui permettent de faire des comparaisons.

D’ailleurs, l’univers de la sécurité en est rempli. La plupart des indicateurs de sécurité dont les gens parlent tout le temps, comme les incidents à signaler du DOT, les cotes CSA, les taux de sinistres, sont en fait des substituts qui résument ou simplifient des chiffres complexes de façon à ce qu’une tierce partie (p. ex. les organismes de l’application de la loi, les assureurs) puisse classer et prioriser les personnes. À eux seuls, ces chiffres ne signifient à peu près rien.

Ils sont utiles pour comprendre le rendement relatif, mais ils ne racontent qu’une infime partie de toute l’histoire. Si deux flottes affichent le même taux d’incidents à signaler au DOT ou le même taux de sinistre, sont-elles équivalentes en matière de sécurité? Pas nécessairement.

Ce sont aussi des indicateurs retardataires, c’est-à-dire qu’ils résument ce qui est arrivé dans le passé et non la réalité en ce moment. Si ces deux flottes ont les mêmes résultats aujourd’hui en raison de ce qui s’est produit il y a 3, 6, ou même 12 mois, qu’est-ce que cela nous apprend sur leur degré de sûreté à l’instant présent? Presque rien.

Pour obtenir des données significatives, et être en mesure d’y réagir adéquatement, il est important de contourner les substituts et de mesurer les chiffres réels. Dans l’univers de la sécurité, cela signifie additionner les vrais coûts (directs et indirects) en dollars et en tant que pourcentage des revenus. Cela fournit une donnée plus utile, qui aide à identifier exactement où cela coûte cher (plutôt que de se fier à un résumé du substitut). Cela expose aussi très clairement les avantages qu’il y a à remédier aux problèmes.

Calculer tous les aspects

La citation au début de cet article souligne les difficultés qui surviennent lorsqu’on tente d’améliorer les chiffres qu’on mesure, et le faux sentiment de sécurité qu’entraîne la réduction d’enjeux complexes à leur plus simple expression. Notre expérience dans le cadre du programme Les flottes les plus en vue (Best Fleets to Drive For) a révélé que le moyen d’éviter cette situation est de considérer un éventail de mesures plus vastes qui identifient et rectifient le risque de conséquences imprévues.

À titre d’exemple, dans mon dernier article, j’ai discuté de la façon dont les flottes mesurent le rendement des gestionnaires et fait remarquer que beaucoup d’entre eux se concentrent seulement sur la productivité des conducteurs. Cela soulève une panoplie de problèmes potentiels pour la flotte, car il n’y a aucune incitation pour veiller à ce que les conducteurs agissent de façon sécuritaire, arrivent avec une cargaison intacte, prennent soin de leur équipement ou ressentent de la satisfaction au travail. Beaucoup de gens diront qu’il s’agit là d’enjeux de table, mais si un aspect est mesuré au profit d’autres, c’est cet aspect qui devient la priorité.

Pareillement, l’étalonnage le plus commun que nous constatons en ce qui concerne le rendement des chauffeurs est la moyenne de milles au gallon (ou kilomètre au litre). En surface, évaluer le rendement du carburant semble être fantastique puisqu’un bon rendement exige une bonne gestion de la vitesse et une conduite fluide, ce qui favorise aussi la sécurité. Pourtant, lorsqu’on l’utilise en silo, il s’agit d’un parfait exemple de données qui entraînent la complaisance. Le temps est un jeu à somme nulle, alors si les conducteurs sont motivés à passer plus de temps sur un aspect en particulier, du coup, ils en passeront moins ailleurs. S’ils se concentrent à conduire plus lentement et plus fluidement, que négligent-ils? Quels volets sacrifient-ils afin d’avoir plus de temps pour se rendre à leur destination? Est-ce la planification du trajet? Les rondes de sécurité? Le service à la clientèle? Ce sont des enjeux de taille dans les cas où les chauffeurs reçoivent leurs primes en fonction de leur ponctualité. Ils sont motivés à arriver à temps, et à conduire lentement pour se rendre, mais cela crée une dualité de pressions qui entraîne des problèmes d’entretien de véhicule et de roulement de personnel.

Précisons ma pensée : je ne dis pas qu’évaluer le rendement du carburant est une mauvaise idée, et encore moins qu’il ne faut pas motiver les chauffeurs à ralentir et à conduire plus doucement. Il faut pourtant reconnaître que ces étalonnages et programmes incitatifs ne peuvent pas exister seuls ou dans un vase clos. Ils doivent faire partie d’une vision plus large qui établit un équilibre entre tous les aspects dont le rendement peut s’améliorer.

Créer un programme de gestion de la sécurité efficace pour les conducteurs signifie que TOUS les aspects qui définissent l’excellence chez les conducteurs sont mesurés, encouragés et développés. Cela signifie qu’en plus de faire le suivi de la vitesse, du freinage brusque, des changements de voie et autres données de performance routière, il faut mesurer la planification des trajets, les rondes de sécurité, l’arrimage des cargaisons, la sécurité au travail, le partage des pratiques exemplaires, ainsi que l’apprentissage continu. Nous avons constaté que certaines flottes vont jusqu’à évaluer la propreté de la cabine, et si le conducteur balaie la remorque après le déchargement.

L’univers complexe et désordonné des données

Si on regroupe tous ces éléments, on obtient une foule de données, et d’autres continuent toujours de s’ajouter. On réussit maintenant à faire le suivi, à signaler et à étalonner des trucs qui étaient impossibles à savoir auparavant. Tout ça, c’est merveilleux, et une solide base pour apporter des améliorations significatives en matière de sécurité, d’efficience et de qualité de vie générale des conducteurs. Pourvu qu’on se souvienne que le monde est complexe, que les données sont désordonnées, et qu’il est facile de se laisser bercer dans la complaisance en se fiant à des mesures incomplètes et ultra simplifiées.