Réflexions sur les tests de connaissances

Mark Murrell

Le 14 juin 2016

Dernièrement, j’ai reçu des questions sur la façon dont nous structurons nos tests de connaissances chez CarriersEdge. Dans notre système, les gens suivent des cours, puis à la fin de chacun, ils doivent passer un test. Ils ont droit à deux tentatives, et s’ils échouent une deuxième fois, on considère cela comme l’échec du cours, et ils doivent revoir le contenu. Différents tests comportent différentes notes de passage, mais, en général, elles se situent à 80 % ou à 85 %.

Nous en avons décidé ainsi parce que nous voulions créer un équilibre entre offrir une bonne expérience pour les participants, et vérifier qu’un apprentissage suffisant ait lieu. Nous savons que quelqu’un peut échouer à un test d’un seul point, ou manquer quelques questions parce qu’il les a mal lues, et nous ne voulons pas le punir pour cela. Nous avons constaté que, dans la plupart des cas, les gens réussissent le test au second tour, mais lorsqu’ils échouent encore, c’est parce qu’ils ne saisissent pas bien un concept, et il devient alors sensé de réviser le contenu.

C’est ce que nous faisons depuis la mise en œuvre du système, il y a de ça plus de 10 ans, et nous sommes toujours d’avis que cela établit un équilibre entre la diligence et la raisonnabilité, tant pour les conducteurs que pour les administrateurs d’entreprises.

Dans les quelques derniers mois, cependant, certaines personnes ont demandé un nouveau processus en matière de tests, selon une approche qui prend plusieurs noms, comme « apprentissage assuré », « maîtrise totale », « 100 % » ou encore « tout ou rien ». Dans ce modèle, les participants doivent réessayer de répondre aux questions tant et aussi longtemps qu’elles ne sont pas toutes correctes. Par conséquent, tout le monde obtient une note de 100 %, mais cette dernière est obtenue par différents cheminements.

Je ne suis pas DU TOUT un fanatique de ce modèle de test. Toutefois, les gens le demandent, alors j’ai pensé à documenter certaines des raisons de mon aversion ici, et peut-être entamer une discussion sur le sujet.

Défense juridique

L’argument principal que j’ai entendu en faveur de ce modèle se rapporte à la défense juridique. Il repose sur l’hypothèse que, si l’on veille à ce que tout le monde reçoive 100 % lors de la formation, alors on s’est assuré que toutes les connaissances ont été apprises, on a donc un fondement juridique solide. D’un autre côté, si on envoie les conducteurs sur la route avec des notes moins que parfaites, ont démontre alors de la négligence, et on pourrait être vulnérable lors d’un procès. Pour moi, cela n’a aucun sens.

Premièrement, la perfection n’est pas de mise ailleurs dans le métier, ni même dans la société en général. D’ailleurs, la partie 383.135 du titre 49 des règlements fédéraux américains précise une note de passage de 80 % pour les connaissances et les tests d’aptitudes, dans le cadre du permis de conduire pour camion lourd. En plus de tout ça, les écoles professionnelles accordent une note de passage de 75 % pour la remise des diplômes, les étudiants en droit ne doivent pas obtenir 100 % pour réussir les examens du barreau, et même les écoles de médecine n’exigent pas une note de 100 % avant de permettre aux diplômés de se servir d’un bistouri sur un être humain. Ainsi, il ne semble pas raisonnable de demander qu’un conducteur sache 100 % de la matière, en tout temps.

Deuxièmement, forcer les gens à réessayer jusqu’à ce qu’ils ne fassent aucune erreur ne confirme pas qu’ils connaissent le contenu. Cela démontre simplement qu’ils ont (éventuellement) trouvé la bonne réponse. N’importe quelle tête de linotte d’avocat comprendrait cela et ne ferait qu’une bouchée de l’argument de la « maîtrise totale » devant un tribunal.

Troisièmement, répondre à une question à l’infini n’enseigne absolument rien à personne. Si une personne répond mal à une question, c’est peut-être parce qu’elle ne comprend pas la matière. D’autre part, il est possible qu’elle ait mal compris la question, que celle-ci soit mal formulée ou que les choix de réponse soient déroutants. Obliger les gens à essayer jusqu’à ce qu’ils tombent sur la bonne réponse ne règle aucun de ces problèmes. En fait, cela peut aggraver la situation en causant plus de confusion.

L’expérience de l’utilisateur

Une autre chose à considérer ici est l’expérience du participant ou de la participante. Si cette personne rate une question, et doit continuer de cliquer les options jusqu’à ce qu’elle trouve la bonne réponse, quelle est son expérience d’apprentissage? Est-ce que cette méthode de tentatives aléatoires l’aide vraiment à apprendre le contenu? Ou ne fait-elle que trouver, par processus d’élimination, la bonne réponse à une question en particulier?

Et quelle quantité de matière aura-t-elle retenue une semaine ou un mois plus tard? Dans le meilleur scénario, elle se souviendra d’une réponse précise à une question précise. Mais sans vraiment comprendre le contenu, cette personne n’aura aucun contexte, et ne pourra pas appliquer cette information à une situation réelle.

Ce dont elle se souviendra, par contre, c’est de l’expérience pénible qu’elle a eue à terminer un cours. Ce n’est pas exactement le genre de chose qui donne un goût de revenez-y!

Ce type d’expérience limite l’efficacité de la formation et fournit un rendement sur les capitaux investis plus faible sur le long terme.

Information exploitable

Le dernier point est que cette façon de faire passer des tests ne fournit pas de renseignements significatifs pour les gestionnaires. Je n’ai jamais vu un système de type « tout ou rien » qui informe sur le nombre de tentatives à une question avant que la personne réussisse, ou qui dévoile quelles questions sont échouées le plus souvent. Tout ce que cela indique, c’est que quelqu’un a terminé le module (c’est-à-dire qu’il a éventuellement découvert les bonnes réponses), à une date et à une heure en particulier.

N’oublions pas que le but des tests est de vérifier que les objectifs d’apprentissages ont bel et bien été assimilés. Si quelqu’un se trompe à une question, il n’a manifestement pas assimilé assez de contenu pour satisfaire à ces objectifs. Tenter de répondre aux questions encore et encore, jusqu’à ce qu’il trouve la bonne réponse n’y change rien.

Or, les gestionnaires de la formation en apprennent beaucoup lorsqu’ils examinent les données sur les tests. Être en mesure de constater quelles questions posent un pépin aux gens est très utile pour planifier des activités de suivi, se faire une idée plus précise des aptitudes générales des participants et gérer le processus de formation dans son ensemble.

En outre, comme je l’ai mentionné plus tôt, les participants pourraient faire des erreurs parce que les questions sont tout simplement mauvaises. Ce n’est peut-être même pas du tout de leur faute. Les questions pourraient être mal formulées, ou elles ne reflètent pas correctement le contenu présenté dans le cours. Si tout ce que vous recevez est une confirmation qu’une personne s’est rendue jusqu’au bout, vous n’avez pas ces données et n’aurez pas la possibilité de régler ces problèmes.

Une meilleure option?

Bon, maintenant que j’ai fait état de ce que je n’aime pas, qu’est-ce que je suggère à la place?

Le meilleur plan d’action, à mon avis, est un programme de renforcement de l’apprentissage qui associe une note de passage raisonnable à un suivi de l’instructeur pour examiner et combler les lacunes restantes. L’instructeur peut passer en revue les résultats des participants, discuter des erreurs et clarifier les malentendus, et fournir un autre degré de renforcement. L’occasion de discuter du contenu permet aussi aux participants d’y réfléchir sous un autre angle, ce qui solidifie l’apprentissage.

En plus, s’il y a des problèmes de formulation des questions, ou un manque de correspondance entre le contenu du cours et le test, tout cela deviendra très apparent au cours de ces révisions.

Ce qui en résulte est une formation de meilleure qualité, des conducteurs mieux formés, et une participation accrue de la part des apprenants.