Etes-vous équipé d’une montre connectée ? Si oui, suivez-vous votre nombre de pas quotidiens ? Que vous le fassiez ou non, la réalité est que sans des données complémentaires relatives à votre alimentation, à votre niveau de stress, à la qualité de votre sommeil et de nombreux autres indicateurs, ce KPI peut vous rassurer mais ne préjuge en rien de votre bonne santé. Vous pouvez avoir de « bons indicateurs » sans être toutefois en bonne santé ! Mesurer l’impact d’une formation uniquement à travers des KPI revient à évaluer son état de santé au seul nombre de pas quotidiens. Les indicateurs sont utiles, mais ils ne donnent qu'une vision partielle de la réalité. À mesure que les départements L&D accompagnent des transformations organisationnelles dépassant largement la logique des catalogues de formation, l'impact devient systémique, multifactoriel et, pour partie, invisible aux tableaux de bord. Bien entendu, les KPI sont utiles (je les ai largement promus ces dernières années, chez Medtronic comme dans le monde de la formation) : utilité pour les formateurs lors des entretiens de fin d’année (par exemple, pour établir leur performance) ; utilité pour le département dans son ensemble (pour construire une culture qualité et un « alignement business » ; utilité enfin pour le directeur formation à l’heure d’aller négocier du budget. Mais l’analyse de l’impact formation réclame une lecture plus globale, qualitative et contextuelle. 

Les KPI mesurent l’activité, pas la transformation

Nombre de formations délivrées, taux de complétion, satisfaction à chaud… Les métriques formation, comme les tableaux de bord business, offrent une photographie de ce qui s'est produit. Elles disent rarement ce qui a changé, et encore moins ce qu'il faudrait changer. Or la véritable valeur d'une formation se manifeste dans l'évolution des comportements, des décisions et des pratiques quotidiennes.

Ce qui compte vraiment est souvent différé dans le temps

L’impact d’une formation se matérialise parfois des mois plus tard (prise de décision différente, meilleure collaboration, innovation). Les KPI instantanés passent à côté de ces effets retardés. C’est la raison pour laquelle chez Medtronic nous avons mis en place des enquêtes à chaud, mais également à 30 puis à 90 jours. Cela dit, nous sommes conscients que, si le croisement de ces enquêtes permet d’avoir une meilleure vision de l’impact dans la durée, la fatigue engendrée par la multiplication des enquêtes reçues peut avoir un effet négatif sur la qualité des réponses… Quid dès lors de la justesse des KPI et des interprétations dérivées de ceux-ci ? Cette approche répétitive doit donc être maniée avec précaution et cibler les actions qui la justifient vraiment. Par ailleurs, cette multiplication de la donnée peut créer une illusion de maîtrise : plus on mesure, plus on développe un sentiment de piloter. Les KPI répondent efficacement à la question du « quoi ». Ils disent beaucoup moins du « pourquoi » et du « comment ». Or c'est précisément là que se joue la transformation : comprendre pourquoi certains comportements évoluent, pourquoi d'autres résistent, et quels facteurs expliquent ces différences. Dans notre académie des ventes monde, où l'évolution des pratiques commerciales constitue le véritable enjeu, cette lecture qualitative est souvent plus précieuse que l'accumulation de nouveaux indicateurs.

Une grande partie de la valeur est intangible

À l’occasion des fréquentes réorganisations qui peuvent toucher une entreprise, certaines thématiques peuvent être mesurées. Ainsi, de l’acquisition d’une culture organisationnelle partagée, via l’évolution des indices remontés dans les enquêtes annuelles adressées à l’ensemble des collaborateurs. En revanche, comment mesurer l’évolution de l’esprit critique des collaborateurs utilisant une IA que l’entreprise les invite à intégrer dans leur travail quotidien ? Comment évaluer le développement d’un aspect précis de l’intelligence émotionnelle d’un vendeur, dans un monde où cette dernière devient prééminente face à la multiplication inéluctable des agents IA dans la fonction achat… Ces dimensions critiques pour l’entreprise, pour ne citer qu’elles, sont difficilement quantifiables via des KPI.

Le contexte pèse autant que la formation elle-même

Comme évoqué dans un précédent article, l’implication du manager est un facteur clé dans le succès d’une action de formation de ses collaborateurs. En l’absence d’un tel contexte, comment un KPI pourrait-il attester de la qualité intrinsèque d’un programme ? Le simple KPI devient alors un miroir déformant de la réalité. Le manager donc, ainsi que l’environnement, les priorités business, la culture d’équipe… l’impact d’une formation dépend fortement de ces variables externes à la formation, pourtant rarement intégrées dans les tableaux de bord labellisés Kirkpatrick.

L’impact se raconte autant qu’il se mesure

Défi (à l’attention des responsables formation) : intéresser plus de 30 secondes le directeur de business unit (ou le CFO qui finance son budget) en lui partageant la satisfaction des apprenants, leurs résultats de tests ou voire dans quelle mesure ils sont capable d’appliquer leurs nouvelles compétences ! Le « storytelling de l’impact » est un complément indispensable pour donner du sens aux résultats : témoignages, histoires de transformation, retours managers, cas concrets, autant d’histoires qui témoignent de l’alignement réussi du programme de formation avec l’intérêt organisationnel et qui apportent de l’émotion au destinataire qui doit juger de la valeur ajoutée de la fonction formation.

L’IA amplifie autant les biais que les opportunités

L'IA constitue une formidable opportunité pour analyser plus finement et plus globalement l'impact de la formation. Elle ne corrigera toutefois pas les limites des KPI si elle se nourrit uniquement de KPI. Elle reproduira leurs angles morts avec une puissance de calcul et une apparente objectivité qui pourraient renforcer l'illusion de maîtrise. D'où l'importance d'alimenter les modèles avec des signaux plus variés : observations terrain, retours managers, récits d'expérience, données qualitatives ou contextuelles. À défaut, l'entreprise risque d'industrialiser des indicateurs pauvres, voire trompeurs. Enfin, à mesure que les agents IA s'intègrent aux dispositifs Learning, les KPI eux-mêmes devront évoluer pour intégrer des dimensions nouvelles : qualité des réponses, pertinence métier, niveau d'adoption et valeur réellement créée pour le business.