L'évaluation par compétence avec FTIRA

Pourquoi des méthodes d’évaluation par compétences, en formation ?

Partager sur facebook
Facebook
Partager sur twitter
Twitter
Partager sur linkedin
LinkedIn

Selon le Jaune budgétaire 2021 de la formation professionnelle, la dépense intermédiée des entreprises en formation professionnelle a progressé de 7,7% en 2018. Il s’agissait de la dernière année de référence avant l’entrée en vigueur de la réforme. Au total, ce serait donc 11,6 milliards d’euros de dépense de formation des entreprises en 2018 (hors dépenses internes).

L’intégralité de ces dépenses en formation, ne vise qu’un seul but : développer et garantir le développement des compétences des collaborateurs. Les entreprises attendent donc des organismes de formation une garantie, non plus de moyens mais de résultat. De fait, en réponse à cet objectif, l’évaluation de la formation paraitrait être un outil probant (il s’agit d’ailleurs d’un des axes de la réforme).

Dans cette dynamique, la transformation des méthodes d’évaluation paraît essentielle.

Comment passer d’une méthode d’évaluation de la formation subjective à une méthode d’évaluation de la formation objective ? Comment évaluer, en formation, la compétence ? Au delà de tâcher de comprendre l’ampleur de l’évaluation en formation, nous vous invitons à découvrir la mise en pratique d’évaluation de compétence auprès d’un organisme de formation spécialisé en prévention des risques.

D’abord, tâchons de préciser ce qu’est la compétence ?

D’après ENLART (2011) « Dans une organisation taylorienne, il est inutile de parler de compétence. Il suffit de décrire l’organisation du travail et le rôle qu’on attend que les hommes y tiennent. Les gestes attendus sont analysés avec précision ; ils sont donc prescrits avec autant de détails. La seule question est donc de vérifier que les hommes sont bien capables de faire le geste, le mouvement, la surveillance attendue. Cette vérification étant faite, il est inutile de se poser plus de questions. Ce qu’on attend, c’est de la conformité à ce qui a été prescrit et surtout aucune initiative qui viendrait perturber le système ».

Elle rajoute « Parler de compétence est donc « hors sujet » dans ce cadre, autant d’ailleurs que de sujet ou d’individu ».

Ce pourquoi, dans notre article, nous ne nous attacherons pas à décrire la compétence dans le cadre d’une organisation taylorienne. Convaincus que les individus sont des personnes intelligentes et s’attachant au sens donné à leurs activités de travail, nous définirons la compétence avec la vision du collaborateur comme étant un participant actif dans l’organisation de l’entreprise (cadre de décision, cadre d’autonomie, cadre de responsabilité, variété des tâches demandées).

Dans cette vision et en prenant en compte l’évolution du « monde du travail », il est évident que la nécessité d’adapter continuellement ses compétences est primordiale (adaptation aux outils, aux méthodes, nouvelle culture, nouvelles pratiques, évolutions réglementaires…). Et sur ce point, pas besoin de fournir d’exemples, il suffit d’analyser l’impact de la pandémie. Ainsi, ce n’est plus l’évolution de l’entreprise que l’on regarde mais l’évolution de l’Homme ou plutôt de ses compétences, car oui c’est ce qui permet à une entreprise de produire, de s’adapter, d’évoluer, d’innover et in fine de garantir la pérennité de son activité.

Pour revenir à la définition de la compétence (et toujours selon ENLART),

  1. C’est le lien existant entre la compétence et l’action. La compétence permet d’agir et c’est là que l’on peut la repérer. Elle n’existe pas en soi, indépendamment de l’activité, du problème à résoudre, de l’usage qui en est fait ;
  2. la compétence est contextuelle donc liée à une situation professionnelle donnée. Elle correspond donc à un contexte ;
  3. la notion de « rubriques » constitutives des compétences : même si les catégories divergent, chacun s’accorde finalement à y mettre un peu de savoir, beaucoup de savoir-faire et souvent – mais pas toujours – du savoir-être. De même, on retrouve très fréquemment la notion de « dimension cognitive » avec des acceptions diverses ;
  4. la notion d’intégration de ces contenus. Il ne s’agit pas d’une « somme » dont on ne sait pas par quel miracle elle déboucherait sur l’action réussie, mais bien de capacités intégrées, structurées, combinées, construites… Cela sous-entend qu’il existe quelque chose « en plus » des capacités qui leur permet justement de devenir, ensemble, de la compétence. Bien souvent reviennent ici des notions de psychologie cognitive comme la distinction classique entre savoir déclaratif et savoir procédural.

La compétence permettrait donc d’agir et/ou de résoudre des problèmes professionnels de manière satisfaisante dans un contexte particulier en mobilisant diverses capacités de manière intégrée. Et dans une moindre mesure, elle ferait également appel à l’expérience. Cependant, il existe différentes approches.

Qu’est-ce que les 5 approches de la compétence ?

On distingue d’ailleurs, 5 approches de la compétence (ENLART) :

  • l’approche par les savoirs : il s’agit ici de savoirs mis en œuvre avec différents niveaux de maîtrise qui pourraient être décrits à travers les différentes taxonomie (Bloom, 1969). Ici on parle souvent des « savoirs de base »;
  • l’approche par les savoir-faire : un « savoir-faire opérationnel validé ». Ici, le savoir-faire doit être pratiqué. Il est lié à l’action et à une action visible et vérifiable. On introduit aussi l’idée que la compétence se prouve, se mesure, se vérifie et qu’elle ne peut être simplement déclaration de foi ou bonne intention. Résumé par notre fameux « être capable de » ;
  • l’approche comportementale : Ici l’approche des savoir-faire est mis en corrélation avec des attitudes, la personnalité de l’individu, motivation, influence… Généralement, pour cette approche sont retenues les compétences décrites par le Cabinet Hay, A Mitriani et coll (1992) ;
  • l’approche mixte (savoir, savoir-faire, « savoir-être ») : une combinaison de ces différentes approches sous la forme d’une trilogie dont la somme formerait l’ensemble des compétences nécessaires pour tenir un emploi ou pour caractériser un individu ;
  • l’approche par les compétences cognitives :la capacité à résoudre des problèmes de manière efficace dans un contexte donné. La compétence n’est pas ce qu’on fait mais comment on parvient à le faire de manière satisfaisante. Dans cette approche, la compétence n’existe pas en soi mais est directement liée à un contexte spécifique.

Ainsi, peu importe l’approche de la compétence choisie, nous nous rendons compte qu’elle est toujours liée à une situation de travail donnée. Elle nous oblige à une analyse dans l’activité de travail (en situation réelle).

De fait qu’est-ce qu’implique l’évaluation des compétences ?

Ensuite, rappelons ce qu’est l’évaluation en formation ?

Pour définir l’évaluation de la formation, nous nous référerons aux recherches de KIRKPATRICK (1959-1960) « modèle hiérarchique des résultats de formation ».

L’intérêt de ce modèle réside en sa simplicité, sa capacité à aider les gens à réfléchir sur les critères d’évaluation. Une approche basée sur 4 niveaux (ODRY, 2020) :

  • Niveau 1 : la réaction du formé, la satisfaction des participants (quelle perception ont-ils de la formation dont ils ont bénéficié ?). Il s’agit, de la réaction affective qui peut être mêlée à la réaction utilitaire de la formation. Une description subjective du participant: Cette formation vous a-t-elle parue utile ? ;
  • Niveau 2 : les apprentissages réalisés, les compétences et les connaissances acquises au cours de la formation. Souvent ici, il s’agit de mesurer ce que l’apprenant a retenu en termes de connaissance (les fameux quizz ou QCM en fin de formation) ;
  • Niveau 3 : le transfert des compétences, les comportements des bénéficiaires en situation professionnelle (ce qu’on pourrait appeler le transfert des acquis de la formation). Ici, c’est l’évaluation du savoir-faire dans une mise en application réelle des nouveaux acquis. Pour un processus complet, il faut être en mesure d’évaluer l’écart avant/ après formation. Cela induit donc d’avoir procéder à une évaluation en amont ;
  • Niveau 4 que Kirkpatrick nomme « les résultats », et qui en fait concerne les changements attendus dans l’organisation dans son ensemble.  Par exemple la productivité, la baisse des taux d’accident, l’amélioration de la qualité ou la rentabilité. A ce stade, c’est l’impact de la formation sur l’entreprise qui est évalué, eu égard des résultats attendus (ciblés en amont de l’action de formation).

L’intérêt de l’évaluation de compétence en formation (garantir la capacité)

Cette taxonomie est intéressante car elle nous permet de définir l’efficacité et la performance d’une action de formation en relation avec le « gain » de compétences ; notamment sur les niveaux 3 et 4.

Dans ce cadre, la notion de retour sur investissement de la formation est mesurable, quantifiable et transparente tant pour l’organisme de formation, les apprenants et l’entreprise. L’évaluation de la formation doit donc prendre en compte la notion de critère, de modalité et de résultats attendus.

De plus, la capacité d’un organisme de formation à garantir et transmettre des évaluations conçues sur les 4 niveaux, pour chaque formation, permet à l’entreprise d’obtenir des outils concrets qu’elle peut inscrire dans le cadre de sa gestion des ressources humaines et GPEC.

Ainsi, l’expression du besoin de formation est directement liée à l’évaluation du collaborateur. Dans ce cas, la gestion des carrières (en interne) s’appuie également sur des éléments transmis, systématiquement, par les OPAC (Organismes Prestataires d’Actions de développement des compétences : « nouveau nom » des organismes de formation dans le cadre de la dernière réforme de la formation professionnelle, qui prend alors tout son sens).

Avec les nouveaux éléments d’évaluation transmis par l’organisme de formation, l’évaluation du collaborateur (en entreprise) dépasserait le simple cadre de l’entretien annuel (exit la seule « grille subjective d’évaluation » de fin d’année). Enfin, l’OPAC deviendrait une réelle ressource pour l’entreprise car il l’accompagnerait dans la définition des référentiels de compétence et lui apporterait un nouveau regard objectif sur l’évaluation de ses collaborateurs.

En allant plus loin dans notre réflexion, nous entrerions, dans l’ère d’un système d’évaluation totalement élargi et continu, au service du développement des compétences du collaborateur (évaluation en formation, gestion par objectifs-clés, reconnaissance du travail d’équipe, évaluation en 360°, auto-évaluation…). Mais (car oui, il y a toujours un mais…) pour garantir l’objectivité de l’évaluation, encore faudrait-il éviter les biais de jugement de celui qui évalue…

Les biais de jugement de l’évaluateur

En effet, d’après TOURMEN et MAYEN (2012), « La littérature en évaluation s’est construite, depuis les années 1950, sur le projet de fonder et d’outiller une pratique professionnelle de l’évaluation en rupture avec les pratiques spontanées de jugement de l’expérience quotidienne. Cette littérature peut se lire comme une tentative de se prémunir contre « l’arbitraire des jugements » (Figari, 1994) non justifiés, potentiellement biaisés et proférés avec autorité dans le cours de l’action ».

Pour exemple et illustrations, ils décrivent un phénomène observé par Martin (2011) chez des recruteurs en Bâtiment et Travaux publics (dont l’activité a été analysée comme une évaluation des candidats) : un recruteur se fait sa première impression « quand une personne passe la porte », « avant de lui parler j’ai déjà mon idée », « la première impression est essentielle, elle ne trompe pas » (p. 33).

En effet, nous pouvons considérer lors de la réalisation d’une évaluation que le risque de biais de jugement de l’évaluateur existe.  De quoi peut-il s’agir ?

  • Être victime de ses « habitudes » ou « impulsions » lors de l’évaluation ;
  • Baser son évaluation sur des impressions vagues et diffuses et sur des normes intuitives ;
  • Ne s’être basé que sur des informations limitées, voire fausses ;
  • Se baser sur son intuition lors de l’évaluation ;
  • Faire preuve de jugements spontanés liés à l’affects (biais d’empathie ou d’antipathie), d’intérêts particuliers et de tentatives de détournement de la démarche d’évaluation à son profit (Lemieux, 2002) ;
  • Être guidé par des influences de normes (non conscientes).

Quelles peuvent être les méthodes pour garantir, assurer le jugement ?

D’abord des recherches en sciences de l’éducation, nous offrent une palette de méthode de conception d’évaluations. Ensuite, nous pouvons également appliquer quelques fondamentaux suivants :

  • Organiser des jurys mixtes ou garantir la présence de plusieurs évaluateurs : échange entre plusieurs évaluateurs, visions croisées, régulation…
  • Analyser et consulter les référentiels en cas de doute (métier, formation.)
  • Concevoir un guide évaluateur et préciser les critères d’évaluation.
  • Appliquer les principes d’équité lors du passage des candidats (moyens alloués, temps, nombre de questions ou de situations à réaliser…)
  • Accompagner les évaluateurs : méthode, scénarios, grille de critères, exigence de rigueur, REX sur les pratiques, tutorat lors des premières sessions…
  • Garantir l’expérience des évaluateurs dans « l’action évalué » : expérience du « processus », expérience de l’activité (« produit »)

Zoom sur un cas concret d’évolution des méthodes d’évaluation avec les formations CATEC® de FTIRA

En premier lieu, il faut préciser que la formation CATEC® (Certificat d’aptitude à travailler en espace confiné) aboutit, en cas de réussite, à la délivrance d’une certification par l’organisme formateur (un organisme habilité sous couvert de l’INRS). Cette certification s’adresse à des publics variés : travaux publics, eau et assainissement, agriculture, agroalimentaire, industrie. En effet, elle concerne les personnes qui interviennent au sein de divers ouvrages tels que des cuves, des îlots, des chambres à vanne, des « égouts » …

Depuis qu’elle existe, la certification CATEC® a connu des évolutions et l’une des plus récentes est relative à la méthode d’évaluation de la formation par compétences. Explications et éclairages au côté d’un organisme de formation qui a été aux prémices du dispositif : FTIRA.

Évaluation des compétences : évolution de la méthode d’évaluation

Jusqu’à une date récente, l’évaluation par compétences était basée sur une note chiffrée. Ce système a été remplacé par une évaluation réalisée par le formateur, des compétences spécifiques prises une à une. Ces compétences ne sont pas limitées aux connaissances, mais s’étendent également à des capacités d’apprentissage (raisonnement, mobilisation des ressources) et aux attitudes des apprenants (travail collaboratif, maîtrise de soi, persévérance).

Rappelons que ; dans le cas du CATEC®, les épreuves certificatives se réalisent :

  • En espace confiné sécurisé, avec mise en pratique technique de l’ensemble des moyens
  • Via l’évaluation des compétences requises
  • Via une évaluation personnalisée de chaque candidat (individualisation des compétences)

Chaque domaine de compétences est validé, séparément, par deux formateurs évaluateurs pour 3 ans. En cas de non-réussite à l’une des épreuves, le candidat peut bénéficier d’une épreuve de rattrapage car en effet, le but de cette évaluation n’est pas de sanctionner mais bien d’accompagner chacun à évoluer, progresser et s’approprier ces nouvelles compétences.

Évaluation des épreuves certificatives du CATEC®

À l’occasion des épreuves de fin de formation, FTIRA, spécialiste de la formation CATEC®, utilise une grille de certification des compétences en notant chacune d’entre elles comme étant « acquise » ou « non-acquise ». Ainsi, plutôt qu’une note synthétique, le candidat obtient un avis « favorable » ou « défavorable » à l’obtention de la certification CATEC® Intervenant et/ou Surveillant.

À titre d’exemple, lors de l’épreuve de la Formation Initiale CATEC® Surveillant et/ou Intervenant, l’une des épreuves proposées consiste à la préparation par le candidat d’une intervention en espace confiné. Il doit respecter les étapes de la procédure telles qu’elles ont été expliquées, pendant la formation. Le candidat est tenu d’expliquer les raisons des mesures de prévention (réglementaires ou techniques) d’au moins trois étapes de son intervention lors de l’épreuve. Il (ou elle) doit classer au moins trois étapes dans l’ordre chronologique de réalisation.

Afin de valider des items qui n’auront pas pu être mis en pratique, le candidat pourra être amené à :

  • Repérer des anomalies dans une procédure proposée ;
  • Commenter des illustrations ;
  • Répondre à des questions complémentaires.

Le candidat montre sa capacité à réagir au déclenchement d’une alerte ou d’une alarme ou d’une simulation d’incident ou d’accident. La situation se déroule selon un scénario évoqué en formation et la procédure de secours expliquée, tel qu’elle est en vigueur sur l’espace confiné. Cette situation se réalise dans un ouvrage sécurisé, un site pédagogique de mise en condition réelle (réseaux visitable, cuve…).

La réussite à l’ensemble des épreuves certificatives entraîne la délivrance de certificats CATEC® Intervenant et/ou Surveillant pour une durée de 3 ans.

Spécialiste de la formation CATEC®, FTIRA vous accompagne dans l’obtention de la certification CATEC® avec des formations de qualité adaptées (mise en situation réelle via ses plateformes ou sur vos sites, cas concret, formateurs issus du terrain). Pour découvrir leurs  Formations CATEC

Et pour finir…

Mettre en exergue un cas concret, nous paraissait essentiel. Bien que basés sur des recherches et des expérimentations, parfois les concepts liés aux sciences de l’éducation, au management, à la prévention, aux ressources humaines peuvent paraître « inapplicables » aux yeux de certains.

Et finalement, si l’on creuse un tant soit peu, bien souvent, la plupart d’entre nous applique de manière presque « instinctive ou logique » un certain nombre d’entre eux. Il s’agit alors de mettre des mots et encore une fois de « donner du sens » à nos actions. En tant que professionnels de la formation, et au-delà de l’accompagnement au développement des compétences, nous accompagnons chaque jour nos apprenants à donner du sens à leurs pratiques. Comment, alors, ne pas faire de même pour nous ?

Au-delà de savoir quand, comment et qui évalue, l’enjeu primordial est , peut-être d’abord (obligations légales mises à part), de savoir pourquoi ? Dans quel but ?

Auteurs : Robert EMERIAT, Ilhem HADEF

Vous former à l’évaluation ?

Pour aller plus loin sur les méthodes d’évaluation de la formation :

  • Allal, L. (2008). Chapitre 5. Conceptualiser les outils d’évaluation des apprentissages. Dans : Gilles Baillat éd., Évaluer pour former : Outils, dispositifs et acteurs (pp. 71-81). Louvain-la-Neuve, Belgique : De Boeck Supérieur. 
  • Bernier, P. & Grésillon, A. (2016). Fiche 18. Référentiel compétences. Dans :, P. Bernier & A. Grésillon (Dir), La GPEC: Construire une démarche de gestion prévisionnelle des emplois et des compétences (pp. 228-229). Paris : Dunod.
  • Enlart, S. (2011). La compétence. Dans : Philippe Carré éd., Traité des sciences et des techniques de la formation (pp. 229-248). Paris : Dunod. 
  • Guerrero, S. (2019). Chapitre 4. L’évaluation des salariés. Dans :, S. Guerrero, Les outils des RH: Les savoir-faire essentiels en GRH (pp. 121-156). Paris : Dunod.
  • Jaune Budgétaire 2021 de la formation professionnelle
  • Monnot, A. (2013). Les conséquences de la mise en œuvre d’une évaluation de la formation par le contrôle des apprentissages. Revue de gestion des ressources humaines, 88, 49-61. 
  • Monnot, A. (2014). Les pratiques d’évaluation de la formation professionnelle et leurs déterminants dans les entreprises du SBF 120. Management & Avenir, 68, 92-111. 
  • Odry, D. (2020). Chapitre IV. L’évaluation des systèmes éducatifs. Dans : , D. Odry, L’évaluation dans le système éducatif: Ce que vaut notre enseignement (pp. 117-142). Wavre, Belgique : Mardaga.
  • Seurrat, A. (2019). Évaluation de l’efficacité ou mesure de la satisfaction dans la formation professionnelle courte ? Revue française de linguistique appliquée, XXIV, 53-66. 
  • Taïeb, J. (2016). Chapitre 13. Analyser les ratios de « moyens » issus des pratiques de la GRH. Dans :, J. Taïeb, Valoriser la performance RH: Un enjeu pour la productivité de l’entreprise (pp. 155-169). Paris : Dunod.
  • Tourmen, C. & Mayen, P. (2012). Les évaluateurs, des épistémologues en actes ? Dans : Lucie Mottier Lopez éd., Modélisations de l’évaluation en éducation : Questionnements épistémologiques (pp. 63-77). Louvain-la-Neuve, Belgique : De Boeck Supérieur.