Évaluer et développer les compétences favorisant l’employabilité grâce à ESAT

L’enjeu

Partout au Canada, les employeurs considèrent de plus en plus les compétences socio-émotionnelles (CSE), telles que la capacité d’adaptation, la communication, le travail d’équipe, la résolution de problèmes et la gestion de soi, comme des éléments essentiels à la réussite sur le marché du travail. Ces compétences constituent le fondement de l’apprentissage, permettent de s’adapter aux transformations du milieu de travail et favorisent l’employabilité à court et à long terme. Les enquêtes menées auprès des employeurs canadiens révèlent systématiquement que les CSE sont priorisées lors du recrutement et de la sélection. De plus, le cadre fédéral Compétences pour réussir souligne leur rôle crucial dans l’employabilité, la résilience et la capacité d’adaptation face aux bouleversements économiques et technologiques.

Malgré leur importance, l’écosystème soutenant le développement des CSE est marqué depuis longtemps par deux lacunes majeures. Premièrement, la plupart des programmes de CSE étaient historiquement destinés aux enfants et aux jeunes; par conséquent, les adultes, en particulier les personnes en réorientation de carrière, les demandeurs d’emploi et les participants aux programmes publics de développement de la main-d’œuvre, se sont retrouvés sans outils structurés pour mettre en pratique et renforcer ces compétences fondamentales. Deuxièmement, il n’existait aucune approche largement acceptée ou validée pour évaluer le développement des CSE chez les adultes. Les outils existants avaient tendance à reposer sur des observations subjectives, manquaient de spécificité comportementale ou produisaient des scores statiques ne permettant pas de soutenir le développement des compétences au fil du temps. Cette situation a posé des défis aux organismes prestataires de services et aux programmes d’aide à l’emploi qui cherchaient des moyens fiables d’évaluer les besoins et les atouts de leurs clients, de suivre leurs progrès et de personnaliser l’accompagnement en conséquence.

Pour combler ces lacunes, Futureworx a entrepris des travaux en 2020 (Phase 1) afin de concevoir l’Outil d’évaluation des compétences d’employabilité (ESAT), un outil d’évaluation numérique axé sur le développement, conçu pour mesurer les CSE à l’aide d’indicateurs comportementaux clairs ainsi que d’auto-évaluations et d’évaluations par le personnel structurées. L’ESAT vise à relever les défis de mise en œuvre persistants en proposant une approche plus cohérente, transparente et axée sur la croissance pour l’évaluation des compétences au sein des services de l’emploi, des programmes de formation communautaires et des milieux postsecondaires à travers le Canada.

À mesure que l’ESAT s’est généralisé entre 2021 et 2024 (Phase 2), il est devenu impératif de produire des données probantes plus rigoureuses quant à sa fiabilité, sa validité et son efficacité. Les intervenants en développement de la main-d’œuvre devaient avoir l’assurance que l’outil produisait des évaluations précises, qu’il favorisait des échanges constructifs sur le développement des compétences et qu’il pouvait s’adapter à divers modèles et durées de programmes, ainsi qu’aux besoins des apprenants. Cette phase de recherche a mis en évidence des défis persistants au sein du secteur : la difficulté d’intégrer une évaluation rigoureuse des CSE dans les activités quotidiennes, le manque d’outils multiperspectifs combinant l’autoréflexion et l’observation structurée, ainsi que l’absence de systèmes de suivi des progrès permettant de mesurer l’évolution au fil du temps.

D’ici 2024 (Phase 3), avec la généralisation de l’utilisation de l’ESAT, le secteur a exprimé le besoin de données plus probantes sur la contribution de l’outil aux résultats des apprenants, ainsi que sur les conditions dans lesquelles le développement des CSE se traduit par une amélioration des résultats en matière d’éducation ou d’emploi. Afin de guider les futures évaluations d’impact, les travaux de la Phase 3 ont porté sur l’élaboration de la théorie du changement de l’ESAT et sur la définition des étapes nécessaires à la réalisation d’un essai contrôlé randomisé (ECR) rigoureux. Cela reflétait un défi plus vaste au sein de l’écosystème canadien de développement des compétences : bien que les CSE soient largement reconnues comme essentielles, les données probantes de nature causale sur l’efficacité des outils d’évaluation et des interventions en matière de CSE pour les apprenants adultes demeurent limitées.

Ensemble, ces phases s’attaquent à un problème systémique persistant : le manque d’approches évolutives, fondées sur des données probantes et axées sur les adultes pour évaluer et renforcer les CSE qui sous-tendent la réussite des Canadiens sur un marché du travail en pleine mutation. Le projet ESAT répond à ce besoin en développant un outil de mesure, en testant sa fiabilité et sa convivialité, et en jetant les bases d’une évaluation rigoureuse de son impact à long terme.

Ce que nous examinons

Ce projet de recherche en plusieurs phases a examiné comment l’Employability Skills Assessment Tool (ESAT), un outil numérique développé par Futureworx pour évaluer et renforcer les compétences socio-émotionnelles (CSE) des adultes, est mis en œuvre, de quelle manière il soutient les résultats des participants et du personnel, et quelles données probantes sont requises pour évaluer son impact causal. Dans l’ensemble des phases, la population cible comprenait des apprenants adultes et des demandeurs d’emploi participant à des programmes de développement de la main-d’œuvre, de compétences essentielles et de formation technique financés par les fonds publics partout au Canada.

Phase 1 : Évaluation préliminaire de l’ESAT (2020)

La première phase consistait à établir une base de données probantes initiale concernant l’utilisation de l’ESAT dans les milieux de développement de la main-d’œuvre. Cette phase visait à comprendre les modalités de mise en œuvre de l’ESAT, les premiers résultats qui en découlaient, ainsi que les fondements de recherche nécessaires aux évaluations futures. Les questions de recherche étaient les suivantes :

1. Quels sont les organismes et les programmes qui utilisent l’ESAT? Comment l’ESAT est-il actuellement mis en œuvre?
2. Quelles sont les premières données probantes concernant les résultats de l’ESAT?
3. Quels facteurs de mise en œuvre sont corrélés à des résultats positifs?
4. Selon le personnel, quels sont les principaux points forts et défis liés à l’utilisation de l’ESAT, et quelles sont les pistes d’amélioration envisagées pour l’outil?

Pour explorer ces questions, Blueprint a élaboré un modèle logique, mené une enquête auprès de tous les organismes utilisant l’ESAT, analysé des données d’évaluation ESAT dépersonnalisées et réalisé des entretiens semi-structurés avec le personnel de 10 organisations diversifiées.

Phase 2 : Évaluation de l’efficacité, de l’adaptabilité, de la fiabilité et de la validité de l’ESAT (septembre 2021 — mai 2024)

La deuxième phase s’est appuyée sur les acquis de la phase 1 pour évaluer l’efficacité, l’adaptabilité, la fiabilité et la validité de l’ESAT au sein d’organismes communautaires et de collèges proposant 60 programmes et 85 cohortes. Les questions de recherche étaient les suivantes :

1. Quels participants ont été contactés ? Dans quelle mesure le programme ESAT a-t-il été utile aux participants et au personnel ? A-t-il favorisé le développement des CSE et la préparation à l’emploi ?
2. De quelle manière la mise en œuvre a-t-elle varié selon les milieux, et quel a été l’impact de la fidélité au modèle sur les résultats ?
3. Quelles conditions l’ESAT doit-il remplir pour devenir un outil validé ?

Cette étude à méthodes mixtes a combiné les données de la plateforme ESAT, des enquêtes auprès des participants et du personnel, une analyse longitudinale de l’évolution des compétences, une analyse de la fidélité de la mise en œuvre, des tests de fiabilité et de validité statistiques, ainsi que des entretiens et des groupes de discussion avec le personnel et les apprenants.

Phase 3 : Théorie du changement de l’ESAT et essai contrôlé randomisé (ECR) (2024)

La troisième et dernière phase a examiné les conditions nécessaires pour tester rigoureusement l’impact causal de l’ESAT. Cette phase portait sur deux axes de recherche principaux :

Théorie du changement : Comment les utilisateurs de l’outil (ESAT), tant le personnel que les participants, cheminent-ils à travers une série d’actions et d’expériences menant à une progression significative?

Conception de l’essai contrôlé randomisé (ECR) : Cinq questions de recherche ont été explorées concernant les stratégies de l’ESAT en matière de développement d’outils, de mise en œuvre, de randomisation et de mesure, ainsi que la taille de l’échantillon. Les méthodes comprenaient l’élaboration collaborative d’une théorie du changement, l’examen des conclusions des phases 1 et 2, l’analyse des conditions de mise en œuvre et l’évaluation de modèles d’ECR réalisables, en s’appuyant sur les options de conception détaillées dans les sections 3 et 4 du rapport final de la phase 3.

Ce que nous apprenons

Phase 1 : Évaluation préliminaire de l’ESAT (2020)

L’ESAT était utilisé à grande échelle et de manière hétérogène dans divers contextes de programmes
Une enquête menée auprès d’environ 45 % des organismes utilisant l’ESAT a révélé des variations substantielles dans l’intégration de l’outil par les programmes, notamment en ce qui concerne la fréquence et les moments d’évaluation, les modèles de dotation en personnel et les approches d’accompagnement. Le personnel a fait état d’une adéquation ainsi que de disparités par rapport au modèle recommandé par Futureworx, soulignant que la capacité organisationnelle a influencé la qualité de la mise en œuvre. Cette variation a permis de déterminer quelles conditions favorisent le mieux un développement significatif des CSE. Ces enseignements ont jeté les bases nécessaires pour perfectionner l’outil et définir des attentes plus claires en matière de mise en œuvre pour la phase 2.

Le personnel a constaté des résultats positifs chez les participants, un constat appuyé par les premières améliorations observées dans les données d’évaluation de l’ESAT
Dans l’ensemble des entretiens et des enquêtes, le personnel a systématiquement fait état d’une amélioration des compétences de préparation à l’emploi, de la connaissance de soi et du bien-être des participants. L’analyse des scores ESAT évalués par le personnel a confirmé ces perceptions : les résultats tendaient à progresser au fil du temps, et les auto-évaluations des participants s’alignaient davantage sur celles du personnel, ce qui suggère une meilleure compréhension de leurs points forts et de leurs besoins de développement. Ces conclusions ont fourni les premières preuves que l’ESAT pouvait favoriser l’introspection et la croissance comportementale. L’équipe a également souligné plusieurs facteurs de réussite, notamment l’évaluation multiobservatrice et les séances de compte rendu dirigées, qui ont servi de piliers aux futures directives d’application.

L’évaluation a mis en lumière les atouts indéniables de l’ESAT, tout en soulevant des enjeux liés à la clarté, aux exigences de temps et à la convivialité de la plateforme
L’équipe a souligné la terminologie uniformisée de l’ESAT, sa convivialité ainsi que sa propension à faciliter des échanges objectifs et constructifs sur le développement des compétences. Des défis ont également été soulevés : certains participants ont éprouvé des difficultés avec la formulation des questions, et la réalisation de plusieurs cycles d’évaluation a exigé une charge de travail supérieure à la capacité de certains programmes. Ces constats ont directement orienté la révision des lignes directrices de la phase 2 ainsi que la recherche de données probantes sur la corrélation entre la conformité au modèle et les résultats obtenus.

Phase 2 : Évaluation de l’efficacité, de l’adaptabilité, de la fiabilité et de la validité de l’ESAT (septembre 2021 — mai 2024)

L’ESAT a rejoint un éventail diversifié d’apprenants adultes et a généré une expérience uniformément positive, tant pour les participants que pour le personnel
Répartis au sein de 15 organisations offrant 60 programmes et 85 cohortes, 650 participants ont rempli le sondage initial et 496 ont généré des données sur la plateforme ESAT. Une forte majorité de participants (79 %) se sont dits satisfaits de l’ESAT, et 84 % d’entre eux recommanderaient l’outil à leurs pairs. Une vaste majorité (83 %) a affirmé avoir une meilleure connaissance de ses forces et de ses besoins en matière de CSE, tandis que 79 % des participants se sentaient plus à l’aise d’en discuter avec le personnel. Le personnel a confirmé ces impressions positives, qualifiant l’ESAT d’outil accessible et structuré ayant facilité des échanges de coaching plus limpides et impartiaux.

Une progression mesurable des CSE, tout particulièrement au chapitre des évaluations effectuées par le personnel
Les évaluations réalisées par le personnel indiquent une progression dans l’ensemble des neuf domaines de CSE; on note une hausse moyenne de 8 %, alors que 66 % des participants se sont améliorés dans chaque catégorie de compétences. Le travail d’équipe, l’attitude et la gestion du stress sont les domaines ayant connu la plus forte progression; le travail d’équipe se démarque d’ailleurs avec une hausse de 11 %. Les autoévaluations des participants affichent une progression plus modeste (+2 % globalement), ce qui reflète à la fois une connaissance de soi accrue et un recadrage des attentes personnelles. Dans l’ensemble, ces résultats démontrent que l’ESAT favorise non seulement la progression comportementale, mais aussi une meilleure maîtrise des compétences socio-émotionnelles (CSE).

Premières données probantes sur les gains liés à l’emploi chez les participants
Chez les participants aux programmes axés sur l’emploi (81 % de l’échantillon), le taux d’emploi a grimpé de 29 % au début du projet à 46 % neuf mois plus tard, ce qui représente une hausse de 17 points de pourcentage (+59 %). Les gains hebdomadaires ont également progressé, passant de 365 $ à 587 $, ce qui représente une augmentation de 61 % au cours de la même période. Bien que corrélatifs, ces résultats témoignent du potentiel de l’ESAT en matière de préparation à l’emploi et justifient la tenue d’une éventuelle évaluation de causalité.

Une étroite conformité globale, ainsi que des liens significatifs entre le respect du modèle, le contexte de prestation et la satisfaction des participants
En moyenne, les programmes observaient 4,6 des six lignes directrices recommandées; de plus, 92 % d’entre eux en respectaient au moins quatre. Un degré de fidélité plus élevé est associé à une hausse de 15 points de pourcentage du taux de satisfaction (80 % comparativement à 65 %); de plus, chaque point de fidélité supplémentaire au-delà du seuil de 3/6 accroît de 11 % la probabilité que les participants soient satisfaits. Les participants en milieu collégial affichent un taux de satisfaction supérieur de 17 % à celui des participants en milieu communautaire, et ce, même en tenant compte du degré de fidélité au modèle. Ces conclusions confirment que la qualité de la mise en œuvre façonne de manière déterminante l’expérience des participants et que le respect du modèle est tout à fait réalisable, peu importe la diversité des modes de prestation.

L’ESAT possède de solides assises de validation, mais des ajustements sont nécessaires pour en accroître la fiabilité et en préciser la structure conceptuelle
L’ESAT a présenté une validité apparente et une validité prédictive à court terme prometteuses, en plus de distinguer efficacement les CSE des « compétences techniques ». Toutefois, la cohérence interne fluctuait selon le nombre d’énoncés soumis aux participants; par ailleurs, certains domaines de CSE, notamment la responsabilité et l’adaptabilité, présentaient un fort chevauchement. Ces résultats mettent en lumière des avenues d’amélioration pour la conception des énoncés, la structure des échelles et la distinction entre les domaines de CSE avant d’entreprendre une validation psychométrique complète.

Phase 3 : Théorie du changement de l’ESAT et essai contrôlé randomisé (ECR) (2024)

La réalisation d’un essai contrôlé randomisé (ECR) rigoureux de l’ESAT est à la fois réalisable et nécessaire pour en évaluer l’impact causal
Une théorie du changement étoffée définit le parcours des intervenants et des participants au sein du processus ESAT (évaluation, réflexion, rétroaction et mise en pratique) afin de favoriser le développement des CSE et de l’employabilité. L’étude de faisabilité conclut à la faisabilité d’un ECR, moyennant certains ajustements clés, notamment la mise à jour de l’ESAT selon les résultats de validité de la phase 2 et l’adoption de sept lignes directrices de mise en œuvre. Les recommandations prévoient une randomisation au niveau des intervenants, une mesure en quatre volets (sondages et couplage de données administratives), ainsi qu’un échantillon minimal de 4 882 participants pour assurer la puissance statistique nécessaire à la détection des effets. Ces constats tracent une feuille de route claire, appuyée par des données probantes, afin d’évaluer l’impact à long terme de l’ESAT sur les perspectives d’emploi.

Pourquoi c’est important

L’ESAT démontre que le renforcement des compétences socio-émotionnelles (CSE) constitue un pilier fondamental de la réussite des transitions professionnelles, et que le Canada doit se doter de mécanismes évolutifs et probants pour soutenir de telles initiatives. Au fil des trois phases, le projet a confirmé que les CSE, notamment la capacité d’adaptation, la confiance en soi, le travail d’équipe et la gestion du stress, sont au cœur de la navigation au sein d’un marché du travail en pleine mutation. Ces compétences s’avèrent de plus en plus essentielles, alors que la main-d’œuvre doit s’adapter à l’automatisation, aux mutations économiques liées au climat, aux pressions migratoires et aux pénuries de main-d’œuvre chroniques dans les secteurs des soins à la personne, de la construction, du numérique et de l’économie verte. Les résultats des phases 1 et 2 démontrent que l’ESAT favorise la connaissance de soi et soutient la croissance des CSE chez un large éventail d’apprenants, notamment les nouveaux arrivants, les jeunes, les personnes handicapées et les travailleurs expérimentés (en milieu de carrière).

De plus, le projet souligne que pour assurer la résilience de sa main-d’œuvre, le Canada doit inciter les bailleurs de fonds et les décideurs politiques à investir dans le développement des CSE, au-delà de la simple formation technique. Tout au long des différentes phases, le personnel a souligné à maintes reprises que l’intégration des CSE exige du temps, une capacité de dotation suffisante et l’adhésion de l’organisation. Pourtant, comme l’ont révélé les phases 1 et 2, la plupart des programmes de formation n’ont pas les moyens de mettre en œuvre des évaluations multidimensionnelles, des séances de coaching ou des cycles de rétroaction itératifs, bien que ces pratiques soient essentielles à la croissance des CSE. La phase 2 illustre par ailleurs qu’un degré de fidélité plus élevé dans la mise en œuvre accroît la satisfaction des participants jusqu’à 19 points de pourcentage, ce qui démontre que les outils de CSE atteignent leur pleine efficacité lorsqu’ils bénéficient d’un soutien adéquat. Ce constat a des incidences directes pour le CCF ainsi que pour les organismes de financement gouvernementaux : Le développement des CSE ne doit pas être perçu comme un simple atout facultatif; c’est une nécessité du marché du travail qui requiert un financement concerté, une harmonisation des politiques et un renforcement des capacités à l’échelle de l’ensemble du secteur. La recommandation de créer un centre national de soutien aux CSE, issue des constats de l’évaluation, souligne une fois de plus la nécessité d’uniformiser la formation, d’établir des normes communes et de favoriser le perfectionnement professionnel à l’échelle du secteur.

État des compétences :
De meilleures transitions sur le marché du travail pour la main-d’œuvre en milieu de carrière

De nombreuses personnes en milieu de carrière sont confrontées à un manque de confiance en soi, au découragement, à la méfiance à l’égard du système éducatif et à des doutes quant à la valeur de leur expérience professionnelle.

Lire le rapport

Pour les intervenants, les résultats démontrent que les outils de CSE constituent des compléments polyvalents et précieux aux programmes de formation, qu’il s’agisse du développement des compétences essentielles ou de la formation technique. Les résultats de la phase 2 démontrent que l’ESAT s’est avéré efficace dans divers contextes : programmes d’insertion communautaire, milieux collégiaux, programmes de compétences essentielles et formations techniques. Cette flexibilité est cruciale au sein d’un marché de l’emploi qui intègre de plus en plus l’apprentissage numérique, les microcertifications, l’apprentissage intégré au travail et les modèles de rehaussement rapide des compétences. Ces résultats apportent des réponses directes aux questions concernant les mesures visant à faciliter les transitions professionnelles : L’ESAT apporte une valeur ajoutée à tous les types de programmes en offrant un langage commun pour les CSE, en rehaussant la qualité de la rétroaction des formateurs et en aidant les participants à mieux formuler leurs points forts lors de leur recherche d’emploi. Ces constats sont particulièrement probants pour les secteurs tributaires des nouveaux arrivants et des groupes sous-représentés; dans ces milieux, les lacunes de communication liées aux CSE ou une connaissance de soi limitée peuvent constituer des obstacles invisibles à l’embauche.

Sur le plan systémique, le projet apporte une contribution majeure en établissant une méthodologie de collecte de données probantes rigoureuses, grâce à l’étude de faisabilité d’un essai contrôlé randomisé (ECR) prévue à la phase 3. Les résultats préliminaires de l’ESAT sont prometteurs; la phase 2 a notamment révélé une corrélation positive entre la participation au programme et l’augmentation du taux d’emploi et des revenus. Cela dit, la phase 3 illustre la manière dont le secteur peut maintenant s’attaquer à un enjeu politique plus vaste : Le développement structuré des CSE a-t-il un effet de causalité sur l’amélioration des résultats sur le marché de l’emploi ? Les recommandations de la phase 3, qui prévoient l’optimisation de la fiabilité de l’ESAT, l’adoption de directives de mise en œuvre en sept volets, le recours à la randomisation par formateur et l’utilisation de données administratives jumelées, proposent au secteur une feuille de route pour produire des données probantes de causalité.

En somme, ce projet souligne l’impératif de repenser le financement et la structuration des services de développement de carrière au Canada. Tout au long du projet, le personnel de première ligne a souligné que le travail lié aux CSE est souvent sous-estimé et sous-financé, malgré son rôle crucial dans la réussite de l’intégration au marché du travail. Les conclusions indiquent que le volet lié aux CSE devrait être traité comme une infrastructure centrale du programme, et non comme un simple module complémentaire. Ce constat a des incidences sur les directives de programme, les modèles d’approvisionnement, le financement du développement de la main-d’œuvre et les cadres de mesure du rendement. Face aux changements démographiques, aux flux migratoires et aux transitions économiques, le Canada peut s’appuyer sur des outils d’évaluation des CSE évolutifs, comme l’ESAT. Ces derniers permettent de s’assurer que la main-d’œuvre possède non seulement les compétences techniques requises, mais aussi les capacités d’adaptation de plus en plus recherchées par les employeurs.

Prochaines étapes

Les travaux amorcés dans le cadre de ce projet pluriannuel continuent de gagner en envergure et de multiplier leurs retombées. L’ESAT et sa plateforme d’accueil, Complete360, demeurent des ressources phares, activement utilisées et mises à jour par Futureworx et ses organisations partenaires. Depuis le lancement du projet du CCF, 52 organisations d’un bout à l’autre du pays ont fait l’acquisition de licences d’utilisation de l’ESAT. Parmi celles-ci figurent la PICS Society, le Saskatoon Trades and Skills Centre, l’Intercultural Association of Greater Victoria et Elevate Aviation, ce qui confirme la forte demande nationale pour des outils structurés d’évaluation des CSE.

Futureworx a obtenu plusieurs nouveaux investissements afin de soutenir son expansion. Le financement apporté par The Collaborative et le NorQuest College permet de développer de nouvelles options de personnalisation et d’apporter des améliorations à l’ESAT. L’intérêt international ne cesse de croître : le Collaborative for Academic, Social, and Emotional Learning (CASEL) aux États-Unis a manifesté son intérêt pour l’adoption de l’ESAT et pour le développement conjoint d’une version destinée au lycée. Au Canada, un consortium d’universités a intégré l’ESAT au sein d’une initiative pluriannuelle visant à renforcer les CSE chez les étudiants des cycles supérieurs (maîtrise et doctorat).

La plateforme Complete360 devient également un carrefour d’envergure pour divers outils axés sur les CSE. Futureworx s’est associé au Centre de formation des travailleurs de l’accueil (HWTC) pour concevoir ReSET, un outil RH appuyant le développement des CSE chez les employés. L’organisme a également collaboré avec Independent Living Nova Scotia afin de créer un outil d’évaluation des CSE adapté aux personnes en situation de handicap, un projet financé par le Laboratoire d’innovation CASE. L’expansion de l’écosystème de l’ESAT a également suscité des invitations à appuyer Compétences Canada, notamment par une participation à son Forum sur les CSE dans le cadre du concours national.

Pour la suite, Futureworx envisage de consolider ses partenariats nationaux et sectoriels et explore la création d’un Centre canadien des compétences socio-émotionnelles (CCCSE). Ce centre aurait pour mission d’offrir un soutien, des ressources et des formations centralisés aux employeurs, aux intervenants du milieu de l’éducation et aux prestataires de services.