|
..
Le rôle du psychologue dans l'évaluation de programme en santé mentale.
.
Saviez-vous que l'expertise du psychologue est de plus en plus mise au profit de l'évaluation des services dispensés dans le domaine de la santé ? Que l'on travaille dans un centre hospitalier ou dans un organisme communautaire, l'évaluation de programme est en effet presque incontournable de nos jours. Le psychologue, outillé à réaliser chaque étape de la recherche, peut accomplir cette tâche. Mais qu'en est-il de la nature des actes professionnels posés par ce dernier ? Nous vous proposons ici une introduction aux éléments essentiels de l'évaluation de programme et par le fait même, du travail du psychologue.
.
Les approches dans la mise en oeuvre des évaluations
.
D'un point du vue théorique, il existe sept approches dans la définition des différentes formes que peuvent prendre les évaluations.
Nous retrouvons d'abord l'approche de l'agrément, qui consiste à faire la démonstration de la conformité (ou de la non-conformité) de la situation sous évaluation, à des règles ou des normes, comme critères de jugement de l'efficacité, telle l'inspection assumée par des corporations professionnelles.
L'approche expérimentale ou quasi-expérimentale s'appuie sur la même logique de démonstration que l'approche d'agrément, bien qu'elle soit essentiellement de nature hypothético-déductive. L'évaluation des impacts sociaux et sanitaires des programmes et celle des intervention médicales et sociales en sont des exemples.
L'approche fondée sur l'opinion d'experts se base sur le principe que le détenteur d'un savoir spécialisé ou d'une compétence particulière concernant l'objet d'évaluation, constitue une source d'informations et de connaissances importante à propos de celui-ci. Cette approche peut donc conduire à la consultation individuelle et collective d'experts ou d'informateurs clés (comité d'experts sur l'assurance médicaments, Conseil consultatif de pharmacologie, etc.).
L'approche dialectique (ou l'approche du prétoire) quant à elle, repose sur l'idée que la vérité émerge de l'exposé des thèses opposées et de la confrontation de preuves contradictoires à propos de l'objet d'évaluation. Les commissions parlementaires sont l'illustration même de cette approche.
Puis, dans l'approche statistique, l'évaluation se réalisera à partir de l'exploitation des données statistiques produites par les systèmes d'information.
Les méthodes issues de l'approche qualitative sont employées pour mettre au jour la dynamique des systèmes organisationnels et rendre compte des processus et des structures de production de services. L'évaluation à l'aide du groupe focus (groupe de discussion) est un exemple d'évaluation se situant dans l'approche qualitative.
Finalement, il est aussi possible d'avoir recours au point de vue des utilisateurs afin d'évaluer les services. Ainsi, dans l'approche de l'habilitation, le jugement de la qualité des services est attribué par ceux et celles qui les utilisent. Les mécanismes d'enquête basés sur les plaintes des usagers relèvent de cette approche.
.
Les différents buts de l'évaluation en santé
.
Plusieurs approches nous permettent également de conceptualiser l'évaluation de programme selon différents objectifs visés par celle-ci.
Dans un premier temps, associée à la recherche de cohérence, de rationalité et d'objectivité, l'évaluation peut être une démarche consistant à produire des connaissances afin d'appuyer des décisions (approche classique).
L'évaluation peut aussi servir à améliorer la perception des dirigeants des difficultés qui ralentissent le changement (approche contingente). Cette dernière permet d'observer l'évolution des opérations et d'apporter les correctifs requis ou à interroger la pertinence du maintien des programmes de santé au sein d'un environnement changeant.
L'évaluation peut également avoir une fonction de rétroaction descriptive, basée sur des faits concrets et observables, formulés pour donner de l'information et dans l'optique d'offrir du support aux employés (approche comportementale organisationnelle).
Enfin, nous pouvons associer le rôle de l'évaluation à la gestion du sens. C'est-à-dire que des protagonistes et des opposants disposent chacun des résultats de l'évaluation, qu'ils utilisent à leur avantage afin de légitimer leur position et déligitimer celles des autres (approche politique). Cette évaluation vise alors à convaincre les gens de la nécessité d'adopter une situation plutôt qu'une autre.
.
Palier aux embûches de l'évaluation
.
Il serait agréable de croire qu'une évaluation se déroule bien et sans anicroche, mais de la théorie à la pratique, plusieurs embûches peuvent survenir avant, pendant et après une évaluation. Il appert alors de les relever et d'y suggérer des pistes de solutions. En premier lieu, il est préférable de faire notre évaluation lorsque les personnes clés seront présentes et disposées à participer au processus. Il ne serait pas opportun par exemple de faire une évaluation de programme pendant la période estivale ou la période des Fêtes, en pleine restructuration du travail, ou si la majorité des évaluateurs sont des personnes nouvellement en place. La durée est également importante, car plus l'évaluation prévue est complexe et s'étale dans le temps, plus elle engendrera des coûts élevés. Il vaut donc mieux prendre un temps de réflexion avant afin de s'assurer de couvrir les bons objectifs d'évaluation et d'éviter de prendre un fardeau trop lourd pour ses moyens.
.
D'autre part, la provenance du mandat d'évaluation (ex.: directeur de votre établissement ou Régie régionale) peut être une embûche au processus, dans le cas où l'on se fait imposer ce dont on doit évaluer et quand le faire. De fait, être proactif et choisir soi-même ce que l'on veut évaluer, en s'orientant vers les préoccupations du programme et de l'organisme, nous assure une longueur d'avance sur ce qui pourrait nous être imposé. Par ailleurs, le responsable mandaté pour procéder à l'évaluation doit être neutre, c'est-à-dire qu'il doit bien connaître l'organisme, mais sans être impliqué directement dans le projet. Cela, afin de ne pas interpréter votre programme en dehors de sa réalité (type d'organisme, clientèle spécifique, approche des intervenants, philosophie du programme) et de choisir une démarche qui tienne compte des caractéristiques et de la dynamique de l'organisme, afin d'augmenter la crédibilité de l'évaluation. De plus, l'évaluateur doit être conscient de tous les enjeux de l'évaluation.
Par exemple, dans un centre hospitalier, une évaluation portant sur l'efficience des résultats (coûts et services), pourrait avoir comme conséquence un réaménagement des services amenant la fermeture de postes. Toutefois, pour les organismes communautaires, l'évaluation de programme peut permettre d'aller chercher une plus grande reconnaissance, des subventions, etc. Il ne s'agit donc pas d'éviter l'évaluation de programme, mais plutôt de ramasser de bonnes munitions et d'être bien armé.
..
Une évaluation de programme s'effectue bien souvent en recueillant l'opinion de répondants (bénévole, technicien en loisirs, stagiaire, médecin, etc.). On doit alors s'assurer que l'évaluation se fait en terrain neutre, afin de mettre ceux-ci dans un climat de confiance qui leur permettent de se sentir à l'aise et de s'exprimer librement. Il faut de plus être clair sur ce que l'on évalue afin de palier aux inquiétudes et à la résistance qui peuvent être soulevées, telles que la peur d'une évaluation personnelle, d'une mauvaise appréciation de la qualité des services dispensés ou d'une perte d'emploi.
.
Finalement, de la production du document final à sa diffusion, un espace de temps considérable peut s'écouler. Le temps qui s'écoule peut être une embûche majeure car il s'ensuit plusieurs risques. On pense au risque de perdre le punch et le mordant du document, le risque, dans l'attente, que des informations importantes soient dévoilées, ainsi que le risque de voir certaines des recommandations se réaliser avant même qu'elles aient été proposées.
.
Les délices de l'évaluation
.
Malgré que l'évaluation de programme puisse sembler un véritable cauchemar, si elle est perçue comme une étape faisant partie intégrante d'un programme, on développera alors une attitude positive permettant de faire ressortir les avantages de ce processus. Notamment, lorsque bien organisée, une évaluation peut favoriser la prise de conscience de l'importance du rôle et fonctions des divers acteurs d'un programme (intervenants "terrain", gestionnaires du programme, etc.), et une hausse de la motivation à s'impliquer dans l'amélioration et le bon fonctionnement tant de l'équipe que du programme lui-même.
L'évaluation de programme favorise également une distanciation, susceptible de mener à un questionnement efficace à propos de l'objet d'évaluation. En quoi ce programme mérite-t-il d'être évalué? À quoi servira cette évaluation et comment en tirer profit pour le programme, pour l'organisme et pour les acteurs du programme? Autant de questions introduisant de nouveaux points de vue et permettant de voir le programme sous d'autres aspects. Procéder à l'évaluation d'un programme, c'est par le fait même se donner un temps d'arrêt pour réfléchir sur ses objectifs, ses pratiques, ses ressources et son avenir, afin de se réajuster si besoin est. L'évaluation permet donc d'en apprécier les points forts et les succès obtenus qui, autrement, passeraient inaperçus. Une telle valorisation ne peut que susciter une plus grande motivation à poursuivre ses efforts.
À l'heure où l'élaboration et l'implantation d'un programme exige beaucoup de temps et d'énergie, on oublie parfois de s'assurer qu'il fonctionne adéquatement et qu'il répond bien à ses objectifs. Une évaluation objective et régulière d'un programme permet donc d'établir la crédibilité de celui-ci et d'éviter de tomber dans le piège de l'habitude et de
l'inefficacité.
Somme toute, un programme se poursuivant après l'évaluation bénéficie alors de cette crédibilité avec tout ce qui s'ensuit comme conséquences, soit le renforcement de la cohésion d'équipe, l'implication et la motivation des divers acteurs, la reconnaissance par le milieu, la hausse du potentiel de subvention, etc. Il demeure cependant que c'est à la toute fin de l'évaluation qu'on y perçoit le plus de délices lorsque vient le temps de diffuser les résultats de celle-ci. Quelle fierté de présenter aux autres l'oeuvre accomplie, de pouvoir dire que cela valait la peine d'investir tant de temps et d'énergie, surtout pour ceux et celles qui se sentaient fatigués, débordés et isolés devant tout ce long processus.
.
Une proposition de démarche
.
Les évaluations dans le domaine de la santé peuvent prendre les formes les plus variées et viser différents objectifs. Par conséquent, l'approche évaluative choisie et la vision de changement adoptée modifieront la démarche nécessaire pour mener l'évaluation à son terme. Nous vous proposons ici la définition d'une démarche d'évaluation de programme en quatre étapes.
.
1- La mesure de l'évaluabilité.
.
Cette étape est considérée comme une évaluation primaire, où l'on doit évaluer l'état du programme en lien avec la commande d'évaluation. De prime abord, avant même de réaliser cette étape, mentionnons que quatre critères doivent être rencontrés afin de considérer l'état d'un programme et la faisabilité de l'évaluation. Ainsi, la définition des objectifs et priorités du programme, la plausibilité de ces objectifs, la disponibilité des données sur la performance ainsi que le degré d'accord des décideurs sur l'utilisation qu'ils feront des informations obtenues, sont formulés en terme de facteurs pouvant empêcher ou favoriser une évaluation de programme adéquate.
La véritable procédure de la mesure de l'évaluabilité se fera donc en six étapes qui sont :
-
impliquer les utilisateurs potentiels de l'évaluation;
-
clarifier les attentes du programme à propos des ressources, activités et résultats escomptés;
-
comparer le programme projeté et sa réalité actuelle;
-
discuter des changements nécessaires avec les utilisateurs;
-
explorer les alternatives de modèles d'évaluation d'après les comparaisons à faire, l'utilisation de l'information ou les coûts approximatifs (argent, temps, ressources humaines)
-
obtenir un accord avec les décideurs sur les priorités de l'évaluation et l'utilisation potentielle des informations de l'évaluation.
2 - Le plan d'évaluation.
.
Dans la préparation du plan, on s'assurera de décrire le programme et son histoire, de déterminer le mandat d'évaluation (objectifs, membre d'équipe, etc.), ainsi que de spécifier la méthodologie. Ce dernier point comprend notamment les instruments de mesure utilisés, l'échantillonnage, le déroulement et les procédures, l'échéancier, le traitement des données et les grande sections du rapport. Finalement, des annexes apparaîtront à la fin du document, contenant les outils d'évaluation utilisés tels que qestionnaires, grille de compilation, guide d'animation des rencontres, politiques de recrutements des sujets, formule de consentement, etc.
.
3 - La mise en oeuvre.
.
Afin d'actualiser votre plan d'intervention, vous devrez à cette étape procéder à l'analyse et l'interprétation des résultats, l'élaboration des recommandations, ainsi que la rédaction du rapport final de l'évaluation.
.
4 - La diffusion des résultats et l'action.
.
À ce stade, vous devrez penser à la mise en marché de votre évaluation comme un produit de consommation. Pour ce faire, interrogez-vous à savoir : Quelle est votre audience ? Qui sont les groupes intéressés ? Pensez à une façon originale et novatrice de diffuser vos résultats et vos recommandations (tableaux, histogrammes, techniques audio-visuelles, vidéo, brochures,
Internet, etc.).
Finalement, vous devrez aussi songer à mettre en application les décisions prises suite à la diffusion des recommandations.
En tant qu'agent de changement, l'évaluateur de programme doit aussi s'impliquer dans l'action, c'est-à-dire établir et implanter des stratégies d'action qui permettront de faire le pont entre "ce qui est" et "ce qui devrait être" du programme en question. Voilà le véritable enjeu d'une évaluation de programme et de la notion de changement en santé mentale.
.
Références
.
Bégin, C., Bergeron, P., Forest, P.G., Lemieux, V. (1999). Le système de santé québécois, un
modèle en transformation. Montréal : Les Presses de l'Université de Montréal.
.
Rioux, A. (1999). Plan d'évaluation de l'implantation du volet SAPPIC. Programme de soins
psychiatriques internes de longue durée, Centre d'hébergement et de soins de longue durée, Centre
hospitalier Robert-Giffard, Beauport, Québec.
.
Sonnichsen, R.C. (1994). Evaluators as change agents. Dans Wholey, J., Hatry, H.P., &
Newcomer, K.E. (Eds.). Hanbook of Practical Program Evaluation, p. 534-548, San Francisco : Jossey-
Bass Publishers.
.
Wholey, J. (1994). Assessing the feasibility and likely usefulness of evaluation. Dans Wholey
J., Hatry, H.P., & Newcomer, K.E. (Eds.). Handbook of Practical Program Evaluation, p. 14-40, San
Francisco : Jossey-Bass Publishers..
|
