Outils d’évaluation

Outils d’évaluation formels de type formatif

Il existe une variété de questionnaires pour évaluer les processus et résultats d’une collaboration entre la santé publique et les services de première ligne. La sélection de l’outil dépend du but de l’évaluation.

Un exemple de questionnaire est l’Outil d’auto-évaluation des partenariats (Partnership Self-Assessment Tool ou PSAT). Cet instrument a été développé et validé par des chercheurs américains. Pour obtenir des informations sur les qualités psychométriques de l’outil, consultez http://www.nccmt.ca/fr/ressources/interrogez-le-registre/10

Le PSAT mesure les principaux indicateurs du succès d’une collaboration, incluant le niveau de synergie du partenariat; l’efficacité du leadership; l’efficience du partenariat; l’efficacité de l’administration et de la gestion du partenariat; et l’adéquation des ressources financières et non financières du partenariat. L’exercice s’avère pertinent pour une collaboration, voire stimulant, lorsque tous les membres d’un partenariat remplissent un questionnaire PSAT. Cet outil peut être utilisé à intervalles réguliers pour appuyer les processus collaboratifs.

Cas type: Utiliser l’outil PSAT
Des partenaires en provenance de plusieurs organismes communautaires collaborent à une initiative amorcée conjointement par des intervenants de la santé publique et de services de première ligne en vue d’offrir des services et programmes de santé aux jeunes de la communauté.

Après six mois, des partenaires clefs de la collaboration ont complété l’Outil d’auto-évaluation des partenariats (le PSAT). Ce questionnaire, qui prend 15 minutes à compléter, nécessite un taux de réponse de 80% pour obtenir des résultats fiables et valides.

Les résultats des divers indices ont été examinés en réunion d’équipe, avec tous les partenaires. Ces données ont fait l’objet de discussions, ce qui a permis de mieux comprendre les points de vue de chacun. Voici un graphique de type kiviat représentant les résultats d’auto-évaluation du partenariat.

Outil d’auto-évaluation des partenariats (PSAT)

Synergie: Synergie
Efficacité: Efficacité du leadership partenarial
Efficience: Efficience du partenariat
Administration: Efficacité de l’administration et de la gestion du partenariat
Ressources non-financières : Adéquation de ressources non-financières
Ressources en capitaux: Adéquation des ressources financières et autres capitaux

Les données du graphique suggèrent que les différents aspects de la collaboration se retrouvent dans la zone d’amélioration du PSAT. Les partenaires de la collaboration ont alors opté pour une évaluation formative afin de mieux comprendre les enjeux à relever. Dans l’immédiat, ils ont tout de même été en mesure d’identifier des ajustements pratiques pour améliorer le fonctionnement de la collaboration.

L’auto-évaluation du partenariat et l’analyse des résultats du PSAT s’est avéré une stratégie efficace pour améliorer la communication entre les partenaires de la collaboration.

Les entrevues

Les entrevues individuelles ou de groupe permettent de recueillir des informations de type qualitatif.

Les entrevues individuelles sont généralement menées auprès d’informateurs clefs. Il s’agit de personnes qui peuvent apporter un éclairage pertinent sur une question, vue leur connaissance des sujets investigués. Parmi les informateurs clefs, on retrouve des partenaires communautaires.

Les groupes de discussion constituent un moyen efficace pour obtenir des informations de plusieurs personnes différentes, à un seul moment. Ce type d’entrevue permet également de saisir les interactions entre les acteurs.

Les évaluations formelles de type formatif incluent des méthodes quantitatives et qualitatives. Il s’agit, par exemple :

• d’entrevues
• de groupes de discussion
• d’enquêtes qui comportent des outils validés. Par exemple :
  • L’outil d’auto-évaluation des partenariats (PSAT)
  • L’inventaire du climat d’équipe (Team Climate Inventory)

Évaluation informelle de type formatif

L’évaluation formative peut également être réalisée informellement. Cette approche est fréquemment employée pour évaluer la structure et les processus d’une collaboration entre des acteurs de la santé publique et de services de première ligne.

Stratégie

Une stratégie consiste à créer des espaces de discussion entre les partenaires pour réfléchir au fonctionnement de la collaboration et formuler une rétroaction. L’animation de telles rencontres nécessite toutefois de fines habiletés afin que tous les partenaires puissent exprimer et partager leurs points de vue. Avec les capacités nécessaires, cette approche accessible et peu coûteuse peut être un puissant vecteur d’amélioration de la qualité.

“On n’est pas parfaits. Mais on s’améliore. Dans nos réunions mensuelles, on évalue ce qu’on a réalisé, comment on a fait, et comment ça a fonctionné.”

Outils d’évaluation sommative

Plusieurs moyens sont disponibles pour obtenir des informations et réaliser une évaluation sommative des effets ou résultats d’une collaboration. Comme on l’a vu précédemment, la sélection des outils d’évaluation dépend du but poursuivi. Bien que des enquêtes de satisfaction de la clientèle soient souvent utilisées, d’autres stratégies sont à notre disposition

Par exemple :

Il est possible d’utiliser des données des dossiers électroniques des patients pour évaluer l’impact d’une initiative de collaboration visant à réduire le tabagisme. En particulier, on peut documenter le nombre de personnes ayant recours aux services offerts.

L’audit de dossiers peut s’avérer pertinent pour évaluer dans quelle mesure les intervenants utilisent des guides de pratique de cessation tabagique basés sur des résultats probants (par exemple, l’intervention brève en 5 étapes ou les «5 A : Ask, Advise, Assess, Assist, and Arrange»). Par exemple, on pourrait évaluer le nombre de personnes référées à des programmes de cessation du tabagisme.

Autre exemple : dans une collaboration qui vise une amélioration du suivi de santé des bébés âgés de 18 mois, l’audit de dossiers permettrait de repérer la fréquence d’utilisation des outils d’évaluation du développement des enfants.

Quelques indicateurs de collaborations réussies