Rencontres Interrégionales de l’Evaluation

En Midi-Pyrénées, les acteurs du secteur médico-social se rassemblent sur le sujet des évaluations internes et externes.

Mardi 2 octobre dernier, la FEHAP Midi-Pyrénées a organisé avec QUALICERCLE, les premières Rencontres Interrégionales de l’Evaluation. Pour cette occasion, près de cent vingt professionnels du secteur médico-social des régions Midi-Pyrénées, Languedoc-Roussillon et Aquitaine se sont réunis dans l’amphithéâtre de la CARSAT à Toulouse afin de partager leur expérience.

Table ronde n°1 – Bilan des démarches évaluatives dans les ESSMS
Où en sommes-nous des démarches évaluatives dans les établissements ?

Pierre SAVIGNAT – Membre de la société française d’évaluation et du conseil scientifique de l’ANESM : « Aujourd’hui, nous sommes à 27 mois de l’évaluation externe. Les évaluations démarrent très lentement pour les 24500 établissements concernés. Très peu ont finalisé leurs évaluations. »

« L’évaluation est utile pour ceux qui la font, il faut s’y engager sans crainte et sans complexe. D’un côté il y a les normes, l’obligation réglementaire, de l’autre côté le cœur de métier, le fait des professionnels et des usagers. La rencontre des deux génère beaucoup de complexité, sans occulter les jeux d’acteurs et tensions inhérentes à l’évaluation des pratiques. »

« Il faut savoir que l’évaluation est avant tout un processus de connaissance. C’est comprendre comment un établissement fonctionne, le connaître, le mettre en perspective. La 1ère question à se poser pour apprécier la situation et améliorer la qualité est de s’interroger sur ce que l’on fait. C’est ce que nous demande la loi du 2 janvier 2002 et le décret de 2007. Avant d’agir, nous nous interrogeons sur notre métier, nos missions, nous définissons des objectifs et des projets. La commande publique est générale. Le projet est singulier. C’est l’objet même de la transaction. Comment un établissement traduit ses objectifs en projets spécifiques ? »

« L’évaluation externe, c’est porter une appréciation globale par rapport à des fondamentaux, resituer l’établissement dans son contexte, ses missions, le service rendu aux usagers. L’évaluation c’est du sur mesure, ce n’est pas du prêt-à-porter. Pour cela, le décret du 15 mai 2007 prévoit qu’il faut, pour chaque évaluation, construire un cadre spécifique de référence qui intégre les thématiques à aborder, en tenant compte des particularités de chacun des établissements ou services sociaux et médico-sociaux. Le questionnement évaluatif induit par conséquent la posture des évaluateurs. Il n’y a pas de logique de conformité. Un CVS peut exister et être vide de sens. Au-delà de son existence, la question à se poser est : est-ce que les usagers se l’approprient, et donc quelle est l’utilité réelle du CVS ? Plus largement, l’implication des parties prenantes est essentielle. Il ne suffit pas de proclamer la centralité de l’usager et des usagers, encore faut-il regarder comment ce principe est mis en œuvre, y compris dans l’évaluation. Il en va de même pour les professionnels. Savoir si l’équipe adhère à une démarche qualité est indispensable. L’évaluation est un temps qui permet d’avoir des regards croisés, de prendre en compte des perceptions différentes, de favoriser l’expression des non-dits. Elle ouvre un espace de discussion collective. Il n’y a pas une méthode type, la meilleure méthode est celle que vous choisirez. Avoir une approche systémique est toutefois incontournable. »

« Relever les accords et les contradictions, c’est la limite de l’enquête de satisfaction, il est nécessaire de s’interroger au-delà, sur quoi faut-il aller ? Sur du qualitatif. L’évaluation doit être pluraliste et participative, c’est un espace d’échange avec les professionnels et les usagers. »

« S’agissant de la temporalité des évaluations, il y a plusieurs écoles. Une approche évaluative verticale de 2 à 3 jours n’offre pas d’espace démocratique et ne permet d’aller au-delà des constats. Avoir une approche avec une temporalité horizontale, répartissant le temps spécifique de l’évaluation sur quelques mois est indispensable. Les parties prenantes doivent avoir le temps de la réflexion, de l’appropriation des concepts et de l’analyse des pratiques comme des éléments qui ressortent de l’évaluation elle même. Ce qui implique du temps et de l’énergie pour définir les axes de progrès et permettre l’amélioration continue du service rendu aux usagers. »

Table ronde n°2 – Outils et méthodologies
Quels outils et quelles méthodologies pour évaluer nos établissements ?


Philippe JOURDY – Directeur Général de l’A.S.E.I
:
« Pour construire et développer nos outils, nous avons fait appel à des intervenants extérieurs, cela nous a permis de nous fédérer. Nous avons échangé entre acteurs du secteur médico-social, croisé nos points de vue, une démarche proactive d’échanges de bonnes pratiques professionnelles appelée parangonnage.

Ce fut une démarche interassociative avec L’ADAPT, OVE, l’APF et l’A.S.E.I. Un partenariat qui s’est concrétisé par la mise en œuvre d’audits croisés avec les professionnels de nos établissements déjà sensibilisés à la qualité et formés à l’évaluation. Une expérience collective sur plusieurs années avec le souhait de réaliser un travail de qualité pour créer un outil commun de référence. A partir des référentiels existants de nos 4 associations nous avons créé le référentiel qualité interassociatif. C’est un outil pédagogique et participatif avec une vision structurante et structurelle. Le secteur médico-social a besoin de méthodes, de projets et de cadre. A cet égard, le contenu du référentiel met en perspective les effets de nos actions pour améliorer la qualité et innover. Il donne de nombreuses pistes de réflexion pour une meilleure prise en compte des besoins des usagers. »

« Le référentiel qualité interrassociatif permet d’enrichir les démarches qualité initiées par ses nouvelles composantes : l’analyse des effets produits sur les usagers, les résultats obtenus comme source de progrès »

Isabelle BALARDY – Directrice de la qualité au service de l’usager A.S.E.I : « Aujourd’hui nous ne nous cantonnons plus à apprécier uniquement la mise en œuvre d’une action, nous allons au-delà. Nous recherchons quels effets attendus ou inattendus cela produit ? Dans ce sens, le référentiel qualité interassociatif est un guide pour nos établissements. »


« A titre d’exemple : la mise en place d’un Conseil de la Vie Sociale. Il s’agit d’une instance de participation, d’expression des usagers, désormais obligatoire. Chaque établissement s’attache à mettre en place un CVS, mais l’objectif est bien de creuser davantage sur ce qui s’y passe. La manière dont nous pouvons l’utiliser pour améliorer les pratiques dans les établissements, pour innover et instaurer un réel dialogue avec les usagers. Cela est en lien avec la valorisation de la place de l’usager. Notre volonté est de le positionner au centre, à la fois symboliquement à certaines places des rubriques du référentiel, mais aussi dans la méthodologie que nous avons choisie de déployer pour favoriser le recueil de son point de vue. L’architecture du référentiel qualité est construite dans ce sens. Elle est basée sur 3 dimensions qui doivent être explorées systématiquement et simultanément : « pour l’usager », « pour le professionnel » et « pour l’établissement dans son environnement » ; dans le but de croiser les approches et de dégager une forme d’objectivité. »


« Nous avons également choisi une approche transversale, en étudiant les interactions entre la personne accompagnée, son parcours, le contexte bien spécifique élaboré et décrit dans le cadre du projet d’établissement et l’environnement. Ceci nous a conduits à bâtir le référentiel qualité autour de 3 grands chapitres : « Pour les droits et le respect de la personne accompagnée », « Pour un parcours et un accompagnement cohérents et adaptés », « Pour une organisation pilotée au service d’un projet intégré à son environnement ». Ces chapitres sont subdivisés en thèmes et sous-thèmes. Chaque sous-thème comprend les mêmes rubriques : un descriptif, des résultats attendus, des illustrations, et des questions évaluatives. Le but est de fournir une grille de lecture pour les établissements, sur chacune des dimensions à explorer, en utilisant toujours la même méthodologie afin d’accompagner les personnes participant à cette évaluation, de la réflexion jusqu’aux questions évaluatives. Ces questions sont elles-mêmes centrées sur l’appréciation des effets et des actions que nous conduisons. Au total, le référentiel comprend 51 sous thèmes et 64 questions évaluatives. Cet outil est maintenant déployé dans tous nos établissements, il intervient dans la continuité des travaux démarrés il y a une dizaine d’années. Nous sommes dans un travail qui s’inscrit dans la durée et qui demande un effort d’appropriation par les professionnels pour l’amélioration continue du service rendu aux usagers. »

Table ronde n°3 – Associer les parties prenantes aux projets évaluatifs
« Associer les parties prenantes aux projets évaluatifs est un exercice complexe »
Séverine DUMAS – Responsable QUALICERCLE

« Associer les parties prenantes aux projets évaluatifs est un exercice complexe. Lorsque nous accompagnons les établissements dans leurs évaluations, nous explorons plusieurs dimensions en tenant compte des avis d’une pluralité d’acteurs. Ceux très terrains des professionnels et des usagers, les points de vue plus normatifs des experts et ceux plus institutionnels des instances dirigeantes. »

Un exercice d’intelligence collective
« Grâce à notre méthodologie d’accompagnement par projet et au référentiel qualité interrassociatif, les parties prenantes sont représentées et mobilisées systématiquement. La vision de chacun est formalisée dans le rapport d’évaluation pour mesurer les effets produits sur les personnes handicapées, valoriser les points forts de l’établissement, ses liens avec l’environnement et définir les axes de progrès qui font consensus. Cela demande un investissement sur le long terme et la construction d’un dispositif de pilotage adapté à la vie de votre établissement pour favoriser la participation tout en préservant les prises en charge. »

Un compagnonnage sur mesure pour aider les établissements
« Pour faciliter l’association des parties prenantes, nous privilégions un accompagnement pédagogique et participatif pratiqué par des pairs, praticiens du secteur médico-social formés à l’évaluation et la gestion de projet. Ce sont des professionnels expérimentés qui transmettent leur savoir-faire pour adapter les acquis théoriques à la réalité du terrain. »

Nous instaurons progressivement un espace et un temps de réflexion commun
« Au cours des temps de rencontres, nous constatons que l’appréciation des professionnels et des usagers s’accompagne de propositions pragmatiques pour remédier aux dysfonctionnements. Ils répondent à des besoins émergents et favorisent les innovations.
Nous observons également que les équipes se mobilisent mieux pour faire évoluer les pratiques et plus longtemps pour les démarches qualité lorsqu’elles y sont associées. »

« Associer les parties prenantes, c’est un exercice avec les usagers et les familles qui dépasse l’enquête de satisfaction. La créativité est de mise quelques soient les capacités d’expression des personnes : à travers des entretiens personnalisés, des questions spécifiques posées lors des CVS ou groupes de parole, la traduction de questions évaluatives en langues étrangères, l’utilisation de pictogrammes, l’exploitation de la communication non verbale. »

« En amont de l’évaluation externe, il est également important de se rapprocher des autorités administratives. Il est possible par exemple d’inviter des représentants à la restitution des résultats de l’évaluation interne pour offrir une vision moins désincarnée de votre établissement et valoriser le travail collectif. »

Table ronde n°4 – Opportunités des démarches évaluatives 
Monsieur Jean-Jacques MORFOISSE
Directeur de la qualité et de la performance ARS Midi-Pyrénées

« L’évaluation doit être collaborative, participative et critique dans le bon sens du terme. »

« La question posée est la place de la certification et plus largement de l’évaluation de la qualité des soins en tant qu’outil de régulation de l’offre médico-sociale. Ce qui en découle, c’est la notion d’autorisation et aussi la nature du lien entre évaluation externe et autorisation.

Théoriquement, en tant qu’Agence Régionale de Santé, nous pourrions être en droit de remettre en cause l’autorisation de soins de certains établissements sanitaires non certifiés. Toutefois, là n’est pas notre souhait, dans la mesure où, au regard des besoins de la population, cela est difficilement envisageable. Par ailleurs, la non certification est un phénomène extrêmement rare.

Notre rôle est plus particulièrement de favoriser la prise de conscience des difficultés auxquelles les établissements peuvent être confrontées, pour créer une dynamique et les aider à repartir.

De fait s’agissant de l’autorisation, la vraie question n’est pas de savoir si nous allons la renouveler, mais comment aidons-nous un établissement, à partir du moment où il répond à un besoin parfaitement légitime sur le territoire, à s’améliorer et à dépasser ses difficultés ?

Il est vrai que nous n’avons pas assez avancé sur le sujet pour le secteur des personnes handicapées. Monsieur JOURDY, le Directeur Général de l’A.S.E.I nous le rappelle régulièrement et il a raison.

En revanche, sur le secteur des personnes âgées, nous venons de terminer le modèle d’une convention tripartite pour les EHPAD de la région. Ce travail est bien sûr directement lié à la démarche d’amélioration continue de la qualité dans les EHPAD, projet IQUARE auquel participe près de la moitié des établissements. Avec l’aide du gérontopôle et de l’observatoire régional de la santé de Midi-Pyrénées, nous avons mis en place un accompagnement spécifique pour améliorer la qualité de vie des résidents, à travers plusieurs critères d’amélioration des prises en charge, des soins, des relations et de la sécurité. Il s’agit donc de la traduction très concrète d’une démarche d’évaluation en terme de contractualisation.

Les perspectives 2013 sont positives de ce point de vue. Avec la volonté de l’ARS de favoriser les crédits de mutualisation des EHPAD à travers un programme de renouvellement de plus d’une centaine de conventions tripartites et donc de favoriser les crédits au regard des évaluations, notamment pour les EHPAD qui ne possèdent pas beaucoup de matériel. Dans ce sens, nous souhaiterions intégrer les résultats de l’évaluation externe, mais il y a une réelle difficulté pratique de calendrier.

Nous avons également lancé pour le secteur des personnes âgées des journées départementales où nous réunissons tous les établissements hébergeant des personnes âgées dépendantes sous l’égide des délégations territoriales avec la participation de l’ensemble des partenaires et de l’assurance maladie. Elaborées avec la société française de gériatrie et à partir du projet IQUARE, ces journées permettent la présentation des retours d’expériences et des outils médico-sociaux utilisés. »