L’ÉVALUATION DÉVELOPPEMENTALE ET MOI

RECHERCHE EN RÉSIDENCE : RÉPERCUSSIONS CIVIQUES DES ARTS

Été 2022

L’évaluation, ça me fait peur

Jusqu’à récemment, l’évaluation, ça ne me disait vraiment pas grand-chose. Avouons-le, aucun enfant ne va se dire : « Moi, plus tard, je veux être évaluateur! » (N’est-ce pas effrayant d’imaginer un enfant dire ça?) L’évaluation m’est toujours apparue secondaire. C’est un processus qui vient après le projet – quand tu t’assoies pour regarder les chiffres et essayer de justifier tes choix.

« Wow! Il y a 18 personnes de plus qui ont utilisé nos services depuis la dernière fois! Ça veut dire qu’on s’en sort bien, non? » 

En théorie, oui, mais est-ce que ces 18 personnes ont dû supporter mes piètres tentatives d’humour? Et quand je travaillais avec des jeunes, est-ce que j’ai traumatisé ces personnes à vie avec mes conseils contradictoires? Oui, il faut regarder les indicateurs, mais attention aux erreurs d’interprétation ou de représentation. C’est cette réflexion qui m’empêchait de voir la valeur de l’évaluation. J’avais vu trop de gens truquer des chiffres pour avoir confiance. 

De mon côté, j’ai toujours échoué à éviter les évaluations, et ce n’est pas faute d’avoir essayé toutes ces années. J’ai eu de drôles de rencontres avec des responsables des évaluations, travaillé sur des cadres d’évaluation, suis moi-même devenu évaluateur… Au fil du temps, j’ai appris à apprécier ce savoir-faire qu’est l’évaluation. J’ai fini par comprendre toute l’importance de ce travail que je m’imaginais se faire avec peu de motivation et une certaine malhonnêteté.

C’est en stage coop chez Mobilisation culturelle que j’ai commencé à changer ma perspective. Je faisais ce qu’on fait normalement dans un organisme sans but lucratif : organiser des événements, aider à l’élaboration des programmes, démonter quelques mâchoires (JE BLAGUE). Enfin, vous voyez! À un certain moment, on m’a demandé de prendre les rênes de l’évaluation du projet Recherche en résidence : répercussions civiques des arts. Le nom en lui-même, déjà, c’était quelque chose. Je n’avais qu’une vague idée de ce qu’était une évaluation, mais j’ai quand même dit oui. Après tout, pourquoi pas? Je suis toujours partant pour essayer des choses. 

Et je suis content d’avoir tenté CE TRUC.

Tout comme cette œuvre d’art public d’Ottawa, l’évaluation m’a toujours paru étrange, mais assez cool. Pas assez de motivation pour vérifier le nom de l’artiste. 

Le projet

Recherche en résidence : répercussions civiques des arts est une initiative expérimentale. Dans ce projet national, des universités (ex. : Université Dalhousie) et des organismes d’art (ex. : Fête de la culture) collaborent pour découvrir l’inexploré. Chaque organisme accueille une étudiante ou un étudiant des cycles supérieurs dont l’objectif est de créer un cadre d’impact qualitatif qui orientera ses pratiques. Ce cadre est le fruit de recherches sur des sujets comme la diversité, l’inclusion ou le savoir culturel autochtone (choisi d’entrée de jeu par la personne chercheuse). L’idée est que les résultats de recherche sont bénéfiques pour la communauté hôte comme pour le grand public. Cinq recherches en résidence sont donc menées simultanément par six chercheuses étudiantes et chercheurs étudiants (qui travaillent individuellement, à l’exception d’un binôme, et qui profitent de l’encadrement de conseillères et de conseillers pédagogiques). 

Je devais évaluer le projet à l’aide d’une approche appelée l’évaluation développementale. Celle-ci se distingue de l’évaluation traditionnelle dans le sens où elle se concentre sur l’innovation et l’adaptation plutôt que sur la seule efficacité, mais surtout dans le sens où elle n’est pas sommative. Elle s’imbrique plutôt dans le projet dès le départ. 

Les évaluatrices et évaluateurs ont aussi un rôle très relationnel, s’attardant à tisser des liens et à se familiariser avec les différentes composantes et parties prenantes d’un projet. Bien qu’on utilise les mêmes outils que pour l’évaluation traditionnelle (comme les sondages ou les entrevues), la mentalité est assez différente. Quand on évalue un projet qui est encore en cours, la prise de décision est renforcée. On repère les problèmes potentiels avant qu’ils ne s’aggravent. On s’oriente plus facilement. 

Une évaluation développementale est aussi plus collaborative. On met un point d’honneur à bien se faire connaître des personnes derrière les activités qu’on évalue, et on a une compréhension plus profonde de ce qui se passe dans un projet ou un organisme. De plus, les résultats sont destinés à la communauté. Tout le monde a son mot à dire dans l’évaluation.  

Tout un argument de vente pour l’évaluation développementale, hein? Eh bien, j’ai mis six mois pour monter ça. J’ai d’abord dû me figurer ce que ça pouvait même ÊTRE, une évaluation, avant d’apprendre une nouvelle approche. Par contre, je n’ai pas manqué de soutien. L’équipe de Mobilisation culturelle m’a bien aidé en me fournissant des ressources de formation. Elle m’a même inscrit à un cours en ligne! Mais, plus important encore, elle m’a fait rencontrer Jamie Gamble, un consultant indépendant et une vedette de l’évaluation. Il est assez respecté dans le milieu (ce que j’ai réalisé après l’avoir appelé « Terminator » pendant des mois). Jamie m’a servi de guide et de mentor pendant tout le processus. Il m’indiquait la bonne marche à suivre, me parlait en cours de route et me filait quelques conseils du tonnerre! Je m’organisais toujours pour transformer nos réunions en séances de mentorat, pile au milieu. Jamie est impressionnant à ce point-là. 

Bref, un côté intéressant de ce projet est que je faisais de la recherche, mais sans que l’objectif soit d’écrire un article universitaire. Le but n’était pas non plus de vendre quelque chose, comme c’est le cas des études de marché que je fais en ce moment pour le boulot. J’étais libéré des limites découlant normalement de la logique capitaliste ou académique. Le monde m’appartenait!

J’ai décidé de faire l’évaluation en deux phases de trois mois chacune. Mon outil de prédilection était l’entrevue qualitative. Je créais des questions selon le cadre d’évaluation du projet, et j’interrogeais les personnes qui participaient sur tous les aspects du travail. Je parlais aux étudiantes et étudiants, aux conseillères et conseillers pédagogiques, aux organismes hôtes et aux entités qui finançaient le projet. Je récoltais aussi des données en visionnant les journaux vidéo des personnes qui avaient facilité le projet. J’analysais ces données en suivant la méthode de la théorie ancrée, et je codais les transcriptions pour tirer des conclusions par induction.

Vous vous dites peut-être, « mais c’est de la recherche qualitative bien ordinaire, non? ». Oui, jusqu’ici, ça l’est. La partie « développementale » se manifeste dans la façon dont les données sont présentées. J’ai compilé mes notes en petits points d’information avant de les classer par thèmes directeurs. Ensuite, j’ai mis le tout dans un tableau numérique sur Miro et, avec Jamie, j’ai organisé une réunion avec les personnes qui participaient au projet pour rationaliser tout ça. Nous avons rassemblé les gens, leur avons présenté les grandes lignes et leur avons donné la possibilité de survoler les données de leur côté puis d’en discuter. Cette formule rappelle les entrevues de groupe, mais en moins structuré. On a tout le loisir de discuter des thèmes émergents. Par exemple, pendant une séance de la première phase, on a eu une conversation intéressante sur la dynamique des pouvoirs. « Comment la structure de ce projet influence-t-elle les structures de pouvoir? Comment, en tant que groupe, évoluons-nous dans cette dynamique? » Des trucs fascinants!

Extraits du tableau Miro.

La première phase de l’évaluation s’est faite entièrement en ligne, tandis que la suivante a pris la forme d’une conférence à Ottawa. C’était sympa de voir ces gens avec qui j’avais tant parlé en ligne. On ressent un certain plaisir à se retrouver dans la même pièce que des gens aussi passionnés que soi. Et c’est aussi gratifiant de voir en personne les fruits de son travail. 

Il y a quelque chose de puissant dans le rassemblement, dans l’union. 

L’évaluation, c’est trop cool!

Ce projet a vraiment élargi mon point de vue sur l’évaluation. Et je comprends enfin pourquoi elle peut être si précieuse (tout comme la recherche en général) pour le secteur des arts. 

L’une des choses que j’ai remarquées en discutant avec des organismes artistiques, c’est que chaque chercheuse et chaque chercheur change la donne. Quand on a quelqu’un à bord dont le seul but est d’emmagasiner des connaissances, on n’est jamais à court de nouvelles idées ou perspectives. Ce n’est pas que le personnel des organismes NE PEUT PAS faire ces recherches lui-même, c’est simplement que ces personnes ont souvent d’autres chats à fouetter : changer de chapeau toutes les cinq minutes, se battre pour du financement, tout ça… Bref, le savoir est une ressource précieuse.

Un autre schéma qui est ressorti est que les organismes bien établis (côté longévité) semblent avoir une meilleure compréhension de l’évaluation. Certaines ont même leurs propres pratiques internes en la matière. J’aimerais avancer l’idée qu’une forte culture de l’évaluation est une part naturelle et essentielle de l’évolution d’un organisme. J’ai connu tellement d’organisations qui fonctionnent plutôt « à la bonne franquette » alors qu’elles gagneraient à avoir des pratiques d’évaluation concrètes.

D’ailleurs, l’adoption d’une approche d’évaluation développementale exacerbe le sentiment de cohésion entre les membres d’un projet. Je pense que quand les gens sont mis à contribution dès le départ, ils ont davantage leur mot à dire, peuvent exprimer leurs opinions, ont confiance que tout problème pourra être réglé et comprennent mieux le processus d’évaluation dans son ensemble. 

D’ailleurs, l’évaluation en général est souvent incomprise, car on ne sait pas trop comment procéder. J’espère que ça va changer dans l’avenir.

Combler l’écart

Jusqu’ici, j’ai parlé du projet à partie de ma vision de chercheur. Mais qu’est-ce que j’en pense en tant qu’artiste? En tant qu’humain?

J’ai l’habitude de m’organiser avec les moyens du bord dans des espaces plus ou moins improvisés, et j’ai l’habitude des communautés où les gens ne savent pas trop ce qu’est « le secteur des arts ». Dans ce projet, je me suis retrouvé dans l’envers du décor : avec les parties investisseuses, la direction, les conseils d’administration… J’étais entouré de gens qui se trouvent normalement de l’autre côté de la table et avec qui, en temps normal, je ne parlerais que pour quêter de l’argent (ha! ha! ha!). Dans mon cercle d’amis, encore aujourd’hui, quand on trouve du financement pour nos projets, on fait un peu de frime. 

En travaillant aux côtés des parties investisseuses, j’ai réalisé que ces personnes n’étaient pas si intimidantes. Bien sûr, il y a des incompréhensions et des divergences d’opinions, mais en fin de compte, on veut tous le meilleur pour la communauté des arts. Je crois qu’une grosse part de l’appréhension des artistes vient du fait que les interactions avec l’autre partie sont rares. Si nous pouvions avoir des échanges sans que ça fasse partie des demandes de financement ou un truc du genre, il serait plus facile de combler l’écart.

On abolirait les obstacles. J’ai vu des processus de ce type dans les organismes et les milieux universitaires où j’ai travaillé. Je pense que, puisque Recherche en résidence est un concept nouveau et inexploré, c’est difficile de dire qu’on sait à 100 % comment faire. C’était une bonne façon pour les organismes et les milieux universitaires de créer une ambiance de collaboration plutôt que d’affrontement. Les gens étaient moins sur leurs gardes et plus solidaires. 

C’est le but, non?

En fin de compte 

L’évaluation en général est souvent incomprise, car on ne sait pas trop comment procéder. Eh! Même moi, j’ai encore beaucoup à apprendre. Mais enfin, je réalise à quel point ce genre de boulot peut être amusant. C’est sûr que je vais toujours garder l’évaluation en tête pour la suite. 

J’ai rarement l’occasion de mélanger mes passions : l’art et la recherche. Ces deux mondes fonctionnent pourtant bien en tandem : la recherche pour accumuler des savoirs, et l’art pour transmettre ce qu’on apprend.

En fait, dans ce projet, on explore des moyens peu conventionnels de publier les résultats d’une recherche plutôt participative. Je suis vraiment emballé par la façon dont les moyens de communication artistiques peuvent faciliter la transmission des connaissances. C’est encore plus efficace avec, par exemple, certaines personnes de mon entourage qui n’ont jamais fini le secondaire, qui ne savent pas ce qu’est une « recherche qualitative » ou qui se méfient de la recherche en général. 

La recherche n’a pas à rester perchée dans sa tour d’ivoire et à n’être qu’une quête intellectuelle pour les gens qui connaissent des mots savants. La recherche est faite pour tout le monde. 

Elle DEVRAIT être faite pour tout le monde. 

AU SUJET DE L’AUTEUR

Khiem Hoang est un écrivain, un musicien et un chercheur passionné de contre-culture. Cultiver la compassion est l’œuvre de toute sa vie, même si la vie ne coopère pas toujours avec lui. Récemment, il s’est joint à un groupe emo dans l’espoir de trouver de l’inspiration pour ses poèmes. Vous le verrez souvent manger un shawarma, écumer les friperies ou vanter les mérites d’artistes de l’ombre.

MC MINDS ON THE EDGE blog_L’évaluation développementale et moi​

L’évaluation développementale et moi​

L’ÉVALUATION DÉVELOPPEMENTALE ET MOI RECHERCHE EN RÉSIDENCE : RÉPERCUSSIONS CIVIQUES DES ARTS Été 2022 L’évaluation, ça me fait peur Jusqu’à récemment, l’évaluation, ça ne me disait vraiment pas grand-chose. Avouons-le, aucun…
MC MINDS ON THE EDGE blog_Khiem Hoang

Developmental Evaluation and Me

Developmental Evaluation and Me Research in Residence: Arts’ Civic Impact Summer 2022 Evaluation scares me Until recently, I was never too excited about evaluation. I mean come on. No kid…
MC MINDS ON THE EDGE blog_State of Emergence

State of Emergence: How do we meet?

State of Emergence HOW do we meet? By Art of Festivals When we start, run and end a project; when we learn something new; when we collaborate with others; when…
L’évaluation développementale et moi​