Document(s) 5 de 5

Centre de recherches pour le développement international
Février 2000

Table des matières

1. Aperçu
2. Examen du rendement de 1992 à 1999
3. Principes directeurs de l'évaluation
4. Élaboration d'une nouvelle stratégie
5. Stratégie d'évaluation 2000-2005
6. Activités
7. Ressources
Annexe I Système d'évaluation du CRDI
Annexe II Cartographie des incidences* : une nouvelle méthode de mesure des résultats 18 (tirée du Rapport annuel sur l'évaluation 1999, page 17)

1. Aperçu

Le Centre a un système d'évaluation décentralisé qui place la responsabilité de différentes activités d'évaluation là où l'information est la plus pertinente. Le Centre effectue certaines évaluations pour documenter son rendement général aux fins de l'obligation de rendre compte, mais l'évaluation sert avant tout à l'apprentissage institutionnel et contribue à accroître les connaissances sur ce qui donne de bons résultats dans la recherche pour le développement.

Aux niveaux des projets et des programmes, la responsabilité de l'évaluation appartient aux programmes. Chargés des évaluations régionales, les bureaux régionaux contribuent aussi aux évaluations de projets et de programmes, ainsi qu'aux évaluations institutionnelles et stratégiques qui ont une incidence sur leur région. Aux niveaux institutionnel et stratégique, la responsabilité de l'évaluation appartient à la Section de l'évaluation. Outre le travail d'évaluation proprement dit, la section doit :

• mettre au point des outils et des méthodes convenant à l'évaluation de la recherche pour le développement,
• donner des conseils sur l'évaluation aux programmes et aux projets du CRDI,
• créer des capacités d'évaluation au CRDI et dans les institutions bénéficiaires, et
• tenir à jour les systèmes d'information sur l'évaluation.

L'annexe I du rapport présente un aperçu du système d'évaluation du Centre.

Dans le contexte de l'élaboration de sa stratégie des cinq prochaines années, la Section de l'évaluation du CRDI a passé en revue le rendement passé, interrogé les utilisateurs des évaluations et organisé des séances de planification stratégique. La stratégie qui découle de ces activités est présentée dans ce document; elle conserve les quatre objectifs originaux du système d'évaluation du CRDI, en met à jour les principes directeurs en fonction des leçons apprises et répond aux besoins et aux possibilités de ses quatre groupes de clients immédiats, soit les membres de la haute direction, les programmes, secrétariats et projets spéciaux du CRDI, les partenaires des pays en développement et les autres organismes donateurs. Elle tient également compte des opinions exprimées par son véritable client en dernière analyse, à savoir le Conseil des gouverneurs, au cours des discussions qui ont porté sur le Rapport annuel sur l'évaluation.

Dans la nouvelle stratégie, l'évaluation fait toujours partie intégrante d'une saine gestion des programmes. L'amélioration du Centre et l'acquisition du savoir demeureront les éléments moteurs de toutes les activités d'évaluation où la participation collégiale des intervenants constitue un ingrédient clé. L'évaluation demeurera décentralisée : les programmes et les secrétariats devront produire des rapports sur les résultats des projets et des programmes et la Section de l'évaluation sera chargée de la coordination globale, du soutien technique, des évaluations stratégiques et de la production de rapports sur le rendement institutionnel. La stratégie 2000-2005 comprend les nouveaux éléments suivants : renforcement des incitations à effectuer des évaluations au CRDI et à les utiliser, mise en œuvre d'un cadre que les secrétariats pourront utiliser pour évaluer leur rendement et en faire rapport à leurs nombreux organismes donateurs, plus grande appropriation de l'évaluation et des avantages qui en découlent par les institutions du Sud. On y a inclus aussi une démarche plus claire à l'égard de l'expansion des ressources. Comme dans le cas de toute stratégie, les principaux facteurs déterminants de sa réussite seront la surveillance exercée par le Conseil et l'intérêt qu'il y portera, l'appui de la haute direction, l'engagement du personnel et les ressources affectées.

2. Examen du rendement de 1992 à 1999

La haute direction et le Conseil des gouverneurs ont approuvé les objectifs et la stratégie de la Section de l'évaluation en décembre 1992. Voici des exemples des réalisations des sept dernières années, regroupées par objectif.

Objectif 1 : élaborer et coordonner les activités et les systèmes d'évaluation du CRDI de façon à améliorer l'efficience et l'efficacité du Centre.

• Études stratégiques : ces études ont porté notamment sur la taille et l'efficience des projets, les projets exécutés en collaboration, la recherche participative, les réseaux de développement, la création de compétences de chargés de projet, la création de capacités institutionnelles au Centre de recherche en santé de Navrongo, les TIC, les détails de la démarche de prestation de programmes du CRDI et les secrétariats.
• La section a aidé des initiatives de programme à satisfaire aux exigences imposées en matière de planification d'évaluations et de production de rapports d'évaluation en leur offrant des conseils, un soutien technique et un manuel de surveillance et d'évaluation des programmes. Cette aide a consisté notamment à faire l'essai de stratégies novatrices, à commander des évaluations, à effectuer des évaluations de projet et à y participer.
• Le Rapport annuel sur l'évaluation (RAE) est présenté au Conseil des gouverneurs chaque année depuis 1994, ce qui en fait un instrument de sensibilisation aux constatations clés des évaluations à tous les niveaux de l'organisation et favorise le suivi.

Objectif 2 : effectuer et appuyer des recherches qui visent à améliorer les outils et les méthodes d'évaluation afin de renforcer l'utilisation de l'évaluation aux fins de la recherche pour le développement.

• La section s'est tenue au courant des toutes nouvelles démarches et méthodes d'évaluation, surtout en ce qui concerne quatre aspects pertinents : évaluation des progrès réalisés vers la durabilité⁽¹⁾, évaluation institutionnelle, promotion de l'évaluation comme moyen d'apprentissage et évaluation de l'impact de la recherche pour le développement. Toutes ces initiatives ont débouché sur des produits qui ont été largement diffusés et sur des partenariats avec d'autres organismes, dont l'Union mondiale pour la nature (UICN), le Service international pour la recherche agricole nationale (SIRAN), le Performance Measurement Network, Universalia Management Group, le Pacific Institute for Research and Evaluation, le Centre international d'agriculture tropicale (CIAT) et le Centre international pour la recherche en agroforesterie (CIRAF).

Objectif 3 : renforcer la capacité d'évaluation afin d'améliorer la qualité et la gestion de la recherche.

• Il y a eu des détachements d'employés du siège en 1993-1994 et d'employés des régions en 1998-1999. Toutes sortes d'activités de formation et de moyens de soutien technique ont favorisé la création au Centre de compétences spécialisées en évaluation.
• On a amené des partenaires de pays en développement à participer à des consultations et à des démarches d'apprentissage concerté. En intégrant l'évaluation à différents contextes sociaux, culturels et économiques et en intervenant auprès d'autres organismes, la section a commencé à rendre les évaluations plus pertinentes et plus utiles pour les organismes bénéficiaires.

Objectif 4 : recueillir, analyser et diffuser des données d'évaluation afin d'en promouvoir l'utilisation dans la prise des décisions au Centre, dans les institutions bénéficiaires et dans d'autres organismes qui oeuvrent à la recherche pour le développement.

• La section tient et met à jour le Système d'information sur l'évaluation (EVIS) du Centre. On a restructuré le système des rapports de fin de projet (RFP) afin d'accroître l'utilité des rapports et de rendre le système plus « convivial » pour le personnel du Centre. L'inventaire contient actuellement 420 rapports d'évaluation et la Section de l'évaluation a lancé sa page Web en juin 1998 pour faire connaître son travail et rendre les rapports plus accessibles.

Pour obtenir des précisions sur toutes les activités et les réalisations dans chacun de ces quatre secteurs, il suffit de s'adresser à la Section de l'évaluation.

3. Principes directeurs de l'évaluation

Les quatre objectifs ci-dessus couvrent les services de base dont ont besoin nos clients, à savoir le Conseil des gouverneurs, la haute direction, le personnel des programmes et des secrétariats, ainsi que les institutions partenaires du CRDI et les chercheurs. Une double fonction est inhérente à l'évaluation en ce sens qu'elle sert à la fois à apprendre et à rendre des comptes. Le CRDI a choisi d'utiliser l'évaluation d'abord comme outil d'apprentissage institutionnel, car le Centre est d'avis que c'est la meilleure façon de renforcer sa fonction de reddition de comptes. Les principes directeurs de l'évaluation au CRDI sont les suivants :

• L'évaluation doit améliorer la planification et la prestation des programmes. Elle contribue à la prise de décisions et à l'élaboration de stratégies à tous les niveaux au Centre. Afin que les évaluations donnent lieu à des conclusions utiles, on évalue les projets et les programmes de façon stratégique en fonction de la mission du client et de ses besoins en information.
• Les évaluations doivent déboucher sur l'action. Pour être utiles, les évaluations doivent produire des conclusions pertinentes et axées sur l'action, ce que favorisent la participation soutenue du client et des intervenants pendant tout le processus et leur appropriation de l'évaluation.
• Il n'existe aucune méthodologie générique d'évaluation qui soit la meilleure. Chaque cas exige habituellement des outils et des méthodes convenant aux données que l'on veut réunir et analyser, ainsi qu'aux besoins du client. Les évaluations crédibles conjuguent des données quantitatives et qualitatives provenant de plusieurs sources.
• Les évaluations devraient mobiliser des intervenants pertinents. Les personnes touchées par le résultat d'une évaluation ont le droit de participer au processus. Leur participation fera mieux comprendre la raison d'être et le processus de l'évaluation, favorisera la contribution des intervenants et leur acceptation des résultats de l'évaluation, et accroîtra la probabilité d'utilisation desdits résultats.
• La planification de la surveillance et de l'évaluation ajoute de la valeur au stade de la conception d'un projet ou d'un programme. Elles peuvent rendre le projet ou le programme plus efficient et efficace en aidant à clarifier les résultats visés. Et, si l'on sait quelles données seront nécessaires pour évaluer les incidences, on peut recueillir ces données à mesure qu'elles deviennent disponibles. Cette façon de procéder fait en sorte que l'on a besoin de moins de ressources financières et humaines et accroît la capacité de l'équipe du projet ou du programme de faire rapport sur ses expériences et d'en tirer des leçons.
• L'évaluation devrait constituer un atout pour les personnes évaluées. L'évaluation peut exiger beaucoup de temps et de ressources des institutions bénéficiaires. Les évaluations du CRDI devraient aussi produire de l'information susceptible d'être utile à l'institution bénéficiaire.
• L'évaluation est à la fois une science et un art. L'art qui consiste à définir les enjeux cruciaux à évaluer, à les structurer sur le plan conceptuel et à mobiliser les personnes compétentes pour qu'elles participent à la collecte, à l'interprétation et à l'utilisation des données d'évaluation est tout aussi important que la collecte et l'analyse systématiques de données fiables.
• Les évaluations sont un moyen de concilier des réalités différentes. Les évaluations permettent aux intervenants d'un projet ou d'un programme de concilier leurs divers points de vue et leurs versions de la réalité.
• Il devrait en émaner une capacité accrue d'utiliser les conclusions des évaluations. Les organisations ont besoin d'une certaine capacité interne d'évaluation pour pouvoir concevoir des évaluations, y participer et les utiliser efficacement. Le fait de compter exclusivement sur des compétences de l'extérieur peut limiter la capacité d'une organisation de se montrer claire et précise au sujet de ses buts, et de tirer des enseignements et de les appliquer. Il est possible d'intégrer aux évaluations des stratégies précises qui visent clairement à favoriser ces caractéristiques organisationnelles.

4. Élaboration d'une nouvelle stratégie

4.1. Sondage auprès des clients

En juillet et août 1998, au moment où la Section de l'évaluation a commencé à élaborer une nouvelle stratégie, l'équipe a organisé des entrevues après de 21 membres du personnel du CRDI de différents niveaux à Ottawa et dans les bureaux régionaux, afin d'évaluer le rendement antérieur et d'obtenir des conseils au sujet des orientations futures. Les résultats du sondage sont regroupés sous les trois rubriques suivantes.

4.1.1 Qualité, disponibilité et pertinence du rendement antérieur

La majorité des commentaires formulés au sujet du rendement antérieur de la Section de l'évaluation ont été positifs. Selon les personnes interviewées, la bonne réputation de la Section de l'évaluation repose sur sa réceptivité et sa souplesse, sur le fait qu'elle facilite la mise en place d'une culture de l'évaluation honnête au Centre et contribue beaucoup à la réputation internationale du CRDI. Plusieurs intervenants ont toutefois fait remarquer que la Section de l'évaluation doit faire plus pour accroître les ressources affectées aux activités d'évaluation.

4.1.2 Besoins actuels et amélioration des services fournis

La Section de l'évaluation fournit des services utiles en aidant les initiatives de programme à planifier leurs évaluations et en facilitant le travail en groupe, mais les personnes interviewées ont aussi mentionné quelques points à améliorer, notamment les suivants : agir de façon plus proactive pour ce qui est de diffuser de l'information et de faire connaître les activités d'évaluation et leurs résultats, appuyer davantage les initiatives de programme dans leurs évaluations, collaborer davantage avec la Vérification interne, les Publications, le Bureau de direction et le Groupe des politiques et de la planification, et aider les secrétariats à élaborer et à mettre en œuvre des plans de surveillance et d'évaluation pour leurs multiples organismes donateurs. Seules quelques-unes des personnes interviewées connaissaient les divers services et produits offerts par la Section de l'évaluation et certaines ne savaient pas trop comment s'y prendre pour demander l'aide de la section.

4.1.3 Rôles futurs et facteurs qui ont une influence

Au lieu d'imaginer des rôles entièrement nouveaux pour la Section de l'évaluation, les personnes interviewées ont recommandé que l'on maintienne et élargisse les activités actuelles. Les répondants ont suggéré que la Section de l'évaluation organise des séminaires à l'intention du personnel, des séances de formation et des séances d'information. On a aussi recommandé l'examen de toutes sortes de questions : l'impact de la recherche pour le développement, l'interdisciplinarité et la multidisciplinarité, les initiatives de programme comme mode de prestation des programmes et les progrès réalisés par le Centre dans la réalisation de ses objectifs généraux en matière de développement.

4.2. Atelier de planification stratégique

L'information recueillie pendant les entrevues a servi au cours d'un atelier de planification stratégique de deux jours qui a eu lieu en octobre 1998. Cet atelier participatif a permis à la Section de l'évaluation et à un membre du personnel de la Direction générale des programmes, une personne d'un secrétariat et une personne du Groupe des politiques et de la planification de formuler une vision commune de l'évaluation au CRDI, dans le but d'orienter les travaux futurs et d'analyser les obstacles qui empêchent de réaliser ladite vision. La nouvelle stratégie d'évaluation de la section émane de cet atelier, des résultats du sondage et des enseignements des huit dernières années.

5. Stratégie d'évaluation : cartographie des incidences

Face aux problèmes posés par l'évaluation de l'impact, la Section de l'évaluation a préparé une nouvelle façon d'aborder la planification, la surveillance et l'évaluation de la recherche pour le développement appelée cartographie des incidences (voir le Rapport annuel sur l'évaluation 1999, page 17 - annexe II). La cartographie des incidences est une réflexion globale sur la façon dont un programme a l'intention d'atteindre ses objectifs. Cette méthode vise avant tout à mesurer les changements dans les comportements, les relations et les activités que le programme a aidé à apporter. Au lieu d'essayer de mesurer l'impact final sur le développement (ce qui échappe à la sphère d'influence du programme), cette méthode décrit et évalue les contributions d'un programme à la problématique qu'il aborde. La section a défini sa nouvelle stratégie en se servant de la cartographie des incidences. Cette façon de procéder repose sur la formulation d'énoncés de vision et de mission et d'énoncés d'incidences à obtenir qui permettent de mesurer les progrès effectués. La cartographie des incidences oblige à concentrer son attention sur les personnes et les organisations avec lesquelles il y a des contacts directs et évalue les contributions qui aident à modifier leur comportement. Ces « partenaires limitrophes » sont les groupes sur lesquels on peut agir directement, mais ce ne sont pas nécessairement eux qui en dernière analyse bénéficient des activités.

L'énoncé de vision ci-dessous décrit à quoi devrait idéalement ressembler l'évaluation au Centre dans cinq ans. L'énoncé de mission indique les grands secteurs d'activité où la section travaillera pour opérationnaliser sa contribution à la vision. Les incidences à obtenir et les indicateurs de progrès indiquent le type et le niveau de changement que la section encouragera chez ses partenaires pour qu'ils contribuent à la vision.

5.1. Vision

La recherche pour le développement subventionnée par le CRDI a une grande valeur pour ses partenaires des pays du Sud à cause des contributions diverses qu'elle apporte à une compréhension et à des capacités locales cruciales, à des connaissances communes, à des interventions opportunes et aux impacts locaux, régionaux et mondiaux souhaités. L'intégration de mécanismes de rétroaction informatifs et stimulants à tous les programmes et projets subventionnés par le CRDI constitue un élément clé reconnu de cette réussite. Ces mécanismes assurent que les chercheurs et les utilisateurs de la recherche concentrent toujours leur attention sur les incidences importantes, conçoivent et révisent des stratégies et des plans d'action qui maximisent la probabilité d'obtenir les incidences en question, suivent fidèlement leurs plans et mettent volontiers en commun leurs expériences et leurs découvertes avec le CRDI et d'autres intervenants qui pourraient en bénéficier. De plus, des mécanismes de rétroaction parallèles intégrés à tous les paliers des processus décisionnels du CRDI font en sorte que le financement et l'aide technique sont affectés là où ils s'harmonisent le mieux avec les objectifs institutionnels, où l'on en a le plus besoin et où ils peuvent faire le plus de bien.

5.2. Mission

Pour appuyer cette vision, la Section de l'évaluation préconise l'utilisation, dans tout le CRDI et chez ses partenaires des pays en développement, des toutes dernières méthodologies et pratiques d'évaluation et de gestion. La section encourage la circulation des connaissances sur le rendement et aide à la planifier, afin d'éclairer et de susciter des décisions stratégiques, la conception de projets solides, l'utilisation efficace de la recherche, la cohérence des programmes et la réalisation de progrès importants dans la théorie et la pratique du développement. Elle favorise la compilation, l'interprétation et la diffusion de données sur le rendement axées sur les incidences, qui sont essentielles à la compréhension et à l'amélioration des projets et des programmes. La section est un porte-parole respecté et souvent cité du changement et de l'excellence dans les politiques et les pratiques d'évaluation des donateurs et un défenseur de l'utilisation efficace des outils d'évaluation et de gestion dans les pays en développement. En résumé, la Section de l'évaluation est une ressource solide du CRDI, qui est souvent mise à contribution et très appréciée dans tout l'organisme et par ses principaux partenaires dans le monde entier.

5.3 Incidences à obtenir et indicateurs de progrès

Même si la Section de l'évaluation définira et guidera le processus, sa vision exige participation, appui et changement de la part de ses quatre principaux partenaires limitrophes (ses clients immédiats) :

• les cadres supérieurs,
• le personnel des programmes, des secrétariats et des projets spéciaux du CRDI,
• les institutions partenaires et chercheurs affiliés des pays en développement, et
• •les autres organismes donateurs.

Afin de comprendre les répercussions de la mission et d'établir des moyens de suivre les progrès, la Section de l'évaluation a défini les incidences à obtenir et les indicateurs de progrès gradués pour chacun de ses quatre principaux partenaires limitrophes. Les incidences à obtenir décrivent les changements que nous essaierons d'aider à susciter dans le comportement, les relations, les activités ou les interventions de nos partenaires limitrophes. Elles sont formulées spécifiquement de façon à pousser la section à encourager les changements les plus profonds possibles afin que les partenaires du Centre puissent contribuer à la vision plus générale. Les indicateurs de progrès sont gradués et leur degré de difficulté évolue, de ce que la section s'attend à voir son partenaire limitrophe faire s'il exécute bien ses activités de base (indicateurs de ce qui est attendu) jusqu'à l'instauration de changements plus profonds et plus difficiles à réaliser (indicateurs de ce qui est souhaité et éminemment souhaitable). Ils représentent l'information que la section réunira pour améliorer le rendement du Centre et suivre les réalisations de ses partenaires dans l'obtention des incidences.

5.3.1 Incidences à obtenir et indicateurs de progrès 1 : cadres supérieurs du CRDI

Incidences à obtenir 1 : La Section de l'évaluation veut voir des cadres supérieurs du CRDI qui exigent régulièrement et appuient sans réserve l'adoption de mécanismes d'évaluation et la production et l'utilisation de données sur le rendement fondées sur les incidences, et qui utilisent eux-mêmes ces données et la rétroaction connexe avec confiance pour préciser leurs points de vue et éclairer leurs décisions.

Indicateurs de progrès gradués

On s'attend à voir des cadres supérieurs qui :

• appuient l'existence continue de la Section de l'évaluation;
• obligent le personnel à rendre compte de l'établissement d'objectifs d'évaluation;
• comprennent les principes qui sous-tendent la stratégie d'évaluation de la section et y adhèrent;
• intègrent au cycle de programmation les exigences relatives à la surveillance et à l'évaluation.

On souhaite voir des cadres supérieurs qui :

• suggèrent des sujets ou des questions d'évaluation stratégique à étudier;
• répondent favorablement aux demandes de ressources présentées par la section pour satisfaire à des exigences spéciales;
• reconnaissent rapidement les obstacles à l'évaluation au CRDI et interviennent pour les éliminer;
• exigent des programmes des résultats d'évaluation de grande qualité et axés sur les incidences;
• sont d'avis que l'on apprend aussi bien de ses réussites que de ses échecs;
• utilisent les données d'évaluation pour éclairer des décisions clés;
• établissent leurs propres critères de rendement fondés sur les incidences;
• appuient une série d'objectifs institutionnels de rendement.

On estime éminemment souhaitable de voir des cadres supérieurs qui :

• mesurent régulièrement les objectifs institutionnels de rendement;
• établissent une culture de récompenses pour les employés qui traitent l'évaluation comme un élément faisant partie intégrante des programmes;
• utilisent systématiquement les données d'évaluation pour élaborer des stratégies et guider les décisions sur les programmes.

5.3.2 Incidences à obtenir et indicateurs de progrès 2 : personnel du CRDI

Incidences à obtenir 2 : La Section de l'évaluation veut voir des membres du personnel du CRDI (entre autres des initiatives de programme, des secrétariats et des projets spéciaux) qui conçoivent, lancent et exécutent des évaluations de grande qualité, qui produisent des données sur le rendement fondées sur les incidences et les utilisent efficacement dans des auto-évaluations et dans le travail qu'ils font avec des participants à des programmes, qui prennent des mesures afin de mieux comprendre l'évaluation du rendement et le rôle qu'elle peut jouer pour appuyer et faciliter leur travail, et qui partagent leurs résultats et le savoir acquis avec d'autres personnes au CRDI et à l'extérieur.

Indicateurs de progrès gradués

On s'attend à voir des membres du personnel de programme qui :

• sont exposés régulièrement à la nature et aux activités de la section;
• savent où se renseigner sur la façon de communiquer avec la section;
• sont au courant des lignes directrices sur l'évaluation qu'a formulées la section;
• fournissent régulièrement à la section des rapports d'évaluation.

On souhaite voir des membres du personnel de programme qui :

• communiquent avec la section pour obtenir du matériel d'évaluation ou des conseils sur l'évaluation;
• participent à des activités de création de capacités;
• utilisent les lignes directrices de la section pour éclairer leur façon d'aborder et de concevoir l'évaluation;
• consultent la section au sujet de la conception ou de la mise en œuvre d'une évaluation;
• mobilisent la section pour qu'elle participe à une activité d'évaluation;
• indiquent que les commentaires issus de l'évaluation améliorent leur travail;
• intègrent des ressources d'évaluation aux projets à des fins d'apprentissage;
• appuient l'utilisation de l'évaluation par leurs partenaires.

On estime éminemment souhaitable de voir des membres du personnel de programme qui :

• utilisent l'évaluation pour transformer la conception et le contenu des programmes;
• font des suggestions ou apportent des contributions importantes à la stratégie d'évaluation du CRDI;
• encadrent d'autres membres du personnel ou des partenaires en ce qui concerne l'évaluation.

5.3.3 Incidences à obtenir et indicateurs de progrès 3 : partenaires des pays en développement

Incidences à obtenir 3 : La Section de l'évaluation veut voir des institutions partenaires et chercheurs affiliés des pays en développement qui partagent l'enthousiasme du CRDI et son engagement envers l'évaluation axée sur les incidences et fondée sur la participation et l'apprentissage, qui maîtrisent l'utilisation de la surveillance et de l'évaluation, ce qui fait en sorte que les évaluations externes ajoutent de la valeur à leur travail, qui peuvent faire fonction d'évaluateurs externes compétents et offrir de la formation et une aide technique pour la surveillance et l'évaluation, et qui unissent leurs efforts à ceux du CRDI et d'autres intervenants pour appuyer et promouvoir l'avancement de la science et de l'art de l'évaluation du rendement.

Indicateurs de progrès gradués

On s'attend à voir des partenaires de pays en développement qui :

• sont exposés à la démarche d'évaluation, aux publications et aux ressources de la section;
• communiquent avec le personnel du CRDI ou avec la section pour obtenir de l'information ou du matériel sur l'évaluation;
• rencontrent des membres du personnel du CRDI ou de la section, ou communiquent avec eux, pour discuter d'enjeux liés à l'évaluation;
• communiquent avec des membres du personnel du CRDI ou avec la section pour manifester leur intérêt à collaborer à l'évaluation.

On souhaite voir des partenaires de pays en développement qui :

• participent à des activités de création de capacités;
• invitent des membres du personnel du CRDI ou la section à participer à des activités axées sur l'évaluation;
• participent à des événements visant à accroître la pertinence de l'évaluation pour les partenaires des pays en développement;
• se dotent d'un savoir-faire et de compétences internes en évaluation;
• montrent qu'ils peuvent concevoir et mettre en œuvre une évaluation de qualité;
• réunissent systématiquement les conclusions des évaluations pour éclairer et améliorer leur travail;
• indiquent que la rétroaction issue de l'évaluation améliore leur travail;
• publient conjointement avec le CRDI des articles ou des ouvrages sur l'évaluation.

On estime éminemment souhaitable de voir des partenaires de pays en développement qui :

• deviennent des points de convergence dans leur région pour le perfectionnement professionnel en évaluation;
• établissent avec le CRDI, dans le domaine de l'évaluation, des partenariats à long terme fondés sur la créativité;
• fournissent des commentaires critiques et perspicaces sur le rendement des organismes donateurs.

5.3.4 Incidences à obtenir et indicateurs de progrès 4 : autres organismes donateurs

Incidences à obtenir 4 : La Section de l'évaluation veut voir d'autres organismes donateurs qui partagent l'enthousiasme du CRDI et son engagement envers l'évaluation axée sur les incidences et fondée sur la participation et l'apprentissage, qui réunissent systématiquement les conclusions d'évaluations fondées sur ces principes et en tirent parti afin d'éclairer leur travail d'amélioration des programmes, et qui unissent leurs efforts à ceux du CRDI et d'autres intervenants pour appuyer et promouvoir l'avancement de la science et de l'art de l'évaluation du rendement.

Indicateurs de progrès gradués

On s'attend à voir d'autres organismes donateurs qui :

• connaissent la Section de l'évaluation du CRDI et sa démarche;
• communiquent avec la section pour lui demander de l'information;
• rencontrent la section pour discuter d'enjeux liés à l'évaluation (en contexte virtuel ou en personne);
• invitent des membres du personnel de la section à participer à des activités axées sur l'évaluation.

On souhaite voir des organismes donateurs qui :

• consultent la section sur des questions d'évaluation relevant des domaines de compétence du CRDI;
• invitent la section à effectuer pour leur compte des évaluations dans des domaines qui pourraient être sources de nouvelles connaissances pour le CRDI;
• publient conjointement avec le CRDI des articles ou des ouvrages sur l'évaluation;
• participent à des discussions portant sur des façons de rendre l'évaluation plus pertinente pour les partenaires des pays en développement;
• parrainent des évaluations qui répondent aux besoins d'information tant des donateurs que des partenaires;
• comptent énormément sur les talents et les compétences spécialisées en évaluation des pays du Sud;
• appuient conjointement les possibilités de perfectionnement professionnel en évaluation pour les partenaires des pays en développement;
• demandent à d'anciens ou actuels partenaires du CRDI dans les pays en développement de commenter le rendement.

On estime éminemment souhaitable de voir des organismes donateurs qui :

• établissent avec la section des partenariats à long terme fondés sur la créativité;
• ont confiance dans les évaluations de leur rendement effectuées par des partenaires de pays en développement;
• attachent une grande valeur aux évaluations du rendement des donateurs effectuées par des partenaires de pays en développement.

6. Activités

Le travail prévu dans chacun de ces domaines est décrit ci-dessous.

6.1. Cadres supérieurs

Les cadres supérieurs appuient l'évaluation et ont demandé à la Section de l'évaluation d'analyser le système de gestion et de recommander des mesures à l'égard de tous les aspects qui nuisent à l'évaluation. Afin d'adapter le système de gestion du CRDI pour qu'il favorise davantage l'utilisation de l'évaluation à tous les paliers de l'organisme et permette au Centre de produire des rapports sur son rendement, la Section de l'évaluation concentrera son travail auprès des cadres supérieurs sur deux aspects : 1) l'élaboration d'objectifs institutionnels de rendement et 2) l'établissement d'un système d'incitations et de récompenses pour les bons travaux d'évaluation effectués par le personnel du Centre.

6.2. Personnel des initiatives de programme, des secrétariats et des projets spéciaux

Quelques facteurs sur lesquels il faut se pencher entravent le développement du savoir-faire des initiatives de programme en surveillance et en évaluation aux fins de la gestion du rendement et de la production de rapports en la matière, et l'utilisation qui en est faite. Ces facteurs comprennent notamment les contraintes liées au temps et à l'argent dont disposent les initiatives de programme pour l'évaluation, le manque d'incitations et de récompenses pour l'évaluation au Centre, la compréhension insuffisante par les membres du personnel de programme des concepts, des mécanismes et de l'utilité de l'évaluation dans leur travail et les ressources humaines limitées qu'a la Section de l'évaluation pour aborder tous ces aspects compte tenu du nombre d'initiatives de programme.

Afin de surmonter ces obstacles, la Section de l'évaluation entreprendra deux types d'activités; certaines s'adresseront à l'ensemble du personnel de programme et d'autres créeront des partenariats directs entre la Section de l'évaluation et certaines initiatives de programme. Le travail effectué avec les initiatives de programme s'inspirera des travaux exécutés au cours de l'élaboration du PIC 2.

S'appuyant sur l'information réunie au cours de la préparation du document intitulé Partenariats d'apprentissage : examen des secrétariats du CRDI et de la réponse du Centre, Le cadre stratégique des secrétariats au CRDI, la Section de l'évaluation se concentrera davantage sur la création de capacités d'évaluation au sein des secrétariats. Ces efforts viseront à créer et à mettre en œuvre un système qui permettra aux secrétariats d'évaluer leur rendement et de faire rapport à ce sujet à leurs multiples organismes donateurs. Comme dans le cas des initiatives de programme, certaines activités de la Section de l'évaluation viseront tous les secrétariats et d'autres auront pour but de créer des partenariats avec certains d'entre eux.

Afin de compenser ses ressources humaines limitées, la section constituera un réservoir d'experts-conseils de l'extérieur qu'elle pourra mettre à contribution. Elle concentrera aussi ses efforts sur la formation de personnes-ressources en évaluation dans les équipes et les secrétariats.

6.3. Institutions partenaires des pays en développement

Les efforts déployés depuis cinq ans pour renforcer la culture de l'évaluation au Centre n'ont pas augmenté la capacité d'évaluation de nos institutions partenaires. En cherchant à renforcer les organismes et les institutions de recherche avec lesquels le Centre collabore, la Section de l'évaluation a reçu maintes demandes d'élaboration de stratégies visant à confier aux partenaires du Centre la responsabilité du processus d'évaluation et favorisant l'utilisation de ce processus comme moyen de développement et de gestion de l'organisation. À long terme, on veut que ce ne soit plus seulement le milieu des donateurs mais aussi les partenaires du Centre dans les pays en développement qui bénéficient de la valeur tirée de l'évaluation.

Ce secteur d'activité prendra de l'ampleur à la Section de l'évaluation au cours des cinq prochaines années. Les activités viseront avant tout à faire participer davantage les institutions partenaires des pays en développement à la surveillance et à l'évaluation et à les inciter à en prendre davantage la responsabilité. Il faut être réalistes : l'intervention du CRDI sera d'envergure limitée dans ce domaine parce que ces activités coûtent cher et parce que les incitations à la participation que nous avons à offrir sont limitées. Il s'agit néanmoins d'une entreprise importante et la Section de l'évaluation cherchera avant tout à collaborer avec un nombre restreint de partenaires du CRDI pour créer dans les régions des compétences en surveillance et en évaluation. Elle essaiera aussi de jouer un rôle catalyseur auprès d'autres organismes donateurs pour les inciter à viser le même but.

6.4. Autres organismes donateurs

Ces huit dernières années, la section est demeurée en contact avec un vaste éventail de donateurs et elle suit les priorités d'un grand nombre d'entre eux en matière d'évaluation. Au cours des cinq prochaines années, elle cherchera avant tout à collaborer avec les donateurs qui participent au cofinancement des secrétariats et d'autres activités du Centre.

En outre, pour appuyer notre intention de créer des capacités d'évaluation chez nos partenaires des pays en développement, nous accorderons la priorité à l'établissement de relations de travail avec des donateurs en train de créer, chez des partenaires de pays en développement, des capacités d'évaluation fondées sur l'apprentissage.

7. Ressources

7.1. Ressources nécessaires

Si elle réussit, cette stratégie placera le CRDI à l'avant-garde des organismes qui ont intégré l'évaluation systématique à leurs mécanismes de gestion et de production de rapports. Cela permettra de bien documenter l'apprentissage et l'amélioration du rendement au niveau des programmes et au niveau institutionnel, ce qui améliorera à la fois l'efficacité des programmes et la reddition des comptes. Le CRDI donnerait ainsi l'exemple des comportements qu'il souhaite retrouver chez ses partenaires et ses bénéficiaires. La stratégie pourrait entraîner une transformation radicale des méthodes d'évaluation des organismes qui oeuvrent au développement sur deux plans : elle pourrait modifier tout d'abord la façon dont les donateurs de l'extérieur définissent et mesurent les résultats et, deuxièmement, elle pourrait accroître le degré de contrôle et les avantages que tirent les institutions des pays en développement de l'évaluation de l'aide au développement.

Même si les ressources financières prévues à la version révisée du Programme des travaux et budget 2000-2001 suffisent pour lancer la stratégie 2000-2005, l'effectif permanent ne suffit pas pour en assurer l'exécution jusqu'en 2005. Depuis six ans, le pourcentage repère du budget des programmes affecté à l'évaluation s'établit à environ 2,5 % en moyenne. La Section de l'évaluation dépense 40 % de ce montant et les programmes, 60 %. Pour s'acquitter de son rôle de soutien technique, d'évaluation stratégique, de tenue des systèmes et de création d'outils dans le contexte de la stratégie d'évaluation établie par le Centre, la Section de l'évaluation a réussi à s'en tirer avec l'équivalent d'environ 0,5 % des affectations totales consacrées aux coûts du personnel permanent - soit environ une année-personne par tranche de 20 millions de dollars des fonds affectés. Même si la stratégie 2000-2005 pourra en grande partie être exécutée avec les mêmes ressources, l'accent plus marqué mis sur les pays en développement et l'élargissement des activités pour inclure les secrétariats exigeront du personnel du temps et des déplacements qui pourraient entraîner une révision de la formule.

Comme notre expérience du travail dans le contexte complexe à donateurs multiples des secrétariats est limitée, il faudra peut-être réviser les repères établis dans ce domaine.

7.2. Expansion des ressources

Deux moyens d'expansion des ressources semblent porteurs de promesses et nous chercherons à les utiliser tous deux :

1. partenariats avec d'autres organismes dans des domaines d'intérêt mutuel. Le travail effectué avec d'autres donateurs reposera sur les principes du partenariat et du cofinancement dans des domaines d'intérêt mutuel comme la création de capacités d'évaluation, l'évaluation des incidences et l'évaluation de la recherche pour le développement; et
2. la vente de publications et de matériel de formation émanant de travaux effectués pour répondre aux besoins du CRDI. Dans le cas du matériel d'évaluation du rendement organisationnel, il y a une demande soutenue à la fois au CRDI et à l'extérieur (1 050 exemplaires de l'ouvrage intitulé Améliorer la performance organisationnelle ont été vendus jusqu'à maintenant). Les travaux qui se poursuivront dans le domaine de l'évaluation du rendement organisationnel seront complétés par des publications et du matériel de formation en cartographie des incidences au cours des prochaines années.

Hormis ces deux points de convergence, nous limiterons nos efforts. L'expérience des quatre dernières années indique que l'exécution de contrats d'évaluation draine des ressources du Centre au lieu de lui en apporter. L'effort nécessaire pour produire des résultats d'évaluation d'une grande qualité dans des contextes peu connus, conjugué aux ressources nécessaires pour chercher à décrocher des possibilités contractuelles et y répondre (beaucoup de ces possibilités ne donnent rien), entraîne des coûts que nous n'avons pu recouvrer en établissant des prix contractuels concurrentiels. L'effet net qui en découle est généralement une réduction des ressources disponibles pour les travaux axés sur le CRDI. C'est pourquoi, au cours des cinq prochaines années, la Section de l'évaluation entreprendra des évaluations contractuelles seulement dans le cadre d'arrangements exceptionnels qui garantiront que le Centre pourra éviter les risques susmentionnés.

ANNEXE I

ANNEXE II

Cartographie des incidences : une nouvelle méthode de mesure des résultats

La Section de l'évaluation et plusieurs IP collaborent avec Barry Kibel, du Pacific Institute for Research and Evaluation, pour adapter la méthode d'étude technique des incidences au contexte de la recherche pour le développement. Il en découle une méthodologie qui définit et évalue les contributions qu'un projet ou programme apporte à l'atteinte des incidences. Les incidences sont des changements de comportement, de relations, d'activités ou d'interventions sur lesquels le projet ou programme a joué. Ces changements devraient contribuer à améliorer le mieux-être des personnes ou des soci étés.

La figure 1 illustre les catégories d'intervenants chez lesquels le CRDI essaie d'encourager des résultats. En cherchant à modifier la façon d'agir de certains intervenants du développement, le CRDI et ses partenaires entreprennent des activit és et établissent des relations de toutes sortes. Les changements qui en découlent sont dialogiques et non linéaires. Actions et réactions vont dans les deux sens puisqu'il peut y avoir, dans chaque situation, collaboration, résistance ou négociation qui produisent du savoir et une influence mutuelle. Il est possible de mesurer les incidences à tous les points où des changements se produisent ou devaient se produire chez les intervenants.

Les impacts du développement sont illustrés séparément dans le schéma, car ils constituent le phare qui guide les interventions et permet d'évaluer les résultats, mais dont aucun organisme de développement ne peut être tenu responsable. Les impacts ne peuvent être produits par un seul intervenant et se produisent lorsqu'il y a convergence de résultats et d'autres variables en quantité et en qualité suffisantes.

Cette démarche procure une méthode qui peut aider utilement un projet ou un programme à définir et à & eacute;valuer l'ensemble précis de stratégies qu'il utilise pour atteindre les résultats visés. Elle met en oeuvre une série d'étapes qui consistent notamment a) à identifier les principaux intervenants, b) à définir les stratégies qui visent chaque intervenant et c) à appliquer à chaque stratégie des moyens appropriés de collecte de données. En concentrant son attention sur les tratégies, un projet ou programme peut mesurer les résultats qu'il atteint dans sa sphère d'influence et prendre le crédit de ses contributions. Il reconnaît toutefois en même temps que c'est en fin de compte la combinaison des activités, des réflexions et des comportements de personnes, de groupes et d'organisations qui produira des impacts sur le développement et les maintiendra. Désignation temporaire de cette démarche, la cartographie des incidences donne aussi à un projet ou à un programme un système de réflexion globale et stratégique sur la façon dont il entend atteindre ses buts. Les activités en cours visent & agrave; vérifier cette méthode d'évaluation et à l'améliorer en l'appliquant à des projets, des programmes, des réseaux du CRDI, de concert avec les institutions partenaires.

* La terminologie est appelée à changer.

Tiré de IDRC Support to System-Level Impacts par Barry Kibel (1999).

Document(s) 5 de 5