From infancy to maturity: Constraints to the “Made in Africa Evaluation” (MAE) concept (Part 2)
By: Mokgophana Ramasobana and Nozipho Ngwabi
The blog titled “Made in Africa Evaluation: Africa’s novel approach towards its developmental paths (Part 1) provided an historical overview on some of the initiatives proposed to pioneer the MAE concept by various African scholars and evaluation practitioners. These include Prof. Zenda Ofir, Prof. Bagele Chilisa, Dr. Sukai Prom Jackson and Dr. Sully Gariba just to name a few. As a follow-up, Part 2 of the blog aims to explore some of the factors that influence maturity of the MAE concept beyond rhetoric and into practice, and raises a question around its uptake within the broader evaluation discourse.
The seed to collaborate on writing this blog between Nozipho and I has been forthcoming with a sense of speed. There are two cyclical international events that provoked our thinking as well as expedited the opportunity to co-write this blog. Firstly, a seminar titled “Decolonising the Evaluation Curriculum” hosted by CLEAR-AA during the delivery of the Development Evaluation Training Programme in Africa (DETPA). The panellists of the seminar comprised national and international evaluation experts: Prof. Bagele Chilisa (University of Botswana), Dr. Nombeko Mbava (University of Cape Town), Dr. Kambidima Wotela (University of Witwatersrand), Ms. Adeline Sibanda (AfrEA President) and Ms. Candice Morkel (CLEAR-AA) as the moderator. The second was a panel discussion titled “There is no Resilience without Equity: When will our Profession Finally Act to Reverse Asymmetries in Global Evaluation?” Chaired by Ms. Adeline Sibanda (AfrEA President) at the 13th European Evaluation Society (EES) Biennial Conference. Both events were characterised by heated debates among the panellists and participants and in this blog, Nozipho and I identified four key themes, which emerged as common threads. These four themes inhibit the deepening of the discourse around MAE, both conceptually and in practice. They include, (i) over-reliance on western worldviews or paradigms (ii) dominance of donors as commissioners of African evaluations (iii) Supply-chain Practices Crowd out African Evaluators and (iv) Perceived infancy of the evaluation profession in Africa.
(i) Worldviews or paradigms
The colonisation of African people in the 19th century had dire consequences of desecrating their traditional knowledge systems, cultural practices, values and beliefs (Kaya and Seleti, 2013). Scholars argue that Eurocentric or western worldviews of “knowledge” are yet to appreciate alternative non-western ways of knowing and producing knowledge. Consequently, the lack of this appreciation means that in the historical account of African or indigenous knowledge systems are less documented and evidenced in the broader academic discourses (ibid.). Likewise the evaluation profession is not immune from this influence of western paradigms. Thus, the theories informing evaluation practice in Africa are dominated by Western paradigms (Cloete, 2016).
Various African scholars (Chilisa, 2012); (Chilisa and Tsheko, 2017); (Shiza, 2013),and (Ofir, 2018) have impressively embarked on numerous initiatives, aimed at championing indigenous or localised African knowledge systems in the evaluation sector. These initiatives are geared to ensure that Afrocentric approaches, inter alia, methodologies, ways of knowing and philosophies are embedded into the evaluation praxis. Some of the studies elevating the Afrocentric paradigms include: indigenous knowledge systems (IKS) (Keane, 2008); (Geber and Keane, 2013); (Keane, Khupe, and Seehawe, 2017) and (Khupe and Keane, 2017) decolonisation and indigenisation of evaluation (le Grange, 2016) and (Chilisa, Major, Gaotlhobogwe and Mokgolodi, 2016) MAE or African-led or African and African “rooted” evaluations (Cloete, Rabie and de Coning, 2014; Chilisa , 2017 and Ofir, 2018) . These authors acknowledge that African voices and their ways of knowing should be integrated into a discourse of development. In spite of these commendable cited initiatives, African knowledge systems and paradigms remain insufficiently used, specifically in evaluation practice on the continent. We have to ask ourselves why this is the case.
To avoid the risk of providing a simplistic solution to a complex phenomenon, we recommend that opportunities should be created for collaboration between young and experienced African scholars to proactively pursue a research agenda around MAE and the translation of the findings into evaluation practice. However, this issue requires deeper conversations within the evaluation community around ways in which this shift in approach can be attained.
(ii) Dominance of donors as commissioners of African evaluations
Accountability for financial investments injected in Africa by donor communities elevated the demand for evaluation and has played a significant role in the institutionalisation of evaluation practices (Tirivanhu, Robertson, Waller and Chirau, 2018). This is corroborated by the African Evaluation Database (AfrED) database report (2017) commissioned by CLEAR-AA in collaboration with CREST for the period 2005-2015, which illustrates that: donors commissioned 69% of the evaluations, followed by a 31% split between NGO’s and governments. Notably, non-African evaluators in these reports have been appointed as project leads responsible for technical and strategic activities during the implementation of evaluation assignments whilst on the other hand, African experts are dispensed with supporting activities entailing administrative and logistical duties (Mouton and Wildschut, 2017). These disparities in roles and authority in evaluation assignments to some extent validate the widely held view that African scholars are less skilled to execute credible evaluations (Tirivanhu, Robertson, Waller and Chirau, 2018, p 230). Once again, a trite solution cannot be suggested for such a complex problem, but commissioners of evaluations (particularly donors) could consider revising procurement regulations geared to facilitate equivalent shared responsibilities between African and Western experts. In addition to capacity building initiatives that are focused on building African expertise in evaluation practice, it is time to also look at the legal-technical and administrative levers (such as procurement) that could provide a catalyst to changing the landscape of existing patterns of supply and demand on the continent.
(iii) Supply-chain Practices Crowd out African Evaluators
Building on the second theme, the evaluation field in Africa is historically and currently dominated by the Global North. (Cloete, 2016, p. 55) states that, “Evaluations in Africa are still largely commissioned by non-African stakeholders who mostly comprise international donor or development agencies that run or fund development programmes on the continent”. In addition, the current supply chain frameworks insist that evaluation expertise should be sourced from the development agencies’ countries of origin. This observation coincides with Phillips’s (2018) findings on a study of four major donors who commission evaluations in South Africa. The author found that the majority of international donor evaluation contracts in South Africa are obtained by international companies, who often sub-contract local expertise to enable them to understand the local context. This means that the evaluation criteria, methods and approaches are designed from a Global North orientation and that minimal effort is made to contextualise or ‘indigenise’ evaluations.
This situation raises concerns around the cultural competency of evaluators to conduct evaluations in African contexts, particularly if they are led by donor/development organisations who do not recognise the importance of this aspect of evaluation practice (AEA, 2011; Hopson, 2003 and Rebien, 1997). We acknowledge that more work needs to be done in developing a body of knowledge of Afrocentric paradigms, ways of knowing and methodologies in conducting and commissioning evaluations in Africa. Once this is available, a rich database of African methods could be made available globally. This will contribute towards the incremental documentation of Africa’s ways of knowing and elevating the indigenisation of evaluation practice as well as the prominence of African knowledge systems.
(iv) Perceived infancy of the evaluation profession in Africa
The slow progress of professionalisation of the evaluation discipline is common globally, as only a few countries have formally professionalised evaluation (Podems, 2015). M&E has not been professionalised in any of the African countries and this may be one of the main gaps in the slow progress of the Made in Africa concept. It is only in fairly recent years that monitoring and evaluation capacity building programmes such as the CLEAR Initiative, the International Programme on Development Evaluation Training (IPDET), trainings offered by Voluntary Organisations for Professional Evaluation (VOPEs) such as the African Evaluation Association (AfrEA) and the South African Monitoring and Evaluation Association (SAMEA), as well as universities have been developed to contribute to the growth of evaluation in Africa (Stockdill, Baizerman and Compton, 2002; Stewart, 2015; Denney and Mallett, 2017).
Scholars generally concur with sentiments that professionalising evaluation should be a priority (Montrosse –Moorhead and Griffith (2017), Podems and Cloete (2014) and Lavelle (2014). The idea of professionalisation appeals to those looking to improve quality control for the practice of evaluation, to address the problem of the lack of uniformity in the field and the roles of evaluation practitioners. Thus, without the standardisation of evaluator competencies on the continent (or one could argue globally) it is difficult to fit the ‘Made in Africa’ concept into the several other issues of standardisation we already have.
In summary, addressing the four constraints highlighted above to bring to maturity the MAE concept requires greater cohesion and more intensive championing amongst practitioners and scholars. As a way forward, it is proposed that a few disruptions are introduced into the system to stimulate change into the well-entrenched patterns of evaluation practice in Africa. These include: the intensification of research between experienced and young African scholars to establish a body of knowledge for MAE; adjustments to procurement practices, which could for example include a compulsory split between African and Western experts with equal shared responsibilities in evaluation assignments; need to commission and conduct inter-disciplinary evaluations and an expedited momentum towards the professionalisation of the evaluation practice in Africa.
Extension de la date limite de soumission des Resumes
En raison d’un certain nombre de demandes de prolongation, la date limite de soumission des résumés pour la 9ème conférence internationale d’AfrEA a été repoussée au lundi 26 novembre 2018.
La 9ème Conférence internationale de 2019 de l’AfrEA aura lieu du 11 au 15 mars 2019 à Abidjan, en Côte d’Ivoire. Le thème de cette conférence est « Accélérer le Développement de l’Afrique: renforcer les écosystèmes nationaux d’évaluation ». Par la présente, vous êtes invités à soumettre une proposition d’articles, d’ateliers, de panels, de tables rondes et d’expositions dans les 12 axes thématiques de la conférence, en français ou en anglais. Twende Mbele souhaite également adresser une invitation à soumettre, à Le rôle du pouvoir judiciaire, du pouvoir exécutif et du pouvoir législatif dans l’évaluation: systèmes d’évaluation nationaux réactifs :
- Quels sont les mécanismes potentiels pour renforcer les synergies entre différents acteurs au sein d’un écosystème d’évaluation national?
- Comment le pouvoir et la politique sont-ils exploités ou utilisés pour répondre aux défis de l’évaluation?
Veuillez consulter l’appel à soumission de résumés/propositions ci-joint pour plus d’informations et pour savoir comment soumettre un résumé/une proposition.
Les résumés peuvent être soumis en ligne. Pour soumettre et résumer, veuillez vous connecter sur le site web de AfrEA www.afrea.org
AfrEA attendons impatiemment vos propositions. Date limite de soumission 26 novembre 2018. Veuillez noter que AfrEA n’acceptons pas les résumés envoyés par email.
Abstract Submission Deadline Extension
Due to a number of requests for an extension, the submission deadline for Abstracts for the 9th AfrEA International Conference has been extended to Monday 26 November 2018
The 9th AfrEA International Conference 2019 will be taking place on 11 – 15 March 2019 in Abidjan, Cote D’Ivoire. The theme for this conference is “Accelerating Africa’s Development: Strengthening National Evaluation Ecosystems”
You are hereby invited to submit a Proposal for Papers, Workshops, Panels, Round-tables and Exhibitions under any the 12 conference strands in either French or English. Twende Mbele would also like to extend invitation for submission to the strand,The Role of the Judiciary, Executive and Legislature in Evaluation: Responsive national evaluation systems:
- What are potential mechanisms for strengthening synergies between different actors within a national evaluation system?
- How are power and politics being harnesses or utilised in responding to evaluation challenges?
Please see attached Call for Abstracts/proposals for more information and how to submit an Abstract/proposal.
Abstracts may be submitted online. To submit and abstract, please log onto the AfrEA website www.afrea.org. Please note that AfrEA does not accept submissions sent via email.
Parcours de la demande de systèmes d’évaluation gouvernementaux: Une vue de l’Afrique Francophone et du Maroc
Une récente table ronde tenue lors des Journées Bénoises de l’Évaluation, à Cotonou, Bénin, a permis de mieux comprendre certains des facteurs qui affectent l’institutionnalisation des systèmes nationaux d’évaluation en l’Afrique Francophone et du Maroc. Le panel, intitulé ‘Évaluation et perspectives de l’institutionnalisation de la fonction d’évaluation’, a examiné les progrès accomplis dans la mise en place de systèmes et de structures pour un système d’évaluation gouvernemental avec des délégués de la Guinée, du Maroc, du Niger, de la Côte d’Ivoire, du Burkina Faso et du Togo. Un résumé de leurs présentations est ci-dessous.
Benin
Au Bénin, une étude de base sur la culture de S & E en 2011/12 a abouti à la rédaction de la Politique Nationale d’Evaluation (2012-2021). L’étude de base portait sur la manière dont les évaluations avaient été menées dans le passé et il a été constaté que le système était dominé par des donateurs techniques et financiers, qui ne relevaient pas de l’État et n’étaient donc pas ancrés dans les habitudes des concepteurs ou des gestionnaires de programmes et de projets. La politique a été élaborée dans le but de répondre aux priorités nationales et d’intégrer davantage le suivi et l’évaluation aux niveaux local et fédéral. Le gouvernement a commencé à financer et à affecter des ressources aux évaluations, notamment à la création du secrétaire général et du conseil de l’évaluation.
Guinea
En Guinée, la demande des organisations de la société civile (OSC) en matière de lutte contre la corruption et de prestation de services a conduit à des mesures initiales visant à institutionnaliser leur système national d’évaluation (SNE) en mettant en évidence les problèmes et les défis de la gouvernance. Le Premier ministre a commandé une étude de base sur la manière dont les évaluations des politiques publiques ont été réalisées, demandant des recommandations sur la manière de mieux institutionnaliser le suivi et l’évaluation. Les données de base ont montré qu’il n’existait aucune base légale pour le suivi et évaluation, ni une loi ni un dépositaire. Un atelier national a été organisé en 2017; le cas du Bénin a été pris comme exemple pour établir sa SNE. Les recommandations suivies concernant l’acceptation du S & E en tant que fonction clé du gouvernement et de la gouvernance, la mise en place d’une série d’autorités responsables telles qu’un Bureau de l’évaluation des politiques publiques. Cliquez ici pour la présentation…
Morocco
Au Maroc, le Parlement a été la voix la plus forte réclamant une évaluation des programmes et des politiques publics. L’exécutif a donc donné la priorité à l’élaboration d’une politique nationale d’évaluation. Dans le cadre de ce processus, en 2007, le ministre des Affaires générales et de la Gouvernance a supervisé une étude sur l’institutionnalisation des évaluations des politiques publiques. Cela a abouti à la mise en place de politiques de S & E dans plusieurs ministères et à l’inclusion d’évaluations dans le budget national. Que le Maroc ait ou non une politique nationale d’évaluation approuvée est toujours contesté selon sa définition même et beaucoup estiment qu’elle n’est pas claire et précise, en particulier celles de la société civile. La demande d’évaluation des organisations de la société civile est forte au Maroc (la plupart d’entre elles effectuant leurs propres évaluations). Cependant, de nombreuses organisations de la société civile craignent qu’il n’existe toujours pas de PNE au Maroc car il n’a pas encore été adopté, malgré la mise en œuvre en ce sens. Malgré l’absence d’étude approfondie sur le nombre d’évaluateurs au Maroc, il est largement reconnu que tant au sein de la fonction publique que de la société civile, la capacité de mener et de gérer des évaluations est insuffisante. Dans ce cas, les contraintes d’offre affectent la demande du gouvernement.
Niger
Au Niger, la structure du système politique est similaire à celle de la France en ce qu’ils ont un régime semi-présidentiel qui donne plus de pouvoir au Parlement. Les allégations de mauvaise gestion des fonds publics ont conduit à la création d’une demande vocale en faveur de l’évaluation des politiques publiques et, partant, à la mise en place d’un système national d’évaluation. la fonction d’évaluation a connu des progrès depuis 2006, bien qu’elle n’ait pas encore adopté de politique nationale d’évaluation. Un projet a été écrit et on espère qu’il sera adopté fin 2018. Le Niger collabore avec le Bénin et l’Ouganda pour élaborer son PNE et trouver des moyens de l’institutionnaliser.
Depuis 2011, le gouvernement s’emploie à améliorer la fiabilité des données – il a été noté que jusque-là, le gouvernement ne surveillait pas les programmes qui alourdissaient le fardeau des OSC pour suivre la prestation des services. Un atelier national devrait être organisé cette année pour discuter des idées de la SNE avant de pouvoir être adopté.
Le Niger effectue principalement des évaluations de processus qualitatives. En 2015, deux évaluations du plan de développement économique et social ont été effectuées, ce qui a énormément contribué au Nouveau Plan de Développement National 2021. Du côté de l’offre, il a été constaté un manque de capacité d’évaluation. La plupart des demandes émanent des partenaires donateurs et de certaines ONG internationales qui financent certains projets de développement. Cependant, le manque d’approvisionnement est l’un des problèmes les plus importants pour la réalisation d’évaluations de la qualité dans le pays.
Burkina Faso
Le Burkina Faso a eu une expérience similaire à celle du Bénin en ce qui concerne la mise en place de son système de S & E, mais pour eux, la plus grande demande d’évaluations se trouve dans les organisations de la société civile. La Commission nationale d’évaluation a été créée au Burkina Faso pour renforcer l’institutionnalisation des évaluations au sein du gouvernement. Bien que le gouvernement réalise des évaluations en interne par le biais des ministères compétents, la plupart des évaluations sont effectuées par les organismes donateurs. Les évaluations de processus sont les évaluations les plus populaires à mener. Cependant, le manque de ressources conduit à une incapacité à effectuer des évaluations régulières. Le gouvernement organise et soutient également des la journées d’évaluation semestrielles comme le Bénin, que l’on appelle le Journee Burkina d’evaluation.
Cote d’Ivoire
En Côte d’Ivoire, le manque de coordination des programmes gouvernementaux a incité à rechercher la mise en place d’un meilleur système de gestion et à la nécessité d’institutionnaliser les évaluations. Dans le cadre de leur démarche pour institutionnaliser le suivi et l’évaluation, ils ont travaillé en étroite collaboration avec La Banque Africaine de Développement et étudient les moyens d’inclure les évaluations dans leur constitution nationale. Certaines évaluations de processus et d’impact sont effectuées, bien que principalement par le biais des organismes donateurs. On pense que sans politique nationale d’évaluation, il n’y aura ni institutionnalisation ni allocation de fonds aux évaluations systématiques.
Togo
Dans le cadre de La vision 2030, le Togo s’emploie à institutionnaliser les évaluations depuis 2009. Il a mis en place une politique nationale de passation des marchés visant à accroître la transparence et la responsabilité en matière de réalisation des évaluations par le biais de consultants indépendants. Le financement a constitué un défi pour la poursuite et l’extension du suivi et de l’évaluation, mais ils continuent de progresser dans la mise en place de la SNE. Une étude de faisabilité pour un investissement public récemment commandée montrera le montant nécessaire et les prochaines étapes à franchir par le Togo pour institutionnaliser ses systèmes d’évaluation.
Gender Specialist needed
Twende Mbele and the Department of Planning Monitoring & Evaluation are searching for a short-term consultant to assist with writing a guideline for commissioning and managing gender responsive evaluations. Additionally, the consultant will be required to assist with the team reviewing the National Evaluation Policy, and to write guidance on how to ensure gender mainstreaming is incorporated into an updated policy document.
EXPERIENCE AND QUALIFICATIONS
- Professional degrees and post-graduate qualifications in governance, evaluation, gender and development studies or other relevant fields
- Be familiar with planning (policy and programme cycle).
- At least 8 years substantive experience and expertise in the areas of gender, policy and evaluation systems
- Strong strategic and analytical skills
- Demonstrated capacity to establish and maintain excellent relationships with key partners, especially in distance-working relationships
- Strong interpersonal communication and presentation skills.
All proposals should include consultant’s CV, a detailed proposal and an example of previous or similar work and be sent to [email protected] by 16 November 2018.