Evaluation du projet
RAPPORT D'EVALUATION ET QUESTIONNAIRES
Réalisé par Dominique Compère, évaluateur externe
Télécharger l'évaluation finale
Télécharger les questionnaires
Ce rapport propose :
- une évaluation générale du projet et de son évolution,
- la construction d’un outil d’évaluation adressé aux différents membres des associations et aux universités. Cet outil vise à recueillir un ensemble d’informations qui nous permet de juger de la pertinence des différents dispositifs mis en place dans le projet et d’en assurer sa continuité éventuelle.
1. Evaluation générale de l’élaboration et de l’évolution du projet
Cette évaluation s’est réalisée tout au long du projet, de manière ponctuelle, suite à la présence du coordinateur général et/ou du « critical friend » lors des réunions, événements, élaboration des questionnaires, séminaires de formation, interviews ; aux visites de suivi et aux échanges via emails avec les partenaires du projet.
Comme souligné dans le rapport intermédiaire, la mise en place des différents dispositifs ainsi que la méthodologie utilisée semblent avoir témoignée, de façon globale, de l’adéquation des objectifs fixés et des résultats escomptés.
Nous avons fait l’hypothèse que les nombreuses rencontres entre les associations de migrants permettraient un réel échange tant au niveau des différentes cultures qu’à un niveau intergénérationnel. Ainsi, dans ce projet, cet échange s’est réalisé par la valorisation des expériences personnelles et la découverte d’histoires semblables. Pour rappel, les objectifs du projet ont visé à susciter :
- la volonté de découvrir davantage le fonctionnement des différentes associations de migrants,
- le désir d’établir des relations plus étroites entre les associations,
- l’intérêt de s’ouvrir à d’autres associations au niveau européen (cf. projet Grundtvig 2, accepté par la Commission européenne),
- l’attention portée à leur mixité culturelle comme étant un des fondements de l’Europe.
Le projet semble avoir réussi à créer une réelle dynamique entre les différentes associations de migrants et permis, à ces dernières, une meilleure présentation de leurs organisations et de leurs objectifs.
Il reste à présent à savoir de façon précise :
- d’une part, si les différents acteurs sont satisfaits des dispositifs mis en place. Nous vérifierons si les méthodes de recueil d’informations et formations proposées (questionnaires, formations, interviews, séminaires, etc.) rendent bien compte de ces expériences de vie et incitent le regard critique avec une plus grande distanciation ;
- d’autre part, si les différents acteurs continuent à manifester le désir de poursuivre le projet et éventuellement s’ils désirent l’ouvrir à d’autres pays européens.
2. Descriptif de l’Outil d’évaluation du projet adressé aux différents membres des associations et universités
Il s’agit d'apprécier dans cette évaluation le degré d’adéquation entre les différents dispositifs mis en place et l’objectif final du projet, à savoir le recueil et la diffusion de témoignages des migrants visant à créer un modèle de coopération et d’apprentissage interrégional et intergénérationnel. Nous avons ainsi invité les membres des associations et les universités à donner leur avis sur ces différents dispositifs.
Nous avons recueilli ces informations par des questionnaires (voir annexes). Les questions sont rédigées :
- d’une part, sous la forme d’une échelle métrique unipolaire à quatre points, encore appelée « échelle de Likert », invitant les personnes interrogées à situer leur degré d’adhésion à une série de propositions ;
- d’autre part, sous la forme de quelques questions ouvertes.
Les orientations du questionnaire :
- Les modules de formations, la qualité des rencontres lors des séminaires, et évènements, ainsi que la construction du site web.
- La construction des questionnaires relatifs aux entretiens, le contenu des DVD et les rapports de synthèse.
- Les réponses fournies à ces questions nous permettent, à la fois, d’interroger la cohérence du dispositif et de vérifier si les méthodes proposées s’inscrivent bien dans une démarche pédagogique.
- Enfin un dernier questionnaire porte, à la fois, sur la motivation à poursuivre le projet et sur la volonté de l’ouvrir à d’autres associations européennes issues de l’immigration.
3. Traitement des réponses fournies au questionnaire d’évaluation
Nous proposons dans ce qui suit une analyse descriptive des fréquences des réponses fournies aux questions regroupées selon les différentes dimensions que recouvre la prise d’information.
3.1. Traitement des réponses des associations
3.1.1. Satisfaction relative à la formation et aux différentes rencontres (séminaires, évènements, etc.) + site web
Les rencontres (séminaires, évènements, etc.)
Toutes les associations déclarent être globalement satisfaites des contenus proposés lors des séminaires et évènements auxquels elles ont participés.
Les quelques aspects ne faisant pas l’unanimité quant au degré de satisfaction des réponses fournies au sujet des rencontres concernent :
- la question de la fréquence des réunions : l’association des émigrés portugais aurait souhaité participer à plus de réunions afin de partager davantage leurs expériences ;
- la mise en commun des expériences vécues qui ne semble pas avoir satisfait totalement l’association hellénique de Bruxelles ;
- les échanges entre les associations et les universités qui n’ont pas satisfaits les associations Aquilone et ASER.
Les formations
Toutes les associations déclarent l’existence d’une bonne adéquation entre le contenu des formations et les objectifs du projet : elles se déclarent plutôt satisfaites, dont une totalement satisfaite sur l’échelle d’appréciation. Les formations sont également déclarées correspondre aux attentes d’une large majorité. Seule l’association Aquilone se montre plus dubitative.
Si la qualité des contenus fait l’unanimité, les avis semblent plus partagés quant à la construction formelle de ces formations : trois associations sur huit (USEF, ASER, APEB) sont « plutôt d’accord » pour dire que les formations leur ont semblées trop théoriques.
Quant à la façon dont ces formations se sont déroulées, toutes les associations jugent celles-ci comme ayant été trop rapides (« plutôt d’accord » au niveau de l’échelle d’appréciation).
Toutefois les formations sont jugées positives quant au degré d’autonomie acquise par les participants pour mener à bien le projet.
Suggestions et remarques relatives aux formations et rencontres (questions ouvertes) :
Concernant les formations : celles-ci sont décrites comme ayant été trop rapides (ASER, Aquilone) et pas assez nombreuses (Aquilone).
Concernant les rencontres (séminaires et évènements), l’association Aquilone aurait souhaité participer à plus de réunions et de rencontres afin de mieux gérer leur travail.
L’association Aser décrit la mise en route du projet comme ayant été difficile, et ceci dû essentiellement à des problèmes de communication.
Enfin, pour l’association USEF, toutes les rencontres ont été bénéfiques et les évènements ont permis une réelle découverte du projet à la collectivité belge et étrangère.
Le site Web
Tant le contenu que les aspects relatifs à la navigation et au multimédia semblent être unanimement appréciés par l’ensemble des associations.
Seul le design du site ne fait pas l’unanimité : deux associations sur huit (l’ASER et l’association des rencontres des migrants) jugent celui-ci peu attrayant.
3.1.2. Satisfaction par rapport à la construction des questionnaires, contenu des DVD et rapports de synthèse
Concernant la construction des questionnaires et l’élaboration des DVD
Une large majorité des associations semble satisfaite par la rédaction des questionnaires et des réponses fournies lors des interviews sur les plans :
- du recouvrement des différents aspects de la problématique de l’histoire de ces migrations (hormis l’association Aquilone qui se déclare « pas vraiment d’accord » sur l’échelle d’appréciation) ;
- de leurs enseignements (satisfaction à l’unanimité) ;
- de la clarté des questions posées, de leur contenu et des réponses recueillies (à l’exception d’Aquilone et de la communauté hellénique qui se déclarent « pas vraiment d’accord » sur l’échelle d’appréciation à la proposition).
Les avis sont sensiblement plus partagés quant à la formulation des questions posées lors des interviews : quatre associations sur sept jugent les questions comme n’étant pas suffisamment ouvertes.
Concernant les rapports de synthèse
Les réponses fournies aux questions relatives aux rapports de synthèse semblent également témoigner d’un avis globalement favorable, hormis pour l’association ASER qui les juge d’inégales qualités.
L’association Aquilone ne semble, quant à elle, « pas tout à fait d’accord » avec l’analyse transversale décrite dans ces rapports et en souligne l’imprécision.
A la question ouverte sur les portraits de vie qui n’auraient pas été suffisamment traités, nous recueillons les remarques suivantes :
L’association Aquilone aurait souhaité lire, au travers de ces différents portraits de vie, une information plus précise sur les aspects relatifs à l’apport de ces immigrations à la vie sociale, politique et culturelle du pays d’accueil.
L’association ASER suggère quant à elle que, parallèlement aux interviews filmées, il aurait été intéressant de montrer quelques photos de l’époque illustrant le départ, le travail, le logement, etc … Faire défiler les images du passé en même temps que la personne raconte son histoire aurait pu donner une dimension supplémentaire aux différents témoignages.
Les autres remarques
Concernant les questionnaires :
Selon l’association Aquilone, certaines questions n’étaient pas toujours cohérentes avec l’ensemble du questionnaire.
L’association USEF attire l’attention sur le fait que le premier questionnaire était « un peu vague » et qu’ils ont dû le mettre à jour pour qu’il soit plus explicite.
L’association ASER juge les questionnaires comme limitant l’expression des expériences vécues.
Concernant les interviews et les DVD :
L’association Aquilone juge les questions des interviews comme étant trop fermées.
L’association ASER fait remarquer que leur manque d’expérience dans le domaine de l’entretien empêche les interviews de rebondir sur certains propos des personnes interrogées ; suivre de façon rigoureuse le questionnaire limite la spontanéité des entretiens.
Concernant les rapports de synthèse :
L’association ASER souligne le fait que les rapports attirent bien l’attention sur le caractère identique des expériences vécues lors de ces immigrations.
L’association USEF met en évidence le fait que les universités ont été en accord avec les travaux réalisés par les associations et que leur travail reflète bien l’histoire de l’immigration.
Seule l’association Aquilone, juge certains rapports comme étant « trop descriptifs et non analytiques ».
3.1.3. La motivation à poursuivre le projet
La motivation à poursuivre le projet fait l’unanimité.
Toutes les associations sont déterminées à poursuivre le projet et à l’ouvrir à d’autres associations européennes. C’est la découverte d’histoires semblables et l’échange entre les associations qui semble être le moteur de la motivation.
Toutes sont par ailleurs conscientes que la réussite d’un tel projet et son ouverture dépendent de leur degré d’engagement.
En revanche, il ressort des réponses fournies que c’est le manque de dialogue entre les associations qui peut freiner les objectifs du projet. Il en va de même au niveau du manque de dialogue entre les associations et les universités. Seul l’APEB semble plus positif quant à cet aspect.
A la question ouverte sur les raisons qui incitent principalement à poursuivre le projet, les remarques sont les suivantes :
L’association Aquilone et l’association des rencontres des migrants attirent notre attention sur l’utilité pédagogique du projet : l’importance de sauvegarder la mémoire des migrants et de la mettre en valeur, surtout dans le contexte politique actuel.
Pour l’association ASER, il convient actuellement « d’insister sur les nouvelles émigrations qui ne sont qu’une copie conforme de celles décrites par le projet. »
Pour l’association USEF, la motivation est de « permettre une ouverture de collaboration ».
Les obstacles pouvant freiner la bonne continuité du projet
Pour toutes les associations, c’est le manque de moyens financiers et de subventions pas toujours renouvelées qui pourraient être un frein pour la bonne continuation du projet.
L’association ASER évoque pour le futur le manque probable de collaboration entre les associations et les formateurs.
A la question sur les raisons qui pourraient faire obstacle à l’ouverture du projet à d’autres associations européennes :
La seule remarque recueillie à ce sujet concerne l’éventuelle difficulté de coordination et d’organisation dans le cas où un trop grand nombre d’associations ferait partie du projet.
3.2. Traitement des réponses des universités
3.2.1. Satisfaction relative aux différentes rencontres (séminaires, évènements, etc.) + site web
Les rencontres (séminaires, évènements, etc.)
Toutes les universités déclarent être globalement satisfaites des contenus et des échanges proposés lors des séminaires et évènements auxquels elles ont participés.
Le nombre des rencontres lors des séminaires et des évènements semblent satisfaire l’ensemble des universités, hormis l’université de Portugal qui aurait souhaité participer à plus de réunions.
A la question ouverte visant à recueillir les remarques ou suggestions à propos de l’organisation des différentes rencontres :
L’université représentant l’Italie et l’université libre de Bruxelles soulignent toutes deux l’importance de la communication directe et de la discussion ouverte avec les personnes rencontrées lors des réunions.
Le site Web
Tant le contenu que les aspects relatifs à la navigation et au multimédia du site semblent être appréciés par 4 universités sur les 5 faisant partie du projet.
Un bémol concerne la mise à jour du site, ainsi que les liens jugés insuffisants par l’université représentant l’Espagne.
Le design du site fait quant à lui l’objet d’un avis défavorable pour l’université du Portugal qui le juge peu attrayant.
3.2.2. Satisfaction par rapport à la construction des questionnaires, contenu des DVD et rapports de synthèse
Construction des questionnaires et élaboration des DVD :
Les universités sont unanimes pour déclarer que les interviews recueillis et le contenu des DVD apportent un outil pédagogique précieux pour sensibiliser les nouvelles générations sur l’histoire de ces migrations.
Toutes les universités se déclarent satisfaites quant au contenu global des questionnaires qui recouvre bien la problématique du projet. Elles donnent toutes un avis favorable quant à la clarté des questions posées.
Toutefois, les avis sont plus nuancés quant aux aspects suivants :
- 2 universités sur 5 (représentant le Portugal et l’Italie) jugent certaines questions posées comme étant intrusives. Certaines questions sont aussi jugées hors propos (pour ces deux mêmes universités auxquelles s’ajoute l’université représentant l’Espagne) ;
- 3 universités (Portugal, l’Italie et l’université Libre de Bruxelles) jugent les questions posées comme n’étant pas assez ouvertes ;
- enfin, les expériences de vie relatées dans les interviews semblent gommer certains aspects important de l’histoire des migrations pour 3 universités (Portugal, Italie et Espagne)
Concernant les rapports de synthèse :
Si pour l’ensemble des universités les rapports de synthèse sont jugés favorablement, l’université libre de Bruxelles juge les rapports comme étant d’inégales qualités et manquant de clartés.
A la question ouverte sur les portraits de vie qui n’auraient pas été suffisamment traités :
Selon l’université représentant l’Espagne, il serait nécessaire de préciser les références méthodologiques et théoriques à propos de l’histoire de ces migrations afin d’obtenir des rapports plus scientifiques et analytiques.
L’université libre de Bruxelles attire l’attention sur le fait que « les témoins se livrent davantage dans des conversations informelles qu’au sein de l’enquête formalisée. »
Les autres remarques
Concernant la construction des questionnaires :
Selon l’université libre de Bruxelles, « il est difficile de faire aborder par la première génération les difficultés vécues, au départ comme à l’arrivée. »
Concernant les interviews et les DVD :
L’université libre de Bruxelles souligne le fait que la formation des interviewers reste insuffisante pour que ceux-ci puissent rebondir sur les propos essentiels des entretiens.
Concernant les rapports de synthèse :
L’université espagnole souligne le fait qu’il aurait été préférable que les universités se mettent d’accord sur une méthodologie commune d’analyse des sujets afin d’obtenir des rapports nationaux homogènes et d’analyser avec plus d’objectivité les données et les informations obtenues au cours des interviews.
L’université libre de Bruxelles juge les rapports très inégaux quant à leur qualité.
3.2.3. La motivation à poursuivre le projet
Tout comme pour les associations, la motivation à poursuivre le projet par les universités fait l’unanimité.
De la même façon, elles déclarent toutes être d’accord pour ouvrir le projet à d’autres associations européennes.
C’est aussi la découverte d’histoires semblables qui semble être le moteur de la motivation.
En revanche, il ressort de certaines réponses fournies que c’est le manque de dialogue entre les associations et les universités qui peut freiner les objectifs du projet, et ceci pour les universités représentants le Portugal, l’Espagne et la Grèce. Il en va de même au niveau du manque de dialogue entre les universités elles-mêmes (cet aspect est souligné par toutes les universités, à l’exception de l’Italie).
A la question ouverte sur les raisons qui incitent principalement à poursuivre le projet :
Les universités représentant l’Espagne et l’Italie soulignent toutes deux l’intérêt pédagogique du projet. Elles nous font remarquer la similarité des témoignages des migrants d’Europe du Sud avec les vagues actuelles d’immigration. Montrer ces convergences a une réelle portée éducative pour les jeunes générations.
L’université libre de Bruxelles attire l’attention sur le fait que les associations sont des témoins privilégiés de l’histoire migratoire et qu’il est intéressant de systématiser davantage les liens entre elles et les universités.
Les obstacles pouvant freiner la bonne continuité du projet
Le manque de support financier est évoqué par les universités représentant l’Italie et l’Espagne.
L’université libre de Bruxelles souligne quant à elle le manque de compétence de certaines universités.
A la question sur les raisons qui pourraient faire obstacle à l’ouverture du projet à d’autres associations européennes :
Seule la question de la langue est évoquée par l’université libre de Bruxelles.
4. CONCLUSION
Nous pouvons dire que les différents dispositifs mis en place pour mener à bien ce projet semblent témoigner globalement d’une satisfaction générale, tant au niveau des associations qu’au niveau des universités. Toutes deux se déclarent satisfaites des contenus proposés lors des séminaires et réunions auxquelles elles ont participés. Toutes deux font remarquer encore l’importance de la communication directe entre les différents participants et soulignent l’intérêt de ces échanges.
Les associations auraient toutefois souhaité participer à plus de rencontres afin de davantage mettre en commun les différentes expériences vécues.
Un bémol est encore mentionné concernant la qualité des échanges entre les universités et les associations et des échanges inter-universitaires.
Concernant les contenus des DVD, si ceux-ci sont déclarés bien recouvrir de façon générale la problématique de l’histoire de ces migrations, 3 universités sur 5 estiment toutefois que certains aspects importants n’apparaissent pas suffisamment. Ceci s’explique probablement par deux problèmes évoqués à la fois par les universités et les associations dans les réponses fournies aux questions ouvertes :
- le manque d’expérience à la conduite des entretiens a fait que les interviews n’ont pas mis suffisamment en évidence certains propos importants de l’histoire de ces migrations ;
- les questions posées lors des entretiens n’ont pas été suffisamment ouvertes.
Ceci s’explique aussi par l’inévitable rapidité des formations pour mener à bien le projet sur le temps qui lui a été imparti.
Concernant les différents rapports de synthèses rédigés par les universités, si les différents partenaires du projet semblent satisfaits, nous recueillons aussi quelques avis plus nuancés. Ceux-ci se résument principalement par les termes suivants : « d’inégales qualités », « peu clairs », « trop descriptifs et pas assez analytiques », « manque de méthodologie commune ».
Enfin, concernant la motivation à poursuivre le projet, celle-ci fait l’unanimité. Tant les associations que les universités semblent déterminés à poursuivre le projet et à l’ouvrir à d’autres histoires migratoires. Toutes deux soulignent l’intérêt pédagogique de montrer les convergences de ces histoires.
Quant aux obstacles pouvant entraver la bonne continuité du projet, il est mentionné d’une part, l’aspect financier, d’autre part, l’absence d’un coordinateur dans le futur.