Manuel - PAFPAA - Suivi

Transcription

SUIVI-ÉVALUATION DE LA FORMATION
PROFESSIONNELLE BÉNINOISE
Manuel méthodologique
Parakou, le 25 février 2014
Programme d'Appui à la Formation Professionnelle Agricole et Artisanale (PAFPAA)
www.pafpaa-suivi-evaluation.org
Helvetas Swiss Intercooperation Bénin
Programme PAFPAA
03 BP 613
Parakou, BENIN
www.benin.helvetas.org
Téléphone +229 23 61 30 77
Fax + 229 23 61 30 76
Auteur : Jonas Köppel
[email protected]
Table de matières
1. Introduction................................................................................................................................................... 2
2. Concept méthodologique.............................................................................................................................. 3
2.1 Objectifs principaux............................................................................................................................... 3
2.2 Indicateurs – Qu'est-ce qui est recherché ?........................................................................................... 3
2.3 Approche méthodique – Quelles sont les méthodes appliquées ?.........................................................4
2.3.1 Principes méthodiques.................................................................................................................. 4
2.3.2 Approche de traçabilité.................................................................................................................. 4
2.4 Structure du système – Comment est conçu le système méthodique ?................................................5
2.4.1 Structure modulaire....................................................................................................................... 5
2.4.2 Collecte et saisie des données...................................................................................................... 6
2.4.3 Gestion et analyse des données.................................................................................................... 7
3. Utilisation des outils...................................................................................................................................... 7
3.1 Collecte des données............................................................................................................................ 7
3.1.1 Les différents questionnaires disponibles......................................................................................7
3.1.2 Les principes d'utilisation des questionnaires................................................................................9
3.1.3 La structure d'un questionnaire...................................................................................................... 9
3.1.4 Les différents éléments d'un questionnaire..................................................................................10
3.1.5 Le calcul du revenu artisan.......................................................................................................... 12
3.1.6 Le calcul du bénéfice des transformatrices et transformateurs agroalimentaires........................14
3.1.7 L'échelle d'évaluation................................................................................................................... 15
3.2 Saisie des données............................................................................................................................. 15
3.2.1 Authentification............................................................................................................................ 15
3.2.2 Enregistrement des enquêté-e-s.................................................................................................. 16
3.2.3 Saisie des données..................................................................................................................... 16
3.2.4 Comportement en cas de problèmes........................................................................................... 16
3.3 Gestion de la base de données........................................................................................................... 17
3.3.1 Gestion des utilisateurs................................................................................................................ 18
3.3.2 Gestion des invitations (= enquêté-e-s).......................................................................................20
3.3.3 Gestion des options de réponses................................................................................................22
3.3.4 Gestion des données................................................................................................................... 22
3.3.5 Sauvegarder les questionnaires.................................................................................................. 23
3.4 Analyse des données........................................................................................................................... 23
3.4.1 Accès aux données...................................................................................................................... 23
3.4.2 Analyse automatisée.................................................................................................................... 24
4. Adaptation des outils................................................................................................................................... 27
4.1 Remarques préliminaires..................................................................................................................... 27
4.2 Adaptation des questionnaires............................................................................................................. 28
4.3 Adaptation de l'outil de saisie............................................................................................................... 28
4.3.1 Structure générale d'un questionnaire......................................................................................... 29
4.3.2 Le filtre des options de réponses................................................................................................. 29
4.3.3 Les filtres conditionnels................................................................................................................ 30
4.3.4 Les équations (calcul des indices)...............................................................................................31
4.3.5 Les paramètres généraux............................................................................................................ 31
4.3.6 Le questionnaire auxiliaire (actualisation des coordonnées)........................................................32
4.3.7 Adaptation d'un questionnaire actif.............................................................................................. 32
4.4 Adaptation de l'outil d'analyse.............................................................................................................. 32
5. Dispositif organisationnel............................................................................................................................ 33
5.1 Charges financières............................................................................................................................. 33
5.2 Qualité du système.............................................................................................................................. 35
Annexes
ANNEXE 1 : Questionnaires finaux (v1.0)
ANNEXE 2 : Questionnaires commentés
ANNEXE 3 : Échelle d'évaluation
ANNEXE 4 : Fiches de calcul du revenu
ANNEXE 5 : Fiches de calcul du revenu commentées
ANNEXE 6 : Cas exemplaire calcul du bénéfice d'une transformatrice
ANNEXE 7 : Cas exemplaire calcul du revenu d'un artisan
Tableaux
Tableau 1: Aperçu des modules........................................................................................................................ 6
Tableau 2: Aperçu des questionnaires.............................................................................................................. 8
Tableau 3: Configuration des utilisateurs Limesurvey.....................................................................................19
Tableau 4: Charges financières des modules.................................................................................................34
1. Introduction
Chère lectrice, cher lecteur. Vous tenez dans votre main la documentation accompagnant
la méthodologie de suivi évaluation des apprenant-e-s des formations professionnelles
qui a été élaborée au Bénin en 2013/14. Intégrant, entre autre, une approche de
traçabilité, elle promet des résultats intéressants en ce qui concerne la période de
formation ainsi que des analyses révélatrices de ce qui se passe avec un-e apprenant-e
après l'achèvement de sa formation.
Les concepts présentés ci-dessous ne sont pas des inédits mais se basent plutôt sur des
travaux précédents faits par d'autres équipes expertes en la matière. D'un côté, la
présente méthodologie constitue ainsi une adaptation des travaux existants au contexte
de la formation professionnelle béninoise. Mais de l'autre côté elle présente une mise à
jour technologique en centralisant et dynamisant en même temps le dispositif
d'enregistrement et d'analyse des données. En offrant la possibilité d'une base de
données en ligne, elle facilite la centralisation des informations qui est d'importance pour
plusieurs raisons méthodiques. En même temps, la présente approche permet une
décentralisation des possibilités d'analyse grâce à la haute disponibilité des informations
et des nouvelles possibilités d'accès aux statistiques simples à l'aide d'un outil d'analyse
automatisée. Finalement, il est un atout principal de ce système qu'il est hautement
dynamique et donc facile à adapter à d'autres contextes – en d'autres langues
notamment – sans que des connaissances majeures en informatique soient nécessaires.
Le présent document a pour objectif l'accompagnement et la documentation de ce
système de suivi évaluation et ne constitue pas un manuel complet pour sa mise en
œuvre. Il existe des sources d'informations offrant une vue plus globale sur le domaine et
dont la lecture est hautement conseillée. Il s'agit notamment du Manuel pour les Études
de traçabilité1 conçu par HELVETAS Swiss Intercooperation et du Manuel d'études
rétrospectives de suivi2 élaboré par l'Organisation Internationale de Travail (OIT).
Dans cet esprit, sont d'abord présentés les concepts méthodologiques aussi bien
généraux que particuliers au système adapté à la formation professionnelle béninoise
(Chapitre 2). Le chapitre suivant s'adresse aux utilisateurs des outils de collecte, de
saisie et d'analyse des données et permet un aperçu desdits outils ainsi que les
définitions principales de contenu (Chapitre 3). Dans ce qui suit sont expliqués les
aspects fondamentaux de gestion du système aussi bien que les principales possibilités
d'adaptation (Chapitre 4). Finalement, sont donnés des contours d'un dispositif
organisationnel et les principales indications à prendre en compte pour la mise en œuvre
sur le terrain (Chapitre 5).
1
2
Disponible en français sur :
https://assets.helvetas.ch/downloads/tracer_study_manual_low_resolution_french.pdf
Disponible seulement en anglais sur :
www.ilo.org/ipec/programme/Designandevaluation/ImpactAssessment/tracer-studies/lang--fr/index.htm
2
2. Concept méthodologique
2.1 Objectifs principaux
Les objectifs principaux du concept méthodologique du présent système sont de
•
permettre un suivi systématique des activités de formation professionnelle et
l'élaboration des principales statistiques caractérisant ce secteur
•
caractériser systématiquement les apprenant-e-s3 et assurer ainsi le flux
d'information de la base aux acteurs plus éloignés de la mise en œuvre des
formations
•
évaluer les activités de formation en tenant compte du point de vue des
apprenant-e-s
•
permettre une analyse des effets et impacts des formations professionnelles
2.2 Indicateurs – Qu'est-ce qui est recherché ?
La présente méthodologie est conçue pour relever de l'information sur un certain nombre
d'indicateurs qui constituent donc son contenu. Les items qui figurent sous forme de
question dans les outils de collecte, suivent majoritairement la logique des indicateurs
présentés très brièvement ci-dessous.
3
•
Caractérisation des apprenant-e-s : Qui sont les apprenants ? De quel milieu
social viennent-ils ? Pourquoi suivent-ils cette formation ? Qu'en est-il avec l'accès à
la formation ? (etc.)
•
Aspect quantitatif de la formation : Combien d'apprenantes suivent une certaine
formation, dans quel métier, dans quelle région ou dans quel centre de formation ?
Combien d'apprenantes achèvent leur formation ? (etc.)
•
Circonstances d'abandon : Quels sont les apprenants qui abandonnent leur
formation ? Pour quelles raisons et sous quelles circonstances ? (etc.)
•
Qualité de la formation : Comment les apprenantes évaluent-elles
rétrospectivement leur formation ? Comment ont-elles apprécié le cadre, les cours
ou le travail des enseignantes ? (etc.)
•
Transition vers l'(auto-)emploi : Quelles sont les difficultés qui prédominent au
cours de la transition vers l'(auto-)emploi ? Quels sont les moyens qu'utilisent les
diplômés et quels sont les appuis qu'ils reçoivent au cours de cette période ? Pour
combien de temps se trouvent-ils dans cette période de transition ? (etc.)
•
Quantité d'(auto-)emploi : Combien de diplômées s'auto-emploient ou trouvent un
emploi après l'achèvement de leur formation et dans quel domaine ? (etc.)
•
Qualité d'(auto-)emploi : Sous quelles conditions travaillent les diplômés ?
Comment se caractérise leur activité ou entreprise et à quel niveau peut-on évaluer
leur salaire ? Quelles sont les perspectives de leur activité professionnelle ? (etc.)
Dans le présent document, toujours la forme féminine et la forme masculine sont concernées en parlant des
personnes. Cela est parfois exprimé par des tiret (ex. apprenant-e-s), parfois en alternant les formes masculines et féminines.
3
•
Pertinence de la formation : Comment les diplômés évaluent-ils la pertinence des
connaissances et compétences acquises au cours de la formation pour leur vie
professionnelle ? Quelles sont les exigences et attentes des employeurs ou clients,
quelle est leur appréciation des formations offertes ? (etc.)
•
Conditions de vie : Dans quelles conditions vivent les diplômées après
l'achèvement de leur formation ? Leur activité professionnelle leur permet-elle de
subvenir aux besoins quotidiens ? La formation a-t-elle pu initier des changements ?
(etc.)
•
Migration : Dans quelle mesure les diplômés sont-ils mobile au niveau national et
international ? Quelle activité exercent-ils dans leur destination ? (etc.)
•
Réplication : Les compétences et connaissances sont-elles diffusées ? Dans quelle
mesure les formations arrivent-elles à impliquer les individus qui en ont besoin ?
(etc.)
•
Groupes vulnérables : Comment diffèrent les indicateurs selon l'appartenance
d'une personne à un certain groupe sociale ? Quelles sont les différences entre les
sexes ? Quelle est l'influence de l'éducation scolaire ? (etc.)
2.3 Approche méthodique – Quelles sont les méthodes appliquées ?
2.3.1 Principes méthodiques
Afin de permettre un suivi systématique et régulier des apprenant-e-s, le système se sert
des méthodes quantitatives de la recherche sociale. Il s'agit concrètement de
questionnaires standardisés qui servent comme guide d'entretien et qui assurent une
certaine comparabilité des données et résultats aussi bien temporelle que géographique.
En outre, cette approche permet une analyse automatisée et facilite l'élaboration de
statistiques.
Mais il faut noter aussitôt les limites de ces méthodes. Elles n'arrivent à capter qu'une
partie de la réalité puisque la standardisation impose une certaine compréhension de
cette dernière. Ainsi, des points de vue incompatibles avec une telle compréhension sont
d'avance exclus de l'analyse. Il est donc hautement conseillé d'appliquer, en parallèle,
des méthodes qualitatives qui permettent de tenir compte de la diversité des différentes
réalités et d'adapter éventuellement les méthodes standardisées selon les résultats
obtenus. En suivant systématiquement tous les apprenants, le présent système établie
une bonne base pour des études approfondies de certaines cibles ou domaines.
2.3.2 Approche de traçabilité
Une particularité de la présente méthodologie de suivi évaluation constitue, entre autre,
en l'adoption d'une approche de traçabilité. Comme évoqué dans l'introduction, ce thème
bien qu'important et pertinent ne peut être présenté ici que dans ses grandes linges. L'on
peut trouver plus d'informations dans les documents mentionnés également dans
l'introduction.
Comme le mot traçabilité l'indique, une telle approche implique l'activité de tracer,
autrement dit de suivre ou remonter les développements dans la vie d'une personne à
partir d'un certain moment, dans notre cas l'achèvement d'une formation professionnelle.
Cette activité implique notamment une traçabilité spatial, autrement dit l'activité de
4
localiser et retrouver (physiquement) une personne un certain temps après la fin de la
formation.
Ainsi, les caractéristiques principales d'une approche de traçabilité dans le contexte des
formations professionnelles peuvent être résumées comme suit :
i
•
L'étude est focalisée sur l'apprenant-e et ses rapports avec la formation concernée.
•
L'intérêt final de l'étude est consacré aux effets d'une formation professionnelle.
•
L'approche implique un point de vue rétrospectif de l'apprenant-e.
•
L'apprenant-e doit être localisé-e et (physiquement) retrouvé-e.
Exemple : Un adolescent a commencé un apprentissage comme menuisier en 2009.
Après trois ans il achève sa formation en 2012 avec un diplôme de fin d'apprentissage et continue sa vie professionnelle en tant que menuisier. En 2014 une enquêtrice le retrouve à la maison. Elle lui pose des questions par rapport à sa situation actuelle et en ce qui concerne les deux années depuis l'achèvement de sa formation en
2012. Elle veut savoir comment la formation a influencé sa vie et ce qu'il pense rétrospectivement de son apprentissage.
2.4 Structure du système – Comment est conçu le système méthodique ?
2.4.1 Structure modulaire
Afin d'adapter la méthodologie aux réalités du terrain et pour permettre aux différents
acteurs d'adopter cette approche, elle a été conçue sous forme d'une structure
modulaire. Les différents modules peuvent être appliqués en fonction des intérêts et
ressources de l'acteur concerné. Il existe, pour le moment, cinq modules qui peuvent être
complétés si cela s'avère nécessaire.
Le tableau suivant donne un aperçu des modules et leurs principales caractéristiques :
5
Module
Cible
Charge financière
Description
100 % des
• Aspect quantitatif de la
apprenant-e-s formation
(obligatoire) • Circonstances d'abandon
• Petite
• Questionnaire court
• Entretien au lieu de
formation
• Entretien par
l'équipe de formation possible
Le Module 1 constitue la base du système. Il enregistre les principales données (biographiques) de tous les apprenants. Cet enregistrement a lieu aussi
bien au début qu'à la fin de la formation
et permet ainsi le suivi des apprenant-e-s. L'entretien peut donc être réalisé au lieu de formation et par l'équipe
sur place.
100 % des
• Caractérisation des apapprenant-e-s prenant-e-s
Module 2 : Ca- (si module
• Groupes vulnérables
ractérisation
appliqué)
• Réplication
des apprenant-e-s
• Petite
formation
• Entretien par
l'équipe de formation possible
Le Module 2 approfondie la caractérisation des apprenant-e-s entamée dans le
Module 1. La charge supplémentaire de
ce module est petite puisqu'il est appliqué dans le même contexte que le Module 1.
100 % des
• Qualité de la formation
apprenant-e-s
(si module
appliqué)
• Moyenne
formation
• Entretien par enquêteur externe
Le Module 3 sert à évaluer la formation à
la fin de cette dernière. Les apprenant-e-s peuvent donc être interviewé-e-s au lieu de formation mais il est
fortement conseillé que l'entretien soit
mené par une enquêtrice externe afin
d'assurer l'impartialité des résultats.
Échantillon
aléatoire des
apprenant-e-s
(si module
appliqué)
Transition vers l'emploi
Quantité d'(auto-)emploi
Qualité d'(auto-)emploi
Pertinence de la formation
Conditions de vie
Migration
Réplication
Groupes vulnérables
• Élevée
• Questionnaire plus
long
• Entretien dans la localité de l'enquêté-e
(traçabilité)
• Entretien par enquêtrice externe
Le Module 4 est appliqué un certain
temps (environ deux ans) après l'achèvement de la formation et les indicateurs
sont donc focalisés sur les possibles effets de cette dernière. À cause de la traçabilité des apprenant-e-s, les dépenses
en ressources humaines et financières
sont élevées. C'est la raison pour laquelle ce module n'est administré qu'à
un échantillon aléatoire des apprenant-e-s enregistré-e-s à l'aide du Module 1. Cela permet des résultats représentatifs avec des dépenses minimales.
Pour certains types de formation il est
prévu d'établir une ligne de base au début de la formation ce qui permet une
comparaison temporelle de certains indicateurs.
Échantillon
• Pertinence de la formaaléatoire des
tion
apprenant-e-s
(si module
appliqué)
• Petite
• Supplément au Module 4 (enquêteur
déjà sur place ; dépend du Module 4)
Le Module 5 peut être administré à une
cliente (auto-emploi) ou à l'employeur
(emploi) de l'apprenant-e dans le cadre
de la traçabilité (Module 4). Les informations recueillies concernent le point de
vue des clients et employeuses en tant
que « voix du marché de travail ». La
charge supplémentaire de ce module est
petite car celui-ci est administré dans le
même cadre que le Module 4.
Module 1 :
Suivi des apprenant-e-s
Module 3 :
Évaluation de
la formation
•
•
•
•
•
•
•
•
Module 4 :
Traçabilité des
apprenant-e-s
Module 5 :
Traçabilité
module supplémentaire
Indicateurs principaux
Tableau 1: Aperçu des modules
2.4.2 Collecte et saisie des données
Pour chaque apprenant-e, des informations sont recueillies respectivement deux ou trois
fois, en fonction des modules appliqués. Le moment idéal pour le premier entretien serait
6
le premier jour de la formation. Mais comme les réalités diffèrent souvent du cas idéal,
cet entretien peut être réalisé pendant les premiers jours/semaines/mois en fonction de la
durée de formation prévue. De la même façon il doit être défini par l'équipe responsable
ce qui peut être considéré comme la fin d'une formation quand le deuxième entretien a
lieu. Finalement, un troisième entretien est fait un certain temps (pour l'instant deux ans)
après l'achèvement de la formation. Il est important d'adapter cette durée aux
particularités du contexte respectif. Elle ne peut être trop longue pour permettre une
traçabilité efficace pendant qu'elle doit être suffisamment étendue pour que les éventuels
changements puissent être visibles.
Les outils méthodiques pour cette collecte de données consistent, en principe, en des
questionnaires imprimés sur papier et qui sont saisis ultérieurement à l'aide d'un outil
informatique en ligne dont l'utilisation, la gestion (chapitre 3) et l'adaptation (chapitre 4)
sont décrits ci-après. La collecte des données peut, en principe, être effectuée
directement avec cet outil de saisie si les infrastructures nécessaires sont disponibles
(ordinateur avec accès d'internet). Cependant, cela n'est conseillé que pour certains
modules (le Module 1 pour l'instant) où il s'agit d'enregistrer des données simples
(biographiques). L'utilisation d'un ordinateur au cours d'un entretien risque d'avoir une
influence négative sur l'ambiance entre enquêtrice et enquêté ce qui peut avoir des effets
involontaires sur les données recueillies.
2.4.3 Gestion et analyse des données
Les données recueillies sont enregistrées directement dans une base de données en
ligne dont la gestion est expliquée plus bas (chapitre 4). Les informations sont ainsi
disponibles constamment et il suffit d'avoir accès au site respectif pour télécharger les
données anonymisées. Cela permet aux différents acteurs intéressés de faire leurs
propres analyses selon leurs priorités et intérêts.
Pour permettre l'exploitation de cette base de données à des acteurs n'ayant pas les
ressources humaines nécessaires pour faire une analyse statistique complexe, il est
disponible un outil d'analyse standardisée. Ainsi, des centres de formation ou des
organisations locales peuvent produire régulièrement des simples statistiques
descriptives concernant leur propre champ d'intérêt (voir chapitre 3). Les modèles
d'analyse sont flexibles et peuvent être élaborés et/ou adaptés par quiconque ayant les
compétences nécessaires (voir chapitre 4).
3. Utilisation des outils
3.1 Collecte des données
3.1.1 Les différents questionnaires disponibles
La conduite d'un entretien n'est pas une tâche facile et demande du personnel bien formé
pour cette activité. Le présent document ne peut à peine effleurer cette matière et
présuppose une lectrice ou un lecteur bien instruit-e. Le but de la section suivante est
donc plutôt de donner une brève introduction aux outils à appliquer et de décrire leurs
particularités. Pour une introduction générale en ce qui concerne le travail d'un enquêteur
ou d'une enquêtrice, quelques éléments peuvent être trouvés dans les manuels
mentionnés dans l'introduction de ce document.
7
Comme mentionné plus haut, respectivement deux ou trois entretiens sont prévus avec
chaque apprenant-e (Moment d'entretien). Pour chaque entretien il y a un questionnaire
de base (en gris foncé dans le tableau) qui peut différer selon la situation. Ainsi le
questionnaire M1B sera appliqué si l'apprenant a terminé la formation et le questionnaire
M1A s'il l'a abandonnée. En plus, il y a des questionnaires complémentaires pour chaque
entretien qui sont administrés en fonction des modules appliqués. Ainsi, le questionnaire
M2 ne sera qu'administré, ensemble avec le questionnaire M1, si le Module 2 est
appliqué.
En outre, les questionnaires de traçabilité diffèrent selon le Type de Formation afin de
mieux les adapter au contexte respectif. Pour les Formations initiales (apprentissage
traditionnel, CQM ou de type dual, CQP) le questionnaire M4I est prévu et il n'y a pas un
questionnaire de ligne de base. Pour les Formations de perfectionnement ou les
Perfectionnements sans formation formelle (transformation de produits agricoles, etc.) il
est prévu une ligne de base au début de la formation et respectivement le questionnaire
M4P ou M4S est administré deux ans après cette dernière.
Le tableau suivant donne un aperçu des questionnaires disponibles :
Type de Formation
Formation initiale (CQM / CQP)
Formation de perfectionnement
Perfectionnement sans formation initiale formelle
Questionnaire M1 : Suivi début de formation
Moment d'entretien
Début de formation
Questionnaire M2 : Caractérisation des apprenant-e-s
Questionnaire M4PB : Traçabili- Questionnaire M4SB : Traçabilité ; ligne de base
té ; ligne de base
Questionnaire M1B : Suivi fin de formation
Fin de formation
Questionnaire M1A : Cas d'abandon
Questionnaire M3 : Évaluation
Questionnaire M4I : Traçabilité
Deux ans
après la formation
Questionnaire M4P : Traçabilité
Questionnaire M4S : Traçabilité
Questionnaire M4a : Questionnaire d'informateur
Questionnaire M5a : Questionnaire d'employeur
Questionnaire M5b : Questionnaire de client
Tableau 2: Aperçu des questionnaires
i
Exemple 1 : En novembre 2013, une enquêtrice reçoit l'ordre d'enregistrer les
maîtres menuisiers qui suivront une Formation de perfectionnement la semaine suivante. On lui communique qu'une enquête plus détaillée est planifiée avec cette cible.
C'est la raison pour laquelle les modules supplémentaires M2 et M4 sont appliqués.
En se préparant pour sa mission, l'enquêtrice choisit les questionnaires dont elle aura
besoin. Elle prend le questionnaire obligatoire M1 ainsi que les questionnaires complémentaires M2 et M4PB puisque les modules M2 et M4 sont appliqués, il s'agit
d'une Formation de perfectionnement et l'entretien a lieu au début de cette dernière.
8
i
Exemple 2 : En janvier 2014, un enquêteur prend rendez-vous avec une transformatrice de soja qui a suivi une formation de perfectionnement en 2012. En se préparant
pour l'entretien il choisit le questionnaire dont il aura besoin. Comme il s'agit d'une
formation de Perfectionnement sans formation formelle et l'entretien aura lieu deux
ans après la formation (traçabilité), il choisit le questionnaire M4S pour mener cet entretien.
Une version commentée des questionnaires disponibles se trouve dans l'annexe de ce
document.
3.1.2 Les principes d'utilisation des questionnaires
Les questionnaires sont conçus comme « guide d'entretien » pour les enquêteurs et
enquêtrices. Cela a plusieurs implications qui seront décrites ci-après :
•
Les questionnaires s'adressent à l'enquêteur et pas à l'enquêtée ! Il faut donc éviter
que l'enquêté puisse lire le questionnaire.
•
Les questions suivent un ordre qui est supposé être approprié pour mener un
entretien fluide et qui regroupe des thèmes similaires. Il est donc important de suivre
l'ordre des questions telles qu'elles figurent dans les questionnaires !
•
Les différentes questions recueillent de l'information pour des indicateurs précis. Il
est donc très important de poser toutes les questions relevantes ! Ce qui est
considéré comme « relevant » est décrit en détail dans la dernière section de ce
chapitre (voir 3.1.4).
•
Les questions (et les introductions aux sections) sont adressées aux enquêtés et
doivent donc être lues à haute voix ou traduites littéralement. En cas
d'incompréhension de la part de l'enquêté, l'enquêtrice est tenue de donner des
explications supplémentaires.
•
Les options de réponse, par contre, sont adressées aux enquêtrices et ne doivent
pas être lues aux enquêtés ! En fonction de la réponse donnée par l'enquêté,
l'enquêtrice choisit l'option de réponse la plus appropriée.
•
Bien que les questionnaires établissent un cadre assez restreint pour un entretien,
cela ne doit pas empêcher l'enquêtée de s'exprimer. Il faut donc éviter d'interrompre
l'enquêtée même si ce qu'elle dit n'est pas pertinent pour le questionnaire !
3.1.3 La structure d'un questionnaire
Les questionnaires présentent une structure uniforme qui est la suivante :
•
Chapeau
◦
!
Dans le chapeau se trouvent les coordonnées de l'institution et la personne
responsable pour le système de suivi-évaluation. En outre, l'on y trouve un
champ pour saisir le code de l'enquêté-e.
Le code de l'enquêté-e permet d'attribuer un questionnaire à une personne spécifique. Il est donc primordial de toujours remplir ce champ !
9
i
◦
Ce qui suit est le titre du questionnaire et un petit sommaire qui explique dans
quelles situations le questionnaire est à appliquer.
◦
Ensuite, l'on peut y trouver les aspects les plus importants à prendre en compte
avant de commencer l'entretien. Il est très important d'assurer avant chaque
entretien que ces points sont suffisamment clairs pour l'enquêté-e.
◦
Le dernier élément du chapeau est une légende qui résume la signification des
différents éléments du questionnaire qui sont décrits ci-après.
Les deux derniers éléments du chapeau ne se trouvent que dans les questionnaires
qui constituent le début d'un entretien. Il faut donc forcément commencer un entretien
par un questionnaire qui comporte ces éléments. Ainsi, le questionnaire M2 n'est à
appliquer qu'après le questionnaire M1 ou le questionnaire M3 est à appliquer seulement après le questionnaire M1B.
•
Corps : Le corps consiste en les différents éléments qui constituent le contenu du
questionnaire et qui sont décrits dans la section suivante (voir 3.1.4).
•
Fin
◦
!
Au bout de chaque questionnaire se trouve un formulaire qui permet de saisir
des informations générales sur l'entretien. Finalement, des commentaires
supplémentaires de toute sorte peuvent être notés.
Il est primordial d'y indiquer le nom (et éventuellement le numéro) de l'enquêteur / de
l'enquêtrice ainsi que le lieu et la date de l'entretien.
◦
Le pied de page contient d'un côté le numéro et de l'autre côté la version du
questionnaire ainsi que le mois et l'année de publication (ex. 02/14). En cas
d'adaptations, le code de la version est actualisé (ex. de v1.2bj à v1.3bj). Il est
donc important de vérifier s'il s'agit de la bonne version du questionnaire avant
de l'imprimer, le photocopier et l'administrer.
3.1.4 Les différents éléments d'un questionnaire
Chaque questionnaire consiste en les éléments principaux suivants qui présentent une
structure hiérarchique :
1. La section
◦
Les sections divisent les questionnaires en groupes thématiques qui sont
indiqués par le titre de la section.
◦
Une section peut avoir une introduction (en gris) qui aide à l'enquêtée à mieux
comprendre la transition d'un champ thématique à un autre. Cette introduction
doit donc être lue à l'enquêtée à haute voix et être traduite littéralement, si
nécessaire.
10
2. La question
◦
Les questions constituent l'élément de base d'un questionnaire. Chaque question
fait partie d'une section (thématique) et doit être lue à haute voix et traduite
littéralement, si nécessaire.
◦
Une question peut avoir des instructions supplémentaires (en gris et italique) qui
donnent certaines explications et précisions par rapport à la question concernée.
Elles s'adressent uniquement à l'enquêtrice et ne doivent donc pas être lues à
l'enquêté.
3. La réponse
◦
!
Chaque question a des options de réponse d'un certain type.
•
Il existe des questions fermées (à cocher) avec une seule réponse admise.
•
Il y a d'autres questions fermées qui permettent de cocher plusieurs
réponses.
•
Finalement, l'on y trouve des questions ouvertes où l'enquêteur note la
réponse à la main.
Il est primordial de noter la réponse à chaque question qui a été posée au même moment que la réponse est donnée. Si la question n'a pas été posée (voir plus bas) ou
l'enquêtée n'a pas donné une réponse, aucune réponse ne doit être cochée / notée !
◦
Pour certaines questions il est important de noter qu’aucune réponse n'est pas
la même chose que « 0 » ! Si l'enquêté dit, par exemple, qu'il ne connaît pas
son revenu, le champ respectif doit être laissé vide (aucune réponse) et il ne faut
dans aucun cas y noter « 0 ».
En outre, l'on y trouve des éléments qui définissent la manière de parcourir un
questionnaire :
•
La condition : Une condition peut se trouver devant chaque élément principal
(section, question ou réponse). Elle définie si l'élément qui la suit doit être appliqué
ou pas et est basée sur des réponses précédentes ou des caractéristiques de
l'enquêtée ou de la formation. Ainsi, y a-t-il, par exemple, une section qui ne
concerne que les femmes et qui est précédée par une condition « Sexe féminin ». Si
la condition est remplie (la personne enquêtée est de sexe féminin), la section est
appliquée. Dans le cas contraire, l'on continue avec la section suivante (on saute
toute la section). De la même façon l'on procède avec des questions. Si la condition
se trouve devant une question et elle n'est pas remplie, l'on saute la question et
seulement cette question !
•
Le saut : Le saut interrompt l'ordre normal d'un questionnaire. Si la condition posée
est remplie, l'on doit continuer à l'endroit indiqué. De cette façon, plusieurs sections
peuvent être sautées ou l'on peut être obligé de commencer avec un autre
questionnaire.
3.1.5 Le calcul du revenu artisan
Le revenu d'un-e enquêté-e constitue une partie intégrante de la présente méthodologie.
Il est un fort indicateur pour le bien-être matériel d'une personne ainsi que pour le succès
11
professionnel et doit donc être pris en compte pour l'identification des effets d'une
formation. Étant une catégorie importante par laquelle beaucoup d'acteurs seront
intéressés, il est en même temps difficile à évaluer dans le contexte du secteur dit
« informel ». Dans le cadre du présent système, une méthode de calcul du revenu artisan
est proposée qui, si appliquée uniformément, est censée fournir des données
suffisamment fiables et comparables. Il est important de noter que cette méthode est
conçue pour son application au cours d'un seul entretien. Les données recueillies
représentent donc plutôt une estimation du revenu réellement généré. Néanmoins,
l'application uniforme de cette méthode devrait permettre de comparer les niveaux des
revenus aussi bien dans leurs dimensions temporel et géographique qu'entre les
différents champs d'activités.
Les difficultés qui se présentent dans le contexte de l'artisanat au Bénin sont les
suivantes :
•
Le domaine professionnel et le domaine privé sont souvent difficiles à distinguer.
•
Des outils de comptabilité sont rarement utilisés.
•
Il y a une quasi absence d'un contrôle fiscal et il n'existent donc pas des données
officielles.
•
Il y a souvent des fortes fluctuations « saisonnières ».
Face à ces difficultés la méthode présentée propose une approche que l'on pourrait
appeler « reconstituante ». Au cours d'un entretien l'on essaie, à l'aide de questions
appropriées, d'estimer ensemble avec l'enquêté-e les inconnues pertinentes du passé
récent. Par la suite, l'on extrapole les informations sur une estimation annuelle dont on
calcule la moyenne mensuelle, tout en tenant compte des changements saisonniers. L'on
reconstitue ainsi le niveau du revenu au cours des douze mois précédents sur la base
des informations données lors d'un entretien.
Les inconnues recherchées sont les suivantes :
•
Les recettes : Elles englobent tout ce qui entre dans une entreprise 4 comme moyens
financiers. Elles représentent ainsi la valeur de la production 5 entière et constituent le
chiffre d'affaire d'une entreprise simple.
•
Les dépenses : Elles comprennent tous les moyens nécessaires pour la production.
Elles prennent donc en compte les coûts liés directement à la production ainsi que
les charges qui sont dues au fonctionnement général de l'entreprise.
•
Le bénéfice (le résultat) : En soustrayant les dépenses des recettes l'on arrive au
bénéfice d'une entreprise.
•
4
5
◦
Réserves : La partie du bénéfice réinvestie dans l'entreprise est appelée
« réserves ».
◦
Dividende : La partie du bénéfice destinée au promoteur de l'entreprise est
appelée « dividende » et constitue la rémunération des capitaux de ce dernier.
Le revenu : Le revenu consiste en l'ensemble des moyens financiers et matériaux
que le promoteur obtient de son activité en tant qu'entrepreneur. Il est donc constitué
du salaire du promoteur (si celui-ci s'en fixe un) ainsi que de sa dividende.
Par « entreprise » nous entendons une unité de production de biens et/ou services destinés à la vente. Une
entreprise peut donc consister en l'activité professionnelle indépendante d'une seule personne.
Par « production » nous comprenons ici l'ensemble des biens et/ou services produits par une entreprise au
cours d'une période définie.
12
Recettes et dépenses
Lors de l'entretien il s'agira maintenant d'estimer les « recettes » et les « dépenses »
ainsi que les « réserves » ce qui permettra de calculer les inconnues restantes. Si
l'enquêté-e mène une comptabilité, ces informations peuvent facilement être retrouvées
dans les documents concernés (cahier de recettes, cahier de dépenses, etc.). L'on
prendrait donc les points des douze derniers mois et on en calculerait la moyenne. Mais
dans la plupart des cas l'enquêté-e n'aura aucun outil de comptabilité et il sera demandé
à l'enquêtrice d'estimer le revenu ensemble avec lui/elle et à l'aide de la méthode
suivante :
1. Identifier les biens et/ou services que l'enquêté-e produit et vend.
2. Identifier le prix de vente de chacun de ces bien/services.
3. Identifier les principaux coûts directs liés à la production de chacun de ces
biens/services.
4. Identifier le nombre vendu de chaque produit en saison de haute activité sur la
base du mois (ou de la semaine) le plus récent faisant partie de cette saison.
5. Identifier le nombre vendu de chaque produit en saison de basse activité sur la
base du mois (ou de la semaine) le plus récent faisant partie de cette saison.
6. Identifier les durées des saisons respectivement de haute et de basse activité.
7. Identifier les coûts indirects liés à la production et au fonctionnement de
l'entreprise sur la base de la semaine précédente.
Afin d'améliorer la fiabilité des informations obtenues, les principes suivants doivent être
respectés :
•
Comme période de référence l'on prend toujours celle la plus récente (ex. la semaine
passée, les 30 jours passés, le dernier mois de la période de fêtes la plus récente,
etc.).
•
En général, la durée de référence est le mois. Si l'enquêté-e peine à se souvenir,
cette durée peut être ramenée à la semaine (ex. : Une enquêtée ne se souvient pas
combien elle a dépensé dans son entreprise les 30 jours passés. L'on calcule donc
les dépenses de la semaine passée et les extrapole sur un mois tout en ajoutant les
factures qui sont payées mensuellement).
•
La période de référence doit toujours être une période concrète. Ainsi, lors de
l'entretien on ne parlera pas de « la saison de haute activité » mais du « dernier mois
pendant la période de ramadan passé » ou du « dernier mois pendant la période de
Noël passé », par exemple.
•
Souvent il est favorable de calculer les dépenses avant de revenir aux recettes. Cela
montrera à l'enquêté ce qu'il dépense au cours d'un mois et il sera plus ouvert de
donner les informations par rapport aux recettes.
13
!
Pour assurer l'uniformité d'application de cette méthode, des fiches de calcul doivent
être mises à la disposition des enquêteurs et enquêtrices. Cette fiche fait partie intégrale d'un questionnaire, et il est primordial qu'un exemplaire soit rempli correctement lors de chaque (!) entretien où l'on calcule le revenu. Cette procédure
permet de reconstituer le calcul rétrospectivement et elle assure en même temps
l'uniformité de la méthode de calcul. La fiche doit donc être attachée au questionnaire et doit être archivée ensemble avec ce dernier !
Les fiches commentées ainsi qu'un cas pratique sous forme d'un dialogue, d'un entretien
exemplaire se trouvent dans l'annexe de ce document. Il est important que les
enquêteurs et enquêtrices soient bien formés en l'application de cette méthode avant
d'aller sur le terrain !
Réserves
La fiche de calcul sert à calculer les recettes ainsi que les dépenses d'une entreprise.
Afin de calculer le revenu du promoteur de cette dernière il reste à calculer les
« réserves », autrement dit le montant qui est réinvesti dans l'entreprise et qui agrandira
par conséquent le capital de cette dernière. Quand un auto-employé épargne de l'argent,
il dépensera souvent une grande partie pour des fins privées ou pour des dépenses
courantes de l'entreprise (achat de matières premières, etc.). Cette partie de l'épargne ne
fait pas partie des réserves mais de la dividende ! L'enquêtrice doit donc poser des
questions supplémentaires afin de cerner ce montant.
Salaire comptabilisé
Finalement, dans les questionnaires l'on trouve l'élément « salaire comptabilisé ». Il s'agit
ici du salaire que l'auto-employé se fixe lui-même et (!) qu'il comptabilise comme
dépense. Un salaire comptabilisé réduira le bénéfice et par conséquent la dividende du
promoteur. Pour ne pas sous-estimer le revenu de ce dernier, l'on doit rajouter ce salaire
comptabilisé à la dividende. Si les informations pour le calcul du revenu proviennent de la
comptabilité de l'enquêté(e), l'enquêteur doit donc vérifier si le salaire de cette dernière
est comptabilisé. Si l'enquêtrice calcule le revenu à l'aide de la méthode présentée et
l'enquêté s'est fixé un salaire mensuel, ce salaire fixe doit être calculé comme dépense
(rubrique « Salaires ») et par la suite être considéré comme « salaire comptabilisé ».
3.1.6 Le calcul du bénéfice des transformatrices et transformateurs agroalimentaires
Au Bénin, les transformateurs et transformatrices de produits agricoles sont considérés
comme artisans et artisanes. Pourtant, leur réalité diffère souvent de celle d'autres
auto-employé-e-s. Elles ont souvent plusieurs activités génératrices de revenu (ex.
transformation de plusieurs produits, agriculture, commerce, etc.) et exercent leur métier
dans un cadre « familial » (à la maison, à côté des travaux domestiques, etc.). Dans ce
cadre, le revenu d'une personne est encore plus difficile à évaluer.
En face de cette situation, la méthode proposée dans le cadre du présent système se
contente avec le calcul du bénéfice d'une certaine activité, notamment l'activité de
formation. Par conséquent, la méthode de calcul est plus simple que celle présentée plus
haut. Néanmoins, les mêmes principes mentionnés ci-dessus sont à respecter ici. Les
fiches de calcul commentées ainsi qu'un cas pratique sous forme d'un dialogue d'un
entretien exemplaire se trouvent dans l'annexe de ce document.
14
3.1.7 L'échelle d'évaluation
Plusieurs questions demandent l'enquêté d'apprécier / d'évaluer un certain aspect à l'aide
d'une échelle d'évaluation qui attribue son jugement à une valeur numérique (« 1 » = le
plus mauvais possible ; « 5 » = le mieux possible). Entre les deux extrêmes, l'échelle
établie un spectre intermédiaire avec le « 3 » au milieu. Il est très important de visualiser
cette échelle d'évaluation lors d'un entretien. L'enquêteur doit donc toujours amener
quelques exemplaires de la fiche imprimée sur le terrain.
L'échelle d'évaluation contient plusieurs éléments graphiques :
i
•
Les chiffres vont de 1 (= valeur la plus négative) à 5 (= valeur la plus positive) où
l'écart entre deux chiffres successifs et le même pour tous les chiffres (ex. l'écart
entre 1 et 2 est le même qu'entre 3
et 4, à savoir 1).
•
Les « émoticônes » indiquent les
valeurs extrêmes (« le plus
malheureux possible » et « le plus
heureux possible ») ainsi que le
milieu (« indifférent »).
•
Les cases sont encrées (partiellement) selon leur signification (1 = vide = le plus
mauvais possible ; 3 = moitié/moitié ; 5 = plein = le mieux possible). Il est important
de noter que l'écart entre deux cases successives est le même pour toutes les
cases. Ainsi, le « 2 » constitue le milieu entre « 1 » et « 3 », et ainsi de suite.
Une stratégie qui a fait ses preuves consiste à mettre l'enquêtée dans une situation
familière. On l'explique qu'avec la case vide elle est exposée complètement au soleil.
La deuxième case lui apporte déjà un peu d'ombre et avec la troisième elle est à moitié ombragée, et ainsi de suite. Avec la cinquième case elle est complètement à
l'ombre et protégée du soleil (plus d'ombre n'est pas possible).
3.2 Saisie des données
Les explications données dans les paragraphes ci-dessous ne remplacent en aucune
sorte une instruction approfondie des personnes appliquant l'outil de saisie. Mais elles
constituent plutôt des indications pour des formatrices / formateurs et soulignent
certaines particularités de l'outil qu'il faut prendre en compte.
3.2.1 Authentification
Avant de pouvoir saisir les données recueillies, l'on doit se connecter avec le système en
ligne. Si vous suivez le lien sur le site d'accueil (www.pafpaa-suivi-evaluation.org), vous
serez demandé de vous identifier avec un nom d'utilisateur et un mot de passe. Si vous
n'avez pas encore un compte d'utilisateur, contactez le coordinateur du système qui vous
en créera un. Après la création du compte il est important que vous changiez votre mot
de passe. Pour faire cela, suivez le lien correspondant sur la page d'accueil, puis
cherchez votre nom d'utilisateur dans le tableau et cliquez sur « Éditer cet utilisateur ».
Cliquez sur « Sauvegarder » après avoir actualisé vos données pour enregistrer les
changements.
15
!
Vous avez accès à des informations sensibles et confidentielles. Par conséquent, il
est primordial que vous ne communiquiez votre mot de passe à personne !
3.2.2 Enregistrement des enquêté-e-s
En cliquant sur le lien correspondant sur la page d'accueil, vous êtes amené directement
à l'enregistrement de l'enquêté-e. Au cas où il s'agit du premier entretien avec
l'apprenant-e (au début de la formation), utilisez le formulaire prévu pour enregistrer un
nouvel enquêté. Il est très important de saisir correctement les coordonnées de la
personne puisqu'elles constituent la base pour une éventuelle traçabilité !
Si vous voulez compléter les données d'une personne déjà enregistrée (à la fin de la
formation ou au moment de traçabilité), utilisez le formulaire prévu pour la saisie du code
de l'enquêtée qui vous amènera au questionnaire.
3.2.3 Saisie des données
Les aspects suivant doivent être pris en compte en saisissant un questionnaire :
!
•
Il très est important de suivre attentivement les consignes données à chaque étape !
•
En dehors de la première page (« Introduction »), les questions devraient suivre
l'ordre des questionnaires imprimés. Il s'agit donc de simplement copier les
informations qui se trouvent déjà sur la version imprimée.
•
L'outil de saisie est divisé en plusieurs groupes de questions selon les modules
appliqués. En cliquant sur « Suivant » au bout d'une page, les données saisies sur
cette dernière sont déjà enregistrées. Néanmoins, il est primordial de toujours aller
jusqu'à la dernière page et de cliquer sur « Envoyer » pour finaliser la saisie
actuelle !
•
Si vous voulez compléter les données d'un-e enquêté-e (entretien de fin de formation
ou de traçabilité), vous devez d'abord naviguer à l'introduction en cliquant sur
« Introduction » dans « l'index des questions ». Si les modules que vous voulez
saisir ne sont pas encore activés, cochez-les tout en conservant les choix déjà faits !
Par la suite, naviguez au module nécessaire en cliquant respectivement sur
« Navigation : Fin de formation » ou « Navigation : Traçabilité » dans l'index des
questions.
Ne changez dans aucun cas les informations déjà enregistrées ! Tout changement est
enregistré et peut être remonté jusqu'à l'utilisateur l’ayant effectué.
3.2.4 Comportement en cas de problèmes
Il peut arriver que l'on rencontre des problèmes techniques avec l'outil de saisie. Par la
suite sont décrits les erreurs connues jusqu'à présent suivies par des possibles
remèdes :
16
•
Je me retrouve dans un questionnaire d'une autre personne que celle pour
laquelle je veux saisir les données.
Probablement, vous n'avez pas cliqué sur « Envoyer » lors de la saisie du
questionnaire précédent ! Allez jusqu'au bout du questionnaire affiché et cliquez
sur « Envoyer ». Par la suite, connectez-vous de nouveau.
Si le problème persiste, vous pouvez supprimer les « cookies » dans votre
navigateur web et le redémarrer. Pour plus d'informations veuillez suivre les liens
suivants en fonction du navigateur utilisé6.
•
Les questions affichées ne correspondent pas au questionnaire imprimé.
Vous avez probablement mal répondu à une question précédente. Reprenez dès
l'introduction de l'outil de saisie et vérifiez les réponses, surtout celles des
questions obligatoires.
Si le problème persiste, contactez le coordinateur / la coordinatrice du système.
•
La connexion internet a été interrompue pendant que je remplissais un
questionnaire.
Si vous cliquez sur « Suivant » pendant que votre ordinateur est déconnecté de
l'internet, votre navigateur web vous enverra une erreur tout en conservant les
données dans sa mémoire. Sur la page affichée par le navigateur vous aurez la
possibilité de « Réessayer » la connexion et de « Renvoyer » les données
saisies. Ne fermez donc pas la fenêtre / l'onglet du navigateur et continuez
seulement quand la connexion est rétablie.
•
Les années que je peux choisir dans le calendrier sont limitées.
Les années affichées dans le calendrier s'étendent de 10 ans avant jusqu'à 10
ans après l'année actuellement choisie. Choisissez donc une année plus
ancienne pour aller plus loin dans le passé.
•
J'ai choisi un centre de formation, mais le menu déroulant ne l'affiche pas.
Cela est une petite erreur dans l'outil de saisie. L'information est bien saisie mais
elle n'est pas affichée correctement. Vous pouvez donc continuer sans soucis.
3.3 Gestion de la base de données
L'enregistrement des données ainsi que la gestion de ces dernières sont assurés par un
outil de sondage en ligne s’appelant limesurvey. Ci-dessous seront décrits quelques
aspects clés pour la gestion de ce dernier. Le travail de coordination de ce système
nécessite une connaissance approfondie de l'outil que l'on peut s'approprier, entre autre,
en étudiant la documentation de limesurvey7. Il est conseillé de d'abord se familiariser
avec un « outil d'apprentissage »8.
6
7
8
Mozilla Firefox : https://support.mozilla.org/fr/kb/effacer-cookies-supprimer-infos-sites-enregistrees
Microsoft Internet Explorer :
http://windows.microsoft.com/fr-fr/internet-explorer/delete-manage-cookies#ie=ie-11
Google Chrome : https://support.google.com/chrome/answer/95647
Opera : http://help.opera.com/Windows/10.20/fr/cookies.html
Apple Safari : http://support.apple.com/kb/HT1677?viewlocale=fr_FR&locale=fr_FR
Limesurvey est très bien documenté en anglais. L'on peut trouver sa documentation sous :
http://manual.limesurvey.org/LimeSurvey_Manual. Certains éléments sont traduits en français et se trouvent
sur : http://manual.limesurvey.org/LimeSurvey_Manual/fr
Un compte de teste gratuit peut être crée sur :
17
3.3.1 Gestion des utilisateurs
Chaque personne voulant travailler avec l'outil de saisie ou avoir accès aux données
enregistrées a besoin d'un compte utilisateur. Limesurvey dispose d'une fonction de
permissions sophistiqué qui permet de régler en détail l'accès aux différentes parties du
système. Par la suite sera décrit le dispositif de permissions proposé pour le présent
système de suivi-évaluation. Les explications présupposent un lecteur qui soit déjà
familiarisé avec le système de permissions de limesurvey9.
En principe, les permissions sont réglées à deux niveaux :
•
Les permissions globales sont définies pour chaque utilisateur et règlent
notamment les droits de créer et modifier des utilisateurs, des groupes d'utilisateurs
et des questionnaires.
•
Les permissions du questionnaire sont définies au niveau de chaque
questionnaire. Elles règlent ainsi l'accès des différents utilisateurs à un
questionnaire spécifique. Entre autre, l'on peut y accorder la permission de modifier
le questionnaire, d'accéder aux coordonnées des enquêté-e-s et d'enregistrer
(saisie) et/ou télécharger (analyse) des données.
Dans le tableau suivant sont décrits les différents types d'utilisateur ensemble avec leur
rôle dans le système ainsi que leurs permissions dans limesurvey.
Type d'utilisateur
Rôle
Permissions questionnaires10
Permissions globales
Administrateur
Gestion de toute la plate-forme
limesurvey (plusieurs projets)
• Super-administrateur (toutes)
• Automatiquement accordées
Administrateur
projet
Gestion d'un projet de suivi-éva- • Groupes d'utilisateurs (toutes)
luation
• Questionnaires (toutes)
• Utilisateur(s) (toutes)
• Automatiquement accordées
Coordinateur11
Coordination locale des activités • Utilisateur(s) (toutes)
de suivi-évaluation
• Gestion de comptes d'enquêteur et d'analyste
• Gestion des invitations sous sa
responsabilité
• Gestion de l'enregistrement
des données sous sa responsabilité
• Contrôle de qualité des données sous sa responsabilité
•
•
•
•
•
Invitations (toutes)
Réponses (toutes)
Statistiques (toutes)
Évaluation (toutes)
Sécurité du questionnaire
(toutes)
https://www.limeservice.com/en/component/comprofiler/registers (L'enregistrement doit être fait en anglais
mais l'outil sera disponible aussi en français.). En outre, une version peut être installé localement sur un ordinateur (choisissez la version XAMPP sur : http://www.limesurvey.org/en/stable-release)
9 Pour plus d'information, veuillez consulter : http://manual.limesurvey.org/Manage_users/fr
10 Le présent système de suivi-évaluation consiste en deux questionnaires de limesurvey. Le questionnaire de
suivi ne sert qu'à actualiser les coordonnées des enquêté-e-s à la fin de la formation. Pour la saisie de toute
autre information, le questionnaire principal est utilisé.
11 Ce type doit être défini comme groupe d'utilisateur et chaque utilisateur doit être ajouté au groupe concerné
lors de sa création. Les permissions sont définies au niveau des deux questionnaires (principal et suivi).
18
Type d'utilisateur
Rôle
Permissions questionnaires12
Permissions globales
Enquêteur13
Enregistrement des données
• Aucune
• Réponses (créer seulement !)
Analyste14
Téléchargement des données
anonymisées
• Aucune
• Réponses (exporter seulement !)
Tableau 3: Configuration des utilisateurs Limesurvey
Pour créer un nouvel utilisateur, procédez de la manière suivante :
1. Allez au menu « Gérer les administrateurs de questionnaire » ( ) dans la section
« Administration », remplissez les données nécessaires (nom d'utilisateur, adresse
e-mail, nom complet) et cliquez sur « Ajouter un utilisateur ».
2. Cliquez sur « Définir des permissions pour l'utilisateur », définissez les permissions
en fonction du type d'utilisateur (voir tableau plus haut) et cliquez sur
« Sauvegarder ».
3. Cliquez sur « Éditer cet utilisateur » (
« Sauvegarder ».
), changez le mot de passe et cliquez sur
→ Si vous voulez ajouter plusieurs utilisateurs, répétez les étapes 1 – 3 pour
chaque utilisateur et procédez ensuite aux étapes 4 et 5 pour ajouter en une fois les
utilisateurs crées.
4. Cliquez sur « Créer/modifier les groupes d'utilisateurs » (
) dans la section
« Administration » et choisissez le groupe en fonction du type d'utilisateur.
Choisissez l'utilisateur que vous venez de créer et cliquez sur « Ajouter un
utilisateur ».
5. Allez au(x) questionnaire(s) concerné(s) et cliquez sur « Permissions du
questionnaire » ( ) dans le menu « Propriété du questionnaire » ( ) (section
« Questionnaire »). Choisissez le groupe concerné et cliquez sur « Ajouter un
groupe d'utilisateurs ». Cliquez sur « Définir les droits du questionnaire », définissez
les permissions en fonction du type d'utilisateur (voir tableau plus haut) et cliquez
sur « Sauvegarder ».
i
Les administrateurs de projet ont besoin des permissions respectives pour les « modèles » (templates) afin de pouvoir paramétrer leurs questionnaires. Réglez l'accès
aux modèles dans la catégorie prévue dans le gestionnaire des utilisateurs ( ).
12 Le présent système de suivi-évaluation consiste en deux questionnaires de limesurvey. Le questionnaire de
suivi ne sert qu'à actualiser les coordonnées des enquêté-e-s à la fin de la formation. Pour la saisie de toute
autre information, le questionnaire principal est utilisé.
lors de sa création. Les permissions seront ensuite définies au niveau des deux questionnaires (principal
et suivi).
lors de sa création. Les permissions seront ensuite définies au niveau du questionnaire principal seulement.
19
i
Afin de pouvoir restreindre l'accès à un questionnaire aux utilisateurs enregistrés
avec les permissions respectives (enquêteur), une extension pour Limesurvey a été
développée lors de l'élaboration de la présent méthodologie. Pour activer la restriction
d'accès, veuillez activer la fonction « Permettre l'enregistrement public ? » (voir chapitre 4.3.5). Pour plus d'informations en ce qui concerne l'extension veuillez consulter
le site internet www.pafpaa-suivi-evaluation.org.
3.3.2 Gestion des invitations (= enquêté-e-s)
Limesurvey dispose d'un système de gestion d'invitations (token en anglais) pour accéder
à un questionnaire. Si ce dernier est paramétré correctement, il permet l'attribution des
réponses à une personne spécifique. Chaque invitation correspond donc à une personne
enquêtée identifiable par son code (token) qui lui est attribué lors de son enregistrement
au système. Les coordonnées d'un-e enquêté-e sont sauvegardées dans les « Attributs
des invitations » et ne sont ainsi qu'accessible à des utilisateurs ayant la permission
spécifique (administrateurs, coordinateurs). Les données d'un questionnaire saisi à l'aide
de limesurvey sont attribuées à une invitation et sont accessible à un public plus large
ayant les permissions nécessaires (analystes). Ainsi, les analystes peuvent télécharger
l'ensemble des données enregistrées sans pouvoir attribuer les informations à une
personne spécifique (données anonymisées).
Création des invitations
Il y a plusieurs méthodes pour créer une invitation. Le plus souvent, ce sera un
enquêteur qui la créera lors de l'enregistrement de l'enquêté-e, avant de saisir les
données du premier entretien. Mais les coordinateurs et administrateurs ont aussi la
possibilité d'ajouter des invitations dans le menu « Gestion des invitations » ( ). Ainsi,
les enquêté-e-s peuvent également être enregistré-e-s au niveau de la coordination du
système qui communiquera les codes respectifs aux enquêteurs.
Accès au questionnaire
Dans le présent système, plusieurs entretiens sont prévus avec chaque enquêté-e (voir
2.4.2). C'est la raison pour laquelle les informations d'une personne enregistrée dans
limesurvey seront complétées à plusieurs reprises. En entrant le code respectif au champ
prévu sur la page d'accueil, un enquêteur a la possibilité de modifier le questionnaire de
limesurvey et d'ainsi compléter les données. Pour éviter des manipulations indésirables
les coordinateurs peuvent restreindre l'accès aux questionnaires en définissant une date
de validité pour chaque invitation. Dans le gestionnaire des invitations l'on trouve les
colonnes « Valide à partir du » et « Valide jusqu'au ». En définissant ces deux attributs
pour l'invitation concernée, l'on peut restreindre l'accès au questionnaire correspondant à
cette invitation à la période désirée. Pour empêcher les enquêteurs de changer les
données, il suffit donc de simplement choisir une date au passé dans la colonne « Valide
jusqu'au ».
Pour éviter des erreurs, les questionnaires doivent être fermés par le coordinateur en
appliquant la méthode décrite ci-dessus (Valide jusqu'au *une date passée*), une fois que
le dernier entretien a été fait (fin de formation ou traçabilité).
Exploitation des invitations
Les personnes ayant la permission nécessaire (administrateurs et coordinateurs) peuvent
exploiter les informations enregistrées dans les attributs des invitations. Ils ont ainsi
20
accès aux coordonnées des enquêté-e-s, nécessaires pour piloter les activités sur le
terrain, notamment la traçabilité. Les informations peuvent être exportées dans le menu
« Exporter les résultats dans une application » ( ) qui se trouve sous « Réponses et
statistiques » ( ). Dans la section « Contrôle des invitations » les attributs des
invitations peuvent être choisis et être exportés ensemble avec certains items choisis
sous « Contrôle des colonnes ».
Ainsi, un coordinateur peut, par exemple, exporter les coordonnées de tout-e-s les
enquêté-e-s ensemble avec la colonne « Commune de formation » et « Fin de la
formation ». Ces informations peuvent être exportées, entre autre, en Excel (voir chapitre
3.4) où elles seront filtrées selon l'année et la commune en question 15. Sur la base des
enquêté-e-s ainsi choisi-e-s, un échantillon aléatoire peut être tiré 16.
!
Les coordonnées des enquêté-e-s sont des informations sensibles ! Si vous avez les
permissions vous donnant accès aux invitations, assurez-vous de n'exporter que les
informations que vous voulez effectivement exporter !
Actualisation des coordonnées
Lors du deuxième entretien, en fin de formation, l'enquêté-e est tenu-e d'indiquer ses
nouvelles cordonnées. Cette actualisation est primordiale afin de faciliter la traçabilité
ultérieurement. Le questionnaire principal dans Limesurvey contient un groupe de
questions (« Actualisation des coordonnées de l'enquêté-e ») qui sert à enregistrer les
coordonnées actualisées. Dans ce groupe sera affichée une fenêtre « i-frame » qui
permet l'accès à un questionnaire auxiliaire prévu pour cet objectif. Pour accéder aux
coordonnées des enquêté-e-s, les administrateurs et coordinateurs doivent donc tenir
compte des deux sources (invitations du questionnaire principal ET questionnaire
auxiliaire) afin d'avoir les informations les plus récentes. Ces dernières sont identifiables
clairement par le code de chaque enquêté-e17.
!
Le questionnaire auxiliaire doit être ouvert. Évitez donc de « Basculer en mode Accès restreint » ou de créer un tableau d'invitations !
L'accès au questionnaire auxiliaire doit à tout moment être restreint aux administrateurs et coordinateurs !
Gestion des attributs des invitations (
)
Les attributs des invitations sont variables et peuvent être modifiés par les utilisateurs
ayant les permissions nécessaires (coordinateurs et administrateurs). Néanmoins, cela
est à éviter à moins qu'il ne soit absolument nécessaire ! Évitez en tout état de cause de
supprimer des attributs ou les informations enregistrées seront perdues !
La permission de modifier les attributs des invitations peut être retirée à une personne en
lui enlevant la permission de « Mettre à jour » les invitations.
15 L'application de filtres automatiques en Excel est expliquée sous :
http://www.microsoft.com/france/pme/conseils/fiches-pratiques/excel-filtrer-donnees.aspx
16 Une méthode pour tirer un échantillon aléatoire en Excel est décrite dans le document suivant sur la page
11 : http://www.bfs.admin.ch/bfs/portal/fr/index/news/publikationen.Document.61938.pdf
17 Une instruction peut être téléchargé sur www.pafpaa-suivi-evaluation.org.
21
3.3.3 Gestion des options de réponses
Pendant qu'un questionnaire de limesurvey est actif, des questions ne peuvent être ni
crées ni supprimées. Néanmoins, des changements moins radicaux peuvent être
effectués même si la saisie des données est en cours. Ainsi, des fautes de frappe (etc.)
peuvent être corrigées.
Certaines questions fermées (avec une liste exhaustive de réponses possibles) peuvent
changer leur contenu au cours du temps. Ainsi, la question « Centre de formation » force
l'enquêteur de choisir parmi les centres enregistrés dans le système alors que des
nouveaux seront peut-être crées ou d'autres auront été oubliés. C'est la raison pour
laquelle les options de réponses des questions concernées (M1A6b) doivent être
régulièrement mises à jour par l'administrateur.
!
Ne supprimez jamais une option de réponse qui a déjà été utilisée auparavant ! Si
vous ajoutez une option de réponse, choisissez son code selon la hiérarchie définie
(ex. le premier caractère du code des centres de formation (M1A6b) désigne le département où se trouve le centre concerné et est suivi par son numéro). Pour plus
d'informations voir chapitre 4.3.
3.3.4 Gestion des données
Les données enregistrées seront exploitées par plusieurs personnes (analystes),
notamment à l'aide d'un outil d'analyse automatisé (voir chapitre 3.4). C'est la raison pour
laquelle il est très important qu'elles soient contrôlées régulièrement par les personnes
responsables (coordinateurs et administrateurs) afin d'assurer la qualité des analyses qui
se basent sur elles. Il semble donc indispensable d'analyser régulièrement les données
récemment saisies, d'identifier des éventuelles fautes et de les corriger directement dans
la base de données.
Pour leur analyse, les données peuvent être exportées et exploitées par des différents
logiciels de traitement et d'analyse de données (SPSS, R, STATA, Excel, etc.). Pour
trouver les données d'un-e enquêté-e spécifique dans limesurvey, procédez de la façon
suivante :
1. Allez au gestionnaire des invitations (
) et affichez les invitations (
).
2. Le champ « Filtré par » vous permet de rechercher une personne par son nom, son
code, son adresse, etc.
3. Après avoir trouvé l'invitation en question, cliquez sur « Voir le détail de la
réponse » ( ).
4. Cliquez sur « Éditer cette réponse » (
« Sauvegarder ».
), effectuez les changements et cliquez sur
3.3.5 Sauvegarder les questionnaires
Malgré les systèmes de sécurité dont dispose Limesurvey, il est fortement conseillé de
faire régulièrement des copies de sauvegarde des questionnaires entiers. Cela permet à
tout moment de restaurer les données au cas où il y a eu des manipulations indésirables.
Dans Limesurvey un questionnaire entier peut être exporté très facilement en cliquant sur
« Exporter ... Archive de questionnaire (.lsa) » ( ) dans le menu « Affichage / Export » (
22
) qui se trouve dans la section « Questionnaire ». Sauvegardez les fichiers dans un
endroit commun et sécurisé.
!
Les fichiers contiennent toutes les informations enregistrées dans la base de données, y incluses les coordonnées des enquêté-e-s qui sont des informations sensibles !
Pour restaurer un questionnaire, il suffit d'importer le fichier crée. Cliquez sur « Créer,
importer ou copier un questionnaire » ( ) dans la section « Administration » et allez à
l'onglet « Importer ». Choisissez le fichier que vous voulez importer et cliquez sur
« Importer un questionnaire ». De la même façon vous pouvez migrer un questionnaire
entier d'un hébergeur web à un autre.
3.4 Analyse des données
3.4.1 Accès aux données
Le présent système permet une grande variété de différentes possibilités d'analyse. Les
données anonymisées peuvent facilement être téléchargées à tout moment et en des
formats compatibles avec tous les outils de traitement et d'analyse courants. Pour avoir
accès à la base de données, un compte utilisateur du type analyste doit être crée (voir
chapitre 3.3.1). Son accès au système est restreint à l'export (téléchargement) des
données anonymisées et peut donc être accordé à un public plus large.
Pour télécharger les données, procédez de la manière suivante :
1. Connectez-vous avec votre nom d'utilisateur et votre mot de passe
2. Choisissez le questionnaire concerné dans la liste (
3. Allez au menu « Réponses & statistiques » (
)
)
4. Choisissez une des possibilités d'exportations de données :
◦
export en les formats (CSV, Excel, PDF, etc.) ainsi que les logiciels statistiques
les plus courants (STATA, R, etc.) ( )
◦
export pour le logiciel statistique SPSS (
)
5. Configurez le format d'export selon vos besoins. Pour l'analyse automatisée, les
données doivent être formatées de la manière suivante :
1. Choisissez le menu « Exporter les résultats dans une application » (
)
2. Comme « Format » choisissez « CSV »
3. Comme « En-têtes » vous choisissez « Code de la question »
4. Comme « Réponses » vous choisissez « Codes de réponses » et « Convertir Y
en 1 » et « Convertir N en 2 »
5. Ensuite, vous pouvez choisir les colonnes (= questions / items) que vous voulez
exporter. Par défaut, toutes les colonnes sont choisies.
6. Cliquez sur « Exporter les données »
23
i
L'export pour Excel ne permet d'exporter que 255 colonnes. Pour exporter des données, utilisez le format CSV et importez le ficher (*.csv) en Excel 18. Si vous utilisez
LibreOffice / OpenOffice, vous pouvez ouvrir le fichier CSV directement.
Pour l'analyse automatisée vous devez encore exporter la syntaxe SPSS qui définira
les étiquettes. Pour faire cela, procédez de la façon suivante :
1. Cliquez sur « Exporter les résultats dans un fichier de commande SPSS/PASW » (
)
2. Cliquez sur « Syntaxe de l'export » et enregistrez le fichier
3.4.2 Analyse automatisée
Pour l'analyse automatisée, l'outil SOFA Statistics19 est employé. Afin de permettre
l'accès à l'analyse aux acteurs n'ayant pas les ressources humaines nécessaires pour
des analyses sophistiquées (compétences en statistique, etc.), une extension pour ce
logiciel a été développée. Elle permet à un coordinateur ou une coordinatrice de
sauvegarder les outputs crées par SOFA et de les composer en modules d'analyse
conforme à la structure du système de suivi-évaluation. Par la suite, ces modules
d'analyse peuvent être distribués aux différents acteurs concernés. Ces derniers peuvent
télécharger les données les plus récentes (voir plus haut), les importer en SOFA et
choisir les modules d'analyse qui leur ont été envoyés. Après avoir défini leur filtre
particulier (ex. analyse pour le centre X en 2014), les outputs sont automatiquement
crées sur la base des données téléchargées. Ils sont enregistrés sous forme d'images qui
peuvent être copiées directement dans des rapports, présentations ou sites internet.
Utilisation de modules d'analyse
L'outil d'analyse automatisée a besoin de trois fichiers :
•
les données actuelles dans un fichier CSV (voir chapitre 3.4.1)
•
les étiquettes actuelles dans un fichier SPS (voir chapitre 3.4.1)
•
le(s) module(s) d'analyse dans un/des fichier(s) PY. Les modules peuvent être crées
par quiconque ayant les compétences nécessaires. Les mêmes modules peuvent
être appliqués pendant plusieurs années mais ils peuvent également être adaptés
et/ou complétés. Les modules de base sont disponibles sur le site internet.
Pour mettre en exécution l'analyse automatisée, procédez de la manière suivante 20 :
1. Téléchargez les données ainsi que la syntaxe SPSS comme décrit plus haut (voir
3.4.1).
2. Utilisez la fonction d'importation de l'extension (pas celle de SOFA !) pour importer
les données et leurs étiquettes.
1. Choisissez le fichier CSV que vous venez de télécharger.
18 Une explication comment importer un fichier CSV en Microsoft Excel se trouve sur :
http://office.microsoft.com/fr-fr/excel-help/importer-ou-exporter-des-fichiers-texte-HP010342598.aspx#BMimp
ort_data_from_a_text_file_by_openi
19 SOFA Statistics est un logiciel statistique libre et peut être téléchargé gratuitement sur :
http://www.sofastatistics.com/
20 Un film d'instruction peut être regardé et/ou téléchargé sur le site www.pafpaa-suivi-evaluation.org et une instruction visuelle se trouve également sur ce site.
24
2. Choisissez le fichier SPS que vous venez de télécharger.
3. Choisissez un nouveau (!) nom pour la table où les données seront
enregistrées. Vous devrez reconnaître ce nom plus tard !
3. Ouvrez l'assistant de configuration en cliquant sur le bouton « Analyse
automatisée »
4. Sélectionnez la table que vous venez de créer en important les données et appuyez
sur « Suivant ».
5. Ajoutez le(s) module(s) d'analyse que vous aimeriez appliquer et cliquez sur
« Suivant ».
6. Définissez le filtre en fonction de vos besoins. Vous pouvez ajouter plusieurs filtres
avec la même variable et/ou avec des variables différentes. Si vous utilisez des
variables différentes, les deux filtres sont combinés (ex. si vous définissez « Centre
de formation » == « Centre X » et « Fin de formation » entre « 01/01/2013 » et
« 01/01/2014 », seulement les apprenant-e-s du Centre X qui ont terminé leur
formation en 2013 seront analysé-e-s)
1. Choisissez une variable selon laquelle vous voulez filtrer (ex. « Commune de
formation », « Fin de formation », « Centre de Formation », etc.)
2. Si la variable n'est pas une date, choisissez l'opérateur (ex. « == » si vous
voulez que la commune X soit analysée ; « <> » si vous voulez que la
commune X ne soit pas analysée).
3. Si la variable est une date, définissez la période d'analyse en indiquant une
date minimale et une date maximale (ex. les apprenant-e-s qui ont terminé leur
formation entre le 31/12/2012 et le 31/12/2013).
7. Cliquez sur « Lancer » et choisissez le dossier où vous voulez enregistrer les
outputs. Vous allez y trouver un dossier pour chaque module avec les images que
vous pouvez utiliser directement.
Création de modules d'analyse
La création de modules d'analyse automatisée présuppose d'abord une certaine maîtrise
du logiciel SOFA Statistics puisqu'en principe, elle ne consiste qu'à sauvegarder les
output que l'on crée avec SOFA. Heureusement, ce dernier est particulièrement
accessible aussi aux personnes n'étant pas des experts en informatique.
Pour commencer l'analyse avec SOFA et pour créer des modules d'analyse automatisée,
procédez de la façon suivante21 :
1. Téléchargez les données ainsi que la syntaxe SPSS comme décrit plus haut (voir
3.4.1).
2. Utilisez la fonction d'importation de l'extension (pas celle de SOFA !) pour importer
les données et leurs étiquettes.
1. Choisissez le fichier CSV que vous venez de télécharger.
2. Choisissez le fichier SPS que vous venez de télécharger.
3. Choisissez un nouveau (!) nom pour la table où les données seront
enregistrées. Vous devrez reconnaître ce nom plus tard !
21 Un film d'instruction peut être regardé et/ou téléchargé sur le site www.pafpaa-suivi-evaluation.org et une instruction visuelle se trouve également sur ce site.
25
3. Allez au menu pour créer ou mettre à jour un module d'analyse. Parallèlement,
SOFA Statistics s'ouvrira.
4. Paramétrez votre module d'analyse.
1. Définissez un nom et une description du module reflétant son contenu et étant
compréhensible pour les futurs utilisateurs.
2. Sélectionnez la table que vous venez de créer en important les données.
3. Ajoutez les variables selon lesquelles l'on pourra filtrer son analyse. Cette
fonction est importante pour ne pas en demander trop aux utilisateurs en leur
affichant des centaines de variables. Choisissez-en donc les plus importantes et
définissez leur type (ex. « Centre de formation » (Liste), « Fin de formation »
(Date), « Revenu personnel » (Numérique), « Commune de formation » (Liste),
Département (Liste), « Métier » (Liste), etc.).
!
Bien qu'il s'agisse de réduire le nombre de filtres, il est important de ne pas trop restreindre le choix ! Toutes les variables n'étant pas définies ici, ne pourront pas être employées comme filtres par les utilisateurs.
i
Ces filtres sont appliqués pour le module entier et sont mis en marche par les utilisateurs. SOFA dispose de la possibilité de définir un filtre au niveau de chaque output
(ex. seulement les femmes) sur lequel l'utilisateur n'a aucune influence. Ces deux
filtres sont automatiquement joints lors de l'application du module d'analyse.
4. Allez dans le menu de SOFA, créez vos outputs et ajoutez-les au module.
•
Pour activer les étiquettes, vous devez choisir le fichier VDTS qui a été créé
automatiquement lors de l'import des données. Il se trouve dans le dossier
« AutoAnalyse » qui lui-même se trouve dans le dossier « vdts » de SOFA.
•
Choisissez le type de l'output que vous voulez créer.
•
Choisissez un titre et éventuellement un sous-titre pour votre output.
•
Si nécessaire, définissez le filtre pour votre output.
•
Choisissez les variables sur la base desquelles vous voulez produire l'output.
L'output a été créé dès qu'il s'affiche dans SOFA.
•
Ajoutez l'output au module d'analyse en appuyant sur le bouton « Ajouter
élément ».
5. Pour terminer, enregistrez votre module. Vous pouvez maintenant diffuser le
fichier (*.py) que vous venez d'enregistrer.
De la même façon, les modules d'analyse peuvent être modifiés. En ouvrant un fichier
existant, les paramètres d'un module peuvent être changés et des éléments peuvent être
supprimés ou ajoutés. Il est fortement conseillé de tenir une version des modules
officiellement supportée par la coordination, de la mettre à jour régulièrement et de la
mettre à disposition des acteurs via le site internet. Il est particulièrement important de
mettre à jour ces modules « officiels » après des changements dans l'outil de saisie (ex.
si vous ajoutez un nouveau métier ou un nouveau centre de formation ; voir chapitre
3.3.3).
26
4. Adaptation des outils
4.1 Remarques préliminaires
Le présent système avec ses différents outils de collecte, de saisie et d'analyse est conçu
pour son adaptation ainsi que pour son transfert dans des contextes différents. À la base,
il ne contient que des modèles de questionnaires vides, un outil de saisie en ligne et un
outil d'analyse automatisée compatible à ce dernier. En principe, l'utilisateur peut donc
bousculer complètement le contenu du système en définissant ses propres indicateurs,
items et questions selon ses intérêts et selon le contexte dans lequel il se trouve. Sur la
base des questionnaires conçus il peut construire le questionnaire électronique de l'outil
de saisie où il peut en même temps calculer des indices, s'il le souhaite. Il s'agit après de
définir une fois pour toutes les modules d'analyse pour permettre aux utilisateurs
d'exploiter la base de données de façon automatique.
En même temps, ce système reste flexible une fois qu'il a été mise en place. Des
questions peuvent facilement être ajoutées et supprimées ou leur contenu peut être
changé, notamment pour les traduire. Malgré cette flexibilité il faudra éviter d'apporter
trop vite des modifications. Pour des raisons méthodiques il est souvent important de
maintenir les mêmes questions pendant une période étendue. Ainsi faut-il maintenir
exactement les mêmes indicateurs pour pouvoir les comparer au fil du temps. Il s'agit
donc d'être prudent en effectuant des modifications importantes.
À part ces aspects méthodiques il y a quelques principes « techniques » qu'il faudra
respecter pour assurer le fonctionnement du système :
!
• Ne changez jamais le code d'une question ! Il est le moyen d'identification d'un
item et assure la compatibilité du questionnaire jusqu'à l'analyse.
• Le contenu d'une question, par contre, peut être modifié à tout moment et sans aucune répercussion technique.
• Si vous ajoutez une question, créez un nouveau code et n'utilisez pas un code déjà
existant (d'une question supprimée, par exemple).
• Essayez de ne pas changer le type d'une question (d'une question ouverte à une
question fermée, par exemple). Bien que cela soit facile d'un point de vue technique,
il sera lié à un grand effort méthodique afin d'assurer la comparabilité des données.
4.2 Adaptation des questionnaires
Pour la conception et/ou l'adaptation des questionnaires, des modèles sont mis à la
disposition de l'utilisateur. Ils sont disponibles en version Microsoft Word (fichier
.docx/.dotx) ainsi qu'en format OpenDocument pour OpenOffice / LibreOffice22 (fichier
.odt/.ott).
22 OpenOffice et LibreOffice sont deux suites bureaucratiques libres. Ils sont comparables à Microsoft Office
mais ne sont liés à aucun coût d'achat ou d'utilisation. Ils peuvent être téléchargés respectivement sur www.libreoffice.org et www.openoffice.org.
27
Le modèle contient déjà la structure principale d'un questionnaire telle qu'elle est décrite
plus haut (voir chapitre 3.1.3). De surcroît, il contient les différents éléments d'un
questionnaire (voir chapitre 3.1.4) sous forme de tableaux23 :
•
Pour construire un questionnaire copiez simplement un élément et insérez-le
(« coller ») à l'endroit de votre choix.
•
Pour réunir deux éléments (= deux tableaux), enlevez simplement l'espace qui les
sépare.
•
Pour insérer un élément entre deux existants, séparez simplement le tableau à
l'endroit concerné (« Fractionner les cellules »), insérez le nouveau élément
(« coller ») et réunissez les tableaux (enlever les espaces).
•
Pour insérer un sous-élément (ex. une deuxième ligne d'option de réponses)
ajoutez une ligne au tableau concerné et copiez les éléments de texte nécessaires
(des champs pour cocher, par exemple).
•
Pour enlever un élément (ex. instruction d'une question, une question entière)
supprimez simplement la ou les ligne(s) concernée(s).
Les éléments de texte contenus dans les tableaux sont formatés à l'aide des styles de
texte. En copiant les éléments existants, ces styles sont déjà appliqués correctement. Si
vous voulez créer un nouveau type de questions, copiez un élément existant et
modifiez-le selon vos préférences (entre autre à l'aide des styles de texte). Vous pouvez
ensuite l'utiliser comme nouvel élément de base pour d'autres questions.
4.3 Adaptation de l'outil de saisie
Comme il a été mentionné plus haut (voir chapitre 2.4.2), l'outil de saisie (Limesurvey) est
hautement dynamique et peut être configuré selon les besoins et préférences de chaque
acteur et actrice. L'objectif de cette section n'est pas de donner une introduction, voire un
manuel, du fonctionnement de Limesurvey24 mais plutôt de décrire les particularités des
questionnaires élaborés pour le contexte du présent système de suivi-évaluation. L'on
présuppose donc, une fois de plus, une lectrice ou un lecteur familiarisé-e avec l'outil.
4.3.1 Structure générale d'un questionnaire
Un questionnaire dans Limesurvey présente toujours la même structure générale qui est
la suivante :
•
Les groupes de questions
•
Les questions des différents types25 attribuées à un groupe spécifique
•
Des sous-questions pour certains types de question (ex. choix multiples, etc.)
•
Des options de réponses pour certains types de question (ex. liste déroulante, etc.)
qui restreignent le choix de réponses à une liste exhaustive
Pour ajouter les différents éléments, utilisez simplement la fonction respective (
les groupes de questions et les questions,
pour
pour les sous-questions et options de
23 Un film d'instruction peut être regardé et/ou téléchargé sur le site www.pafpaa-suivi-evaluation.org et une instruction visuelle se trouve dans l'annexe de ce document.
24 Le manuel de Limesurvey contient, entre autre, une introduction qui facilite l'initiation au système :
http://manual.limesurvey.org/Creating_surveys_-_Introduction/fr
25 Voir : http://manual.limesurvey.org/Question_types/fr
28
réponse)26. Si vous voulez enlever une question ou un groupe de questions (
)
assurez-vous que d'autres questions et groupes de questions ne dépendent de l'élément
que vous voulez supprimer (voir chapitres 4.3.3 et 4.3.4). Dans un premier temps vous
pouvez juste cacher l'élément concerné afin de pouvoir tester le comportement du
questionnaire (définissez le filtre conditionnel comme « 0 » ; voir chapitre 4.3.3).
4.3.2 Le filtre des options de réponses
Dans certains cas, il est souhaité que le choix des options de réponses soit encore
restreint en fonction d'une question précédente. Ainsi l'on ne veut qu'afficher les
communes qui se trouvent dans le département que l'on a choisi auparavant. Cette
fonction est assurée par un « java-script » qui doit être ajouté à la question concernée.
Dans l'éditeur de la question cliquez sur « Source » et ajoutez le texte suivant en
remplaçant « CODE_ACT » par le code de la question que vous voulez filtrer et
« CODE_PARENT » par le code de la question selon laquelle vous voulez filtrer la
permière27 :
« <script type="text/javascript" charset="utf-8">selectFilterByCode({CODE_ACT.qid},
{CODE_PARENT.qid});</script> »
Afin de permettre le fonctionnement correct, les conditions suivantes doivent être
remplies :
•
Les codes des options de réponses doivent présenter une structure hiérarchique (ex.
Département 1 (A), Département 2 (B). Commune 1 dans le Département 1 (A1),
Commune 1 dans le Département 2 (B1), ainsi de suite).
•
Le « java-script » mettant en œuvre le filtre28 doit être intégré dans le modèle utilisé
par le questionnaire. Dans le module utilisé par le présent système, cette condition
est déjà remplie.
•
Le paramètre « Filtrer le HTML contre le XSS » qui se trouve dans le menu
« Paramètres généraux » ( ) sous l'onglet « Sécurité » doit être désactivé. La
plate-forme prévue pour le présent système est également déjà paramétrée
correctement.
4.3.3 Les filtres conditionnels
Chaque question et chaque groupe de questions dans Limesurvey a un attribut « Filtre
conditionnel » qui détermine si la question / le groupe de questions est affiché-e ou pas.
Les conditions se basent le plus souvent sur des questions précédentes et sont
exprimées sous forme d'équations similaires à celles en Excel. Si l'équation évalue à
« vrai » (= True = 1) la question / le groupe de questions est affiché-e. Dans le cas
contraire (« faux » = False = 0), la question n'est pas affichée et aucune valeur n’est
enregistrée dans la base de données. Limesurvey dispose d'un système d'évaluation des
expressions (« Gestionnaire d'expressions ») qui permet d'utiliser directement les codes
des questions précédentes et leurs valeurs respectives29.
26 Pour plus d'information : http://manual.limesurvey.org/LimeSurvey_Manual/fr
27 Pour plus d'information :
http://manual.limesurvey.org/Workarounds:_Manipulating_a_survey_at_runtime_using_Javascript
28 Il peut être téléchargé sous :
http://demonstration.sondages.pro/upload/templates/select_filter_citronade/selectfilter.js
29 Pour plus d'information veuillez consulter le manuel : http://manual.limesurvey.org/Expression_Manager/fr
29
i
Exemple 1 : Une première question (code : « sexe ») demande le sexe de
l'enquêté-e où le code pour masculin est « m » et le code pour féminin est « f ». Si
une deuxième question ne doit s'afficher qu'aux femmes, il suffit d'écrire l'équation
suivante dans le champ « Filtre conditionnel » : « sexe == "f" ».
i
Exemple 2 : Une première question avec le code « age » demande l'âge de
l'enquêté-e. Si l'on veut restreindre l'accès à une deuxième question aux personnes
ayant un âge supérieur à 20 ans il suffit de définir le filtre suivant : « age > 20 ».
i
Exemple 3 : Une première question avec le code « enfants » demande, si l'enquêté-e
a des enfants (oui/non). Pour n'afficher une deuxième question qu'aux personnes
ayant des enfants, il suffit de définir le filtre conditionnel suivant : « enfants == "Y" »
(Y pour Yes, N pour No).
Les conditions peuvent être jointes par des liens logiques (AND et OR). Ainsi si l'on ne
veut afficher une question qu'aux personnes sans enfants ayant l'âge supérieur à 20 ans,
il suffit de définir le filtre conditionnel suivant : « enfants == "N" AND age > 20 ».
!
Si l'on se base sur une question qui elle-même a défini un filtre conditionnel qui évalue à « faux » (= False = 0), le filtre conditionnel actuel évalue automatiquement à
« faux » à moins que le code de la question ait l'annexe « .NAOK ».
i
Un questionnaire contient une première question (sexe) qui demande le sexe de
l'enquêté-e. La deuxième question (enfants) demande, si l'enquêtée a des enfants
(elle n'est affiché qu'aux femmes : « sexe == "f"). Une troisième question doit être affichée à tous les hommes et aux femmes n'ayant pas d'enfants (les femmes avec des
enfants sont exclues). Le filtre correct sera donc le suivant : « sexe == "m" OR (sexe
== "f" AND enfants.NAOK == "N") ». Sans l'annexe .NAOK, l'équation évaluera à
« faux » pour les hommes puisque dans ce cas « enfants » sera « faux ».
4.3.4 Les équations (calcul des indices)
Le même système d'expressions (voir plus haut) peut être utilisé pour calculer des
indices sur la base de questions précédentes et enregistrer leurs valeurs dans la base de
données. Pour cette fonction il existe le type de questions « Équation » qui enregistre le
contenu du champ « Question » directement dans la base de données. Les expressions
doivent être entourées par des accolades ({EXPRESSION}).
i
Exemple : Une première question (femmes) demande le nombre de femmes dans un
groupe. La deuxième question (hommes) demande le nombre d'hommes dans le
même groupe. Dans une troisième question l'on veut calculer le total des membres
adhérant à ce groupe. Il suffit donc d'écrire l'expression suivante dans le champ
« Question » d'une question de type « Équation » : « {hommes + femmes} ».
30
Le « Gestionnaire d'expressions » dispose d'une variété de fonctions30 similaires à celles
utilisées en Excel qui permettent des calculs plus sophistiqués.
!
Puisque les expressions sont écrites directement dans le champ « Question », l'étiquette de la question ne peut pas être définie (la question dans l'exemple plus haut
aura l'étiquette « {hommes + femmes} »). Afin de donner un nom plus compréhensible et présentable aux indices, les étiquettes peuvent être définies dans l'outil d'analyse automatisée par la personne créant le module d'analyse (voir chapitre 4.4).
4.3.5 Les paramètres généraux
Afin de permettre aux enquêteurs et enquêtrices de compléter les données
respectivement après le deuxième (fin de formation) ou le troisième (traçabilité) entretien,
le questionnaire principal doit être paramétré comme décrit ci-après (« Paramètres
généraux » ( ) dans le menu « Propriétés du questionnaire » ( ) qui se trouve dans la
section « Questionnaire ») :
•
•
•
Onglet « Présentation & Navigation »
◦
Format = « Groupe par groupe »
◦
Afficher l'index des questions / autoriser les sauts = « Complètes »
Onglet « Notification & Gestion des données »
◦
Les participants peuvent-ils sauvegarder pour reprendre plus tard ? = « Non »
◦
Réponses datées ? = « Oui »
◦
Sauvegarder l'adresse IP ? = « Oui »
Onglet « Invitations »
◦
Permettre les réponses multiples ou la mise à jour de ses réponses ? = « Oui »
◦
Activer la persistance des liens réponses - invitations ? = « Oui »
◦
Permettre l'enregistrement public ? = « Oui »
En outre, l'extension pour restreindre l'accès aux questionnaires aux utilisateurs et
utilisatrices enregistré-e-s doit être installée dans la plate-forme 31.
4.3.6 Le questionnaire auxiliaire (actualisation des coordonnées)
Comme il a été décrit plus haut (voir chapitre 3.3.2), les coordonnées actualisées au
cours de l'entretien de fin de formation sont enregistrées dans un questionnaire auxiliaire.
Ce questionnaire est intégré dans le questionnaire principal sous forme de « i-frame ».
Pour permettre cette intégration, l'« i-frame » ainsi que le questionnaire auxiliaire doivent
être paramétrés correctement :
•
Définissez l'URL de l'« i-frame » en remplaçant « XXXXXX » par le code du
questionnaire auxiliaire :
« /index.php/survey/index/sid/XXXXXX/newtest/Y?token={TOKEN} »
30 Voir : http://manual.limesurvey.org/Expression_Manager/fr#Access_to_Functions
31 Cette extension a été développé spécifiquement pour ce système et peut être téléchargée sur le site internet.
31
•
Le questionnaire auxiliaire doit contenir une question de type « Zone de texte court »
avec le code « token ». En accédant le questionnaire auxiliaire par le lien décrit
ci-dessus, le code de l'enquêté-e sera automatiquement transféré à ce premier.
Il peut arriver que des données non complètes sont enregistrées dans le questionnaire
auxiliaire. La raison pour ce phénomène est le principe de Limesurvey d'enregistrer la
réponse dès que la page est chargée. En affichant ou exportant les données, le système
vous donne la possibilité de trier les réponses complètes des incomplètes.
4.3.7 Adaptation d'un questionnaire actif
Certains changements ne peuvent être effectués qu'à des questionnaires désactivés (ex.
ajouter/supprimer une question, changer le type d'une question, etc.). Pour désactiver le
questionnaire, vous devez choisir le questionnaire concerné, cliquer sur « Arrêter ce
questionnaire » ( ) et appuyer sur « Désactivez le questionnaire ». Les données ainsi
que les invitations enregistrées seront sauvegardées mais en réactivant le questionnaire,
elles ne seront pas automatiquement restaurées. Pour réactiver le questionnaire,
procédez de la manière suivante :
•
Choisissez le questionnaire concerné
•
Cliquez sur « Activer ce questionnaire » ( )
•
Cliquez sur « Sauvegarder, activer ce questionnaire » et ensuite sur « Basculer en
mode Accès restreint » (Attention : Pour le questionnaire auxiliaire il faudra choisir
« Non merci. » !)
•
Dans la section « Restaurer les options » vous avez la possibilité de choisir les
invitations qui ont été sauvegardées lors de la désactivation du questionnaire (le nom
contient la date de l'enregistrement). Choisissez les invitations les plus récentes et
cliquez sur « Restaurer »
•
Pour ré-importer les données du questionnaire désactivé, choisissez « Réponses &
Statistiques » ( ) dans le menu « Réponses » ( ) qui se trouve dans la section
« Questionnaire ». Allez à la fonction « Importer des réponses d'une table de
questionnaire désactivé » ( ), choisissez les données du questionnaire désactivé et
cliquez sur « Importation de réponses ».
4.4 Adaptation de l'outil d'analyse
La création et l'adaptation des modules d'analyse ont déjà été décrites plus haut (voir
chapitre 3.4.2). À part ces possibilités d'adaptation il se pose la question du transfert de
cet outil à d'autres contextes linguistiques. En outre, il y a quelques détails techniques qui
seront expliqués ci-après.
Traduction
Comme mentionné dans l'introduction de ce document, il est un aspect principal de ce
système d'être modifiable et transférable à d'autres contextes. Dans cet esprit, l'outil
d'analyse automatisé peut être traduit en d'autres langues. Pour plus d'information
veuillez suivre les explications dans le « readme » dans le fichier d'installation ou les
indications respectives sur le site www.pafpaa-suivi-evaluation.org.
Indications techniques
32
•
Compatibilité : L'outil d'analyse automatisée a été développé comme extension
pour SOFA Statistics version 1.4.2. La compatibilité avec des versions plus récentes
ne peut être garantie bien que des efforts considérables dans ce sens soient faits. Si
une nouvelle version de SOFA s'avère donc incompatible, l'on est obligé de retourner
à la version 1.4.2 qui doit pouvoir être téléchargée du site internet.
•
Code source : Le logiciel est écrit en langage Python, sa source est ouverte et
publiée sous la licence GPL32. Il peut donc être modifié à tout moment et par
quiconque.
•
Étiquettes des indices : Notamment il faut ajouter les étiquettes pour les indices
calculés dans Limesurvey en modifiant le fichier « spss2vdts.py » qui se trouve dans
le dossier d'installation. Au début du fichier se trouvent les indications respectives
pour pouvoir effectuer les changements (variable : « valForAccoLines »). Cette
modification n'est nécessaire que pour créer et/ou modifier des modules d'analyse.
Les étiquettes des variables sont écrites directement dans le module et l'utilisation de
ce dernier ne dépend donc pas d'elles. Il est conseillé d'élaborer une version
spécifique à un projet de suivi-évaluation, de la tenir à jour et de la mettre à la
disposition des acteurs via le site internet.
5. Dispositif organisationnel
La mise en œuvre du système présenté plus haut dépend d'un contexte à l'autre. Dans la
section suivante, sont données quelques indications pour la réalisation sur le terrain.
Elles se basent sur les expériences faites au Bénin dans le cadre de la phase de teste de
la méthodologie aux départements du Borgou, de l'Alibori et de l'Atacora en 2013 33.
5.1 Charges financières
Le tableau suivant donne un aperçu des caractéristiques principales des différents
modules en ce qui concerne leur application sur le terrain :
Moment d'entretien
Début de formation
Module
Lieu d'entretien
Temps net34
Temps brut
Saisie
Module 1
Lieu de formation
5 – 10 min
+ déplacement au lieu
de formation
5 min
Module 2
Lieu de formation
5 – 10 min
de formation
5 min
Module 4 (base)
Lieu de formation
15 – 30 min
de formation
10 min
32 http://www.gnu.org/licenses/old-licenses/gpl-2.0.fr.html
33 Une enquête étendue a été réalisée avec plusieurs cibles. Au total, un échantillon de 820 personnes a été tiré
et finalement, 646 entretiens ont été menés dont une partie des informateurs. Pour plus d'informations
veuillez vous adresse à l'équipe de coordination du programme PAFPAA.
34 À part les entretiens de traçabilité, les estimation du temps net d'un entretien sont basées sur des « pre-test »
avec un échantillon d'environ 20 personnes.
33
Moment d'entretien
Fin de formation
Traçabilité
Module
Temps net35
Lieu d'entretien
Temps brut
Saisie
Module 1
Lieu de formation / lieu d'examen
10 min
de formation
5 min
Module 3
Lieu de formation / lieu d'examen
15 min
de formation
5 min
Module 4
Localité de l'enquêté-e
50 – 60
min36
120 min37
20 min
Tableau 4: Charges financières des modules
Exemple 1 : Modules de base, formation modulaire
i
Moment d'entretien
Questionnaire
Temps
d'entretien
Saisie
Nombre
d'apprenant-e-s
Déplacement
Total
M1
7.5 min
5 min
20
120 min
370 min
M2
7.5 min
5 min
20
-
370 min
M1B
10 min
5 min
20
120 min
420 min
Début de formation
Fin de formation
Total
1160 min
La charge financière pour les modules de base (Module 1 et 2) pour une vingtaine
d'apprenant-e-s d'une formation de perfectionnement / formation modulaire est
l'équivalent d'environ 20 heures de travail, à savoir deux jours et demi.
Exemple 2 : Programme complet, formation modulaire
i
Moment d'entretien
Début de formation
Questionnaire
Temps
d'entretien
Saisie
Nombre
d'apprenant-e-s
Déplacement
Total
M1
7.5 min (net) 5 min
20
120 min
370 min
M2
7.5 min (net) 5 min
20
-
370 min
M4SB /
M4PB
25 min (net)
10 min
20
-
700 min
M1B
10 min (net)
5 min
20
120 min
420 min
M3
15 min (net)
5 min
20
-
400 min
M4S / M4P
120 min
(brut)
20 min
20
-
2800 min
Fin de formation
Traçabilité
Total
5060 min
35 À part les entretiens de traçabilité, les estimation du temps net d'un entretien sont basées sur des « pre-test »
avec un échantillon d'environ 20 personnes.
36 L'estimation du temps net d'un entretien est basée sur un échantillon de 511 entretiens de traçabilité (50 %
questionnaire M4I, 50 % questionnaire M4S).
37 L'estimation du temps brut d'un entretien de traçabilité est basée sur un échantillon de 646 enquêté-e-s aux
départements du Borgou, de l'Alibori et de l'Atacora. La répartition des questionnaires appliqués était la suivante : 40 % M4I (diplômé-e-s EFAT et CQM), 40 % M4S (transformatrices de Soja), 20 % M4a (Questionnaire d'informateur). Le temps brut contient les renseignements, le déplacement ainsi que le temps net de
l'entretien.
34
La charge financière pour tous les modules du système et pour une vingtaine d'apprenant-e-s d'une
formation de perfectionnement / formation modulaire est l'équivalent d'environ 84 heures de travail, à
savoir dix jours et demi.
i
Les données présentées ci-dessus représentent des moyennes estimées et doivent
être adaptées en tenant compte de la réalité du contexte respectif et en collaboration
avec enquêteurs et enquêtrices.
5.2 Qualité du système
L'approche d'informatisation et d'automatisation du système présenté ci-dessus ouvre
des nouvelles possibilité d'accès aux données et leur analyse et facilite nettement la mise
en échelle de la méthodologie. Mais en décentralisant le processus, elle réduit aussi le
contrôle direct des différents acteurs alimentant la base de données ce qui est d'autant
plus important que les informations enregistrées sont analysée partiellement à l'aide d'un
outil d'analyse automatisée. Par conséquent, le rôle qui revient à la formation des acteurs
et actrices alimentant la base ainsi qu'au contrôle des données enregistrées est crucial.
Formation des acteurs et actrices
Certains modules faisant partie de la présente méthodologie (surtout les Modules 1 et 2)
peuvent être appliqués aux apprenant-e-s par des personnes n'étant pas des spécialistes
en la matière. Cela permet aux acteurs de base (centres de formation, organisations
socioprofessionnelles, autorités locales, etc.) d'assumer leurs responsabilités et de jouer
leur rôle dans le système de suivi-évaluation. Mais il est indispensable que chaque
personne collectant et enregistrant des données soit suffisamment formée pour sa tâche.
D'autres modules, par contre, doivent être administrés par des enquêteurs et enquêtrices
spécialement formé-e-s pour cette tâche. Notamment l'application du Module 4
(traçabilité) nécessite une formation approfondie traitant, entre autre, les aspects
suivants :
•
Éthique de recherche : Entre autre, la signification des deux principes
fondamentales de l'éthique de la recherche (« Avant tout, ne pas nuire » et le
« Consentement éclairé ») dans le contexte concret devrait être discutée en
profondeur avec les enquêteurs et enquêtrices38.
•
Méthodologie : La méthodologie appliquée est d'une complexité élevée. Cependant,
il est primordial que les enquêteurs et enquêtrices aient une bonne compréhension
des différents aspects du système, de ses objectifs et méthodes.
•
Échelle d'évaluation : Faisant des entretiens avec des cibles déscolarisées, le rôle
qui revient à la visualisation de l'échelle d'évaluation est crucial afin de pouvoir
mesurer certains indicateurs.
•
Calcul du revenu : Pour obtenir des données fiables, les enquêteurs et enquêtrices
doivent d'abord acquérir des connaissances de base des secteurs respectifs
(artisanat et agriculture) et ensuite s'approprier la méthode de calcul du revenu. Il est
38 Un bon résumé du sujet peut être trouvé dans le manuel pour les études de traçabilité de l'OIT :
http://www.ilo.org/ipec/programme/Designandevaluation/ImpactAssessment/tracer-studies/lang--en/index.htm
« Book 1 - Methodology manual » à partir de la page 11
« Book 2 - Training manual » à partir de la page 6
35
primordial de faire suffisamment de cas pratiques pour appliquer la méthode lors
d'un entretien.
•
Traduction : Le plus souvent, les entretiens sont menés en langues locales alors
que les questionnaires sont rédigés en français. Il est donc important de consacrer
suffisamment de temps à la traduction des questionnaires en les différentes langues
parlées par les enquêteurs et enquêtrices afin de synchroniser et harmoniser la
compréhension.
•
Stratégies de traçabilité : La tâche de retrouver des enquêté-e-s spécifiques dans
leur milieu souvent n'est pas facile. Le travail de terrain doit donc être suffisamment
préparé lors de la formation39.
Les expériences lors de la phase de teste de la présente méthodologie ont montré qu'une
formation d'au moins une semaine (cinq jours) est nécessaire pour former suffisamment
enquêteurs et enquêtrices.
i
Pour assurer l'impartialité des informations, le Module 3 ne peut être administré par
l'institution étant évaluée au cours de l'entretien. Bien que ce module ne soit pas de la
même complexité que le Module 4, il doit donc être considéré de travailler avec des
enquêteurs et enquêtrices externes.
Contrôle des données
Les données étant exploitées directement depuis la base de données, il est
indispensable de contrôler régulièrement leur qualité et d'effectuer des corrections
directement dans la base. Bien que l'outil de saisie offres plusieurs moyens de contrôler
les informations lors de l'enregistrement, des analyse manuelles et approfondies doivent
régulièrement être menées pour identifier des problèmes aux différents niveaux du
système.
39 Le processus de la traçabilité est décrit, entre autre, dans le « Book 1 - Methodology manual » à partir de la
page 43
36

Manuel - PAFPAA - Suivi

Transcription

Documents pareils

Comment faire une image CD avec Blindwrite - les drivers

Quel logiciel libre utiliser pour envoyer un questionnaire

Comment créer des sous-dossiers dans un dossier personnel

100 titres en question : 1000 réponses pour donner

C o m m e n t m o d ifie r la d isp o sitio n d `u n e p age ? 1

Guide - Faire une demande d`inscription Etudes

Tutoriel d`utlisaton du modèle d`affiche

Manuel d`installation - Video Poker Game Website

Méthode Mystery

Activer.Windows.XP.SP2.fr.SMB.Edition.by.mitchou92.1 KB