traitement

TRADUIRE LA RECHERCHE EN ACTION
Evaluations aléatoires:
les risques sur la validité
Luc Behaghel
LEA-INRA PSE
J-PAL Europe
povertyactionlab.org
Plan de la semaine
1.
2.
3.
4.
5.
6.
7.
8.
Pourquoi évaluer ? Qu’est-ce qu’une évaluation ?
Comment mesurer l’impact?
Pourquoi tirer au sort?
Comment tirer au sort?
Comment déterminer la taille de l'échantillon?
Collecte des données et pièges
Les risques sur la validité
L'histoire d'une évaluation de A à Z
Après 3 jours… où en sommes-nous?
Principe de l’évaluation contrôlée:
Comparer du comparable…
… grâce à l’affectation aléatoire (tirage au sort)…
… sur des échantillons suffisants.
(Argument: si un groupe test et un groupe témoin ont été constitués
aléatoirement et s’ils sont suffisamment grands, on peut comparer
leurs résultats et attribuer la différence au traitement reçu par le
groupe test.)
povertyactionlab.org
Est-ce suffisant?
• Vous avez persuadé un décideur d’expérimenter
une politique avec affectation aléatoire et de
mesurer les résultats par une enquête sur des
échantillons suffisants.
• L’écart de résultats entre groupe test et groupe
témoin mesure-t-il toujours l’effet de la politique
qu’on souhaite évaluer?
povertyactionlab.org
Deux types de problèmes
• I: Problèmes de validité interne:
= Dans le cadre même de l’évaluation, l’écart de résultat
test – témoin ne mesure pas l’impact de la politique.
• II: Problèmes de validité externe:
= On mesure bien l’impact de la politique dans le cadre
spécifique de l’évaluation, mais on ne peut pas
généraliser: l’impact de la politique serait différent
“dans la vraie vie”.
povertyactionlab.org
Plan du cours
• Effets d'externalité
• Conformité partielle et biais de sélection
• Intention de Traitement et Traitement sur le
Traité
• Choix et Résultats
• Validité externe
• Efficacité économique
6
Exemple : Le déparasitage
• Les études précédentes tiraient au sort les
élèves qui seraient déparasités dans les écoles
– Supposons que le déparasitage empêche la
transmission de la maladie ; quels problèmes estce que cela pose pour l’évaluation ?
– Supposons que les externalités soient locales ;
comment allons-nous mesurer l’impact total ?
7
Externalities Within School
Without Externalities
School A Treated?
Outcome
Pupil 1
Yes
no worms
Pupil 2
No
worms
Pupil 3
Yes
no worms
Pupil 4
No
worms
Pupil 5
Yes
no worms
Pupil 6
No
worms
Total in Treatment with Worms
Total in Control with Worms
Treament Effect
With Externalities
Suppose, because prevalance is lower, some children are not re-infected with worms
School A
Pupil 1
Pupil 2
Pupil 3
Pupil 4
Pupil 5
Pupil 6
Treated?
Yes
No
Yes
No
Yes
No
Outcome
no worms
no worms
no worms
worms
no worms
worms
Total in Treatment with Worms
Total in Control with Worms
Treatment Effect
Comment mesurer l’impact lorsqu'il y a
diffusion?
• Prévoir l’unité de tirage au sort de telle sorte
qu’elle englobe les diffusions
• Si nous nous attendons à des externalités qui
sont toutes à l’intérieur de l’école :
– En tirant au sort au niveau de l’école, il est
possible d’estimer l’effet global
9
Mesure de l’impact total en
présence de diffusions
Ecoles du
Groupe TEST
Ecoles du
groupe
TEMOIN
EFFET DU
PROGRAMME
% d’enfants souffrant d’une
infection modérée à forte
27%
52%
-25%***
% d’enfants malades la semaine
précédant l’enquête
41%
45%
-4%**
% d’enfants souffrant d’anémie
2%
4%
-2%*
GROUPE
10
Les externalités intra-l’école
• Et si nous souhaitons mesurer les externalités ?
– Etant donné que les filles de plus de 12 ans ne
pouvaient pas être traitées, nous pouvons
comparer les filles de plus de 12 ans dans les
écoles Test aux filles de plus de 12 ans dans les
écoles Témoin.
• D’une manière plus générale, nous avons besoin de
variations aléatoires dans l’exposition à des
personnes traitées
(de même que pour l’effet du traitement il faut des
variations aléatoires dans l’exposition au traitement)
11
Plan
• Effets d'externalité
• Conformité partielle et biais de sélection
• Intention de Traitement et Traitement sur le
Traité
• Choix des Résultats
• Validité Externe
• Efficacité économique
12
Protocole d’une évaluation aléatoire
Pas incluse
dans
l’évaluation
Population
Ciblée
Echantillon
de
l’évaluation
Assignation
Aléatoire
Groupe
Test
Participants
Groupe
Témoin
NonParticipants
Défections
contamination
13
Biais de Sélection
• Un biais de sélection peut se produire si
l’affectation du programme est influencée par
d’autres facteurs que l’assignation aléatoire
– Même si l’affectation du programme était prévue
de façon aléatoire, il se peut que l’affectation
réelle ne le soit pas.
– Pourquoi ?
14
Biais de sélection
• Il est possible que les personnes affectées au groupe
Témoin tentent de passer dans le groupe Test
– les parents peuvent essayer de déplacer leurs enfants d’une
école du groupe Témoin vers une école du groupe Test
• Par ailleurs, il est possible que des personnes
affectées au groupe Test ne reçoivent pas le
programme
– certains élèves affectés au groupe Test dans les écoles Test
n’ont pas reçu les médicaments
15
Biais de sélection
• Certains élèves des écoles du groupe Test
– 78% des élèves affectés au groupe devant
recevoir le médicament ont reçu au moins une
partie du programme
• Certains élèves des écoles du groupe Témoin ont
été traités
– 5% ont reçu le médicament en dehors du
programme
• Qu’allez-vous faire ?
Biais de Sélection
• Partez de l’assignation de départ:
– Si un enfant se retrouve dans une école du
groupe Test alors qu’au départ, il était affecté au
groupe Témoin, vous devez l’affecter au groupe
Témoin lorsque vous calculez l’effet du traitement.
• Nous obtenons une estimation de l’Intention
de Traitement (ITT).
17
Plan
• Diffusions
• Conformité partielle et biais de sélection
• Intention de Traitement et Traitement sur le
Traité
• Choix de résultats
• Validité externe
• Efficacité économique
18
Intention de Traitement (ITT)
• Que mesure “l’Intention de Traitement” ?
“Que s’est-il passé pour l'enfant moyen
scolarisé dans une école du groupe Test?”
• Est-ce le chiffre que nous devons rechercher ?
• Rappelez-vous : dans le cas de l’étude du
déparasitage, nombre d’enfants dans les
écoles Test n’ont pas été traités et certains
enfants des écoles Témoin l’ont été
ITT: Un autre exemple
Design initial
L'échantillon
Autres villages
ITT: Un autre exemple
Design Initial
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T Groupe Test
L'échantillon
Autres villages
ITT: Un autre exemple
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T
T Groupe Test
Traitement
L'échantillon
autres villages
Comment mesurer l'impact ?
• Vous ne pouvez pas comparer les villages aux
villages
• Pourquoi ?
– Parce que les villages qui n’auraient pas dû être
traités mais qui ont été traités n’ont pas été
sélectionnés de manière aléatoire
– Dans certains villages, il y a des leaders
particulièrement motivés qui se font entendre. Ils
risquent d’avoir toujours de meilleurs résultats
Comment mesurer l’impact ?
• Vous ne pouvez pas comparer les villages
T
aux villages
• Pourquoi ?
– Parce que les villages qui auraient dû être traités
mais qui N’ONT PAS été traités n’ont pas été
sélectionnés de manière aléatoire.
– Il existe des villages dont les leaders sont
particulièrement négligents. Ils risquent d’avoir
toujours les plus mauvais résultats
Comment mesurer l’impact ?
• Respectez l’assignation initiale !
• Comparez les 20 villages Test initiaux aux 20 villages
Témoins initiaux
• C’est à dire :
[
T
+
T
] à [ +
]
• On obtient le facteur d’estimation ITT : “Intention de
Traitement”
Dans quels cas l’ITT est utile ?
• Peut concerner plusieurs programmes
• Par exemple, nous ne sommes peut-être pas
intéressés par l’effet médical du déparasitage
mais que se passerait-il dans le cadre d’un réel
programme de déparasitage ?
• Si les élèves sont souvent absents et par
conséquent ne reçoivent pas les médicaments
vermifuges, l’estimation de l’Intention de
Traitement peut en réalité être plus pertinente
Intention
School 1
to Treat ?
Treated?
Pupil 1
yes
yes
Pupil 2
yes
yes
Pupil 3
yes
yes
Pupil 4
yes
no
Pupil 5
yes
yes
Pupil 6
yes
no
Pupil 7
yes
no
Pupil 8
yes
yes
Pupil 9
yes
yes
Pupil 10
yes
no
Avg. Change among Treated A=
School 2
Pupil 1
no
no
Pupil 2
no
no
Pupil 3
no
yes
Pupil 4
no
no
Pupil 5
no
no
Pupil 6
no
yes
Pupil 7
no
no
Pupil 8
no
no
Pupil 9
no
no
Pupil 10
no
no
Avg. Change among Not-Treated B=
Observed
Change in
weight
4
4
4
0
4
2
0
6
6
0
2
1
3
0
0
3
0
0
0
0
A NE PAS FAIRE !
School 1:
Avg. Change among Treated
School 2:
Avg. Change among not-treated
(A)
(B)
A-B
27
De l’ITT à l’effet du
Traitement sur les Traités (TOT)
• S’il y a des fuites d’un groupe vers un autre, la
différence en termes d’impact entre Groupe
Test et Groupe Témoin est plus petite…
• Mais la différence en termes de probabilité
d’être traité est également plus petite
• Formellement, on “instrumente” la probabilité
de traitement par l’assignation de départ
28
28
Traitement sur les Traités (TOT)
• L’effet du Traitement sur les Traités:
– On suppose que les enfants qui ont reçu le
traitement ont eu un gain de poids A, qu’ils aient
été scolarisés dans une école du groupe Test ou
du Groupe Témoin
– On suppose que les enfants qui n’ont pas reçu le
traitement ont eu un gain de poids B, une fois
encore, quelle que soit l’école
– Nous voulons connaître A-B, soit la différence
entre les enfants traités et les enfants non traités
29
Traitement sur le Traité (TOT)
• Alors …
• Y(T)=A*Prob[traité|T]+B(1-Prob[traité|T])
• Y(C)=A*Prob[traité|C]+B(1-Prob[traité|C])
A-B= (Y(T)-Y(C)) / (Prob[traité|T] – Prob[traité|C])
 l’effet du "Traitement sur les Traités"
30
TOT estimator
Intention
School 1
to Treat ?
Pupil 1
yes
Pupil 2
yes
Pupil 3
yes
Pupil 4
yes
Pupil 5
yes
Pupil 6
yes
Pupil 7
yes
Pupil 8
yes
Pupil 9
yes
Pupil 10
yes
School 2
Pupil 1
Pupil 2
Pupil 3
Pupil 4
Pupil 5
Pupil 6
Pupil 7
Pupil 8
Pupil 9
Pupil 10
no
no
no
no
no
no
no
no
no
no
Treated?
yes
yes
yes
no
yes
no
no
yes
yes
no
Avg. Change Y(T)=
no
no
yes
no
no
yes
no
no
no
no
Avg. Change Y(C) =
Observed
Change in
weight
4
4
4
0
4
2
0
6
6
0
2
1
3
0
0
3
0
0
0
0
A = Gain if Treated
B = Gain if not Treated
ToT Estimator: A-B
A-B
=
Y(T)-Y(C)
Prob(Treated|T)-Prob(Treated|C)
Y(T)
Y(C)
Prob(Treated|T)
Prob(Treated|C)
Y(T)-Y(C)
Prob(Treated|T)-Prob(Treated|C)
A-B
31
TOT
• C’est la technique généralement utilisée
lorsque la conformité n’est pas parfaite, par
exemple dans un design par encouragement.
• Mais, pour le calculer, nous devons observer le
nombre de personnes traitées dans les deux
groupes :
Prob[traité|Test] – Prob[traité|Témoin]
• Cela n’est pas toujours facile...
32
TOT : attention!
• Ne PAS utiliser la technique TOT lorsque votre
« encouragement » a un effet indirect sur le
résultat et pas uniquement sur le fait que cela
entraîne les gens à demander le traitement.
• Pourquoi ?
33
Plan
• Effets d'externalité
• Conformité partielle et biais de sélection
• Intention de Traitement et Traitement sur le
Traité
• Choix de résultats
• Validité externe
• Efficacité économique
34
Résultats multiples
• Plus vous étudiez d'effets, plus vous avez de
chances d’en trouver au moins un qui est
significativement affecté par le programme.
 Rapportez les résultats de tous les effets
mesurés, y compris les résultats nuls
35
Résultats par groupe
• Utile si le programme a des effets hétérogènes
• Deux risques cependant:
– « Data mining »
– Un autre « choc » que le programme peut affecter
les personnes d’un même groupe
Rapportez les résultats pour tous les groupes
Variables de contrôle
• Que contrôler ?
– Si l'échantillonnage aléatoire est stratifié:
rajouter les effets fixes par strates
– Autres variables de contrôle
Rapporter les résultats originaux et les résultats des
régressions ajustées
Plan
• Effets d'externalité
• Conformité partielle et biais de sélection
• Intention de Traitement et Traitement sur le
Traité
• Choix de résultats
• Validité externe
• Efficacité économique
38
Validité Externe
• La validité interne est une condition nécessaire
pour que les résultats d’une expérience aléatoire
puissent être généralisés …
• ... mais cette condition n’est pas suffisante
39
Réponses comportementales aux
évaluations
• L’évaluation elle-même (et non le programme)
peut modifier les comportements:
– lorsque c’est le groupe Test qui modifie son
comportement, on parle de l’effet
Hawthorne
– lorsque c’est le groupe Témoin qui modifie
son comportement, on parle de l’effet John
Henry
40
Réponses comportementales aux
évaluations
• Par ailleurs, un programme peut générer des
réponses comportementales qui ne se
produiraient pas si le programme devait être
généralisé
41
Comment généraliser?
• Cela va dépendre de trois facteurs :
– Mise en œuvre : le programme peut-il être
dupliqué à grande échelle (à l’échelle
nationale) ?
– Echantillon de l’étude : est-il représentatif ?
– Sensibilité des résultats : est-ce qu’un
programme similaire, mais légèrement
différent, pourrait avoir le même impact ?
42
Plan
• Effets d'externalité
• Conformité partielle et biais de sélection
• Intention de Traitement et Traitement sur le
Traité
• Choix de résultats
• Validité externe
• Efficacité économique
43
Un outil de comparaison :
l’efficacité économique
• Pourriez-vous obtenir le même impact, mais à
moindre coût ?
• Il est important que les résultats des études d’impact
soient exprimés en termes d’efficacité économique
de telle sorte qu’il soit possible de comparer les
programmes entre eux
– Programmes d’éducation: coût par année de
scolarisation supplémentaire
– Programmes de santé: coût par année de vie
supplémentaire
44
Analyse coût-bénéfice: exemple
• On a essayé de nombreuses approches pour augmenter
le nombre d’inscriptions à l’école : quelle est l’approche
la plus efficace d’un point de vue économique ?
• Très clairement, l’approche qui consiste à faire baisser le
coût de l’école est efficace pour augmenter l’assiduité
scolaire
• Les encouragements à apprendre permettent
d’améliorer les résultats des élèves
• La santé peut aussi avoir un impact important sur
l’éducation
45