Evaluation des politiques d`emploi Méthodologie et

Evaluation des politiques
d’emploi
Méthodologie et Enseignements
Bruno Crépon
Marc Ferracci
Laurent Lequien
Quelques questions introductives
• L'effet des politiques d'emploi est-il celui que l'on
attend?
• Peut on mesurer cet effet?
• Peut on apprendre sur les politiques passées pour
optimiser les politiques futures
• Sommes nous équipés pour le faire
• Jusqu'où peut on apprendre des expériences
étrangères?
Qu’est ce que l’évaluation
(telle qu’elle s’est développée récemment)
• Développement récent des méthodes depuis 15 ans
(Heckman…)
• Basée sur des données microéconomiques
• Suivi des individus bénéficiant d’une politique,
avant, pendant, après.
• Contraste entre la situation d’individus
bénéficiant ou non de la politique
• Seule des politiques ne concernant pas la totalité
de la population sont concernées
Quelques exemples
• Stages de formation : une partie des
chômeurs participe à des stages de
formation d’autres non
• Emplois subventionnés du secteur public ou
du secteur privé
• Prime de retour à l’embauche
• Politique d’accompagnement des chômeurs
Trois niveaux d’évaluation
Aspect
interne de
la politique
Aspect
externe
1. Les effets mesurés vont-ils dans le sens
attendu?
2. Identifier les déterminants du comportement
des individus face au dispositif
3. Effet global du dispositif sur la société, et
non plus seulement sur les traités – quels
effets induits
But éventuel: étendre le dispositif à toute la population
Quels enseignements tire-t-on des
évaluations effectuées
• On peut dans certains cas apprendre sur
l'ensemble des points précédents
• Avec un degré de fiabilité décroissant
• A la première question et parfois la
deuxième on peut répondre et produire des
résultats qui ont la force de l’évidence.
• Ceci impose néanmoins un effort
Individus
« traités »
Variable de
résultat
observée
Individus
«traités » si ils
n’avaient pas
été traités
Variable de
résultat
inobservée
Individus
« non traités »
Variable de
résultat
observée
Evaluation effectuée =
résultat des traités par rapport au résultat des non traités
Vrai effet de la mesure =
résultat des traités par rapport à ce qu’ils auraient été si
ils n’avaient pas été traités
Evaluation effectuée
= situation des traités – situation des non traités
= situation des traités – situation des traités si ils
n’avaient pas été traités
+ situation des traités si ils n’avaient pas été
traité – situation des non traité
= Vrai effet de la mesure
+ effet population
Le problème central dans l’évaluation est de
dissocier dans les évolutions observées ce qui
tient à l’effet de la mesure de ce qui tient à la
population
Expérimenter
• L’expérimentation permet de résoudre le problème
de l'effet population.
• Tirer deux populations (assez grandes) au hasard
dans la population éligible et affecter l’une d’entre
elle au traitement.
• Le tirage au hasard (et la grande taille)
garantissent que les populations sont semblables
en tout autre point que le traitement
Autres méthodes
Informations riches sur les caractéristiques:
Apparier chaque traité avec un non traité identique
en tout caractéristique observable
● Informations riches sur les trajectoires: Tirer
parti du fait que les individus sont traités à
différents moments
● Suivi de populations éligibles et non éligibles
avant et aprés : appréciation grossière
Bien mais les résultats restent sujets à la critique
Seules les expérimentations produisent des
résultats indiscutables
●
Différentes politiques favorisant
le retour à l’emploi - Exemples
• SSP (Canada). Prime perçue si retour à l’emploi.
Durée: 36 mois. Dispositif expérimental
• EITC (USA). Crédit d’impôt.
Durée: illimitée, 5140 $ maximum*.
• WFTC (UK). Crédit d’impôt.
Durée: illimitée, 6000 £ maximum*.
• Prime pour l’emploi (FR). Crédit d’impôt.
Durée: illimitée, 475€ maximum*.
* Chiffres OCDE 2005, valables pour un couple avec un enfant
L’expérience du SSP
Contexte:
– Dispositif ciblé sur les parents isolés
– Eligibilité: retrouver un emploi, après avoir
perçu pendant un an un revenu d’assistance
– Prime perçue pendant 3 ans tant que l’on a un
emploi
Effets significatifs sur le retour à l’emploi
SPP – Taux d’emploi
Source: Card, Hyslop, 2004
SSP – Identifier les comportements
Le SSP est une expérience contrôlée
Possibilité de mettre en évidence un effet
direct
Possibilité d'estimer (aisé) et de valider
d'un modèle de comportement
Possibilité de simuler l'effet de variation des
paramètres du dispositif
SSP – Un modèle structurel qui
rend bien compte de la situation
Source: Card, Hyslop, 2004
SSP – Simulation de variantes
Source: Card, Hyslop, 2004
SSP- Effets de bouclage
• Quantifier l’effet sur les bénéficiaires du SSP
Un consensus existe sur les méthodes, les
résultats sont robustes. Analyses coûts bénéfices
au niveau des bénéficiaires.
Question importante: comment évaluer l’effet du
SSP sur la société?
Analyse coûts/bénéfices global beaucoup
plus complexe. Beaucoup d'hypothèses.
L'évaluation en dépend. On n'a plus l'évidence
précédente
Evaluations frustres mais résultats
essentiels EITC et WFTC
• Deux programmes similaires :
– EITC (USA).
– WFTC (UK).
• Subvention du retour à l’emploi par crédit
d'impôt
• Quels effets? Quelles différences?
Comment les comprendre ?
Earned Income Tax credit
• Crédit d’impôts pour les bas revenus, créé en 1975 destiné
aux individus ayant des enfants
• Grande réforme en 1986. Crédit beaucoup plus généreux :
le retour à l'emploi est beaucoup plus attractif
• Cette réforme n’a théoriquement pas d’effet sur les
femmes sans enfants
• Principe de l’évaluation: comparer les différences d’offre
de travail entre les femmes avec et sans enfants, avant et
après la réforme
• Limitation: pas de modèle structurel, on mesure seulement
l’effet global, et on ne connaît pas le mécanisme en jeu
Participation des femmes (sans diplomes)
Femme avec
enfant avant 1986
Femme sans
enfant avant 1986
0,479
0.784
Femme avec
enfant après 1986
Femme sans
enfant après 1986
0,497
0,761
Différence=0,018
Différence= - 0,023
Différence de différence = 0,018 - ( - 0,023) = 0,041
WFTC
• Programme similaire à l’EITC
• Même méthode d’évaluation, mais résultat différent:
cette réforme n’a pas marché aussi bien que l’EITC
on ne sait pas pourquoi cette réforme n’a pas l’effet escompté…
• Une réponse assez grossière et une compréhension
limitée
Meilleures données, meilleur cadre d’observation:
permettrait l'estimation d'un modèle expliquant
pourquoi EITC marche et pas le WFTC
Cas de la France:
Spécificités de la PPE
• Prime de retour l'emploi
• Montant relativement faible (10 fois moins qu’aux
USA)
• Versée en une fois
Peu d'études : à priori, la PPE a au mieux un effet
modeste et temporaire sur le retour à l’emploi
Les politiques actives d’emploi
• Trois outils essentiels:
- Formation
- Contrats aidés dans le secteur marchand ou non
marchand
- Subventions à l’embauche
Résutats
• Proximité du marché du travail gage de succés –
éloignement peu devenir néfaste
• Faible effet de la formation sur la sortie du chômage,
voire négatif (effet de lock-in). Impact sur la qualité de
l’emploi retrouvé mal connu
• Des publics différents appellent des mesures différentes
Politiques en Suisse (Sianesi 2001)
Des résultats qui font consensus
• Des résultats là où les données existent
• Suisse
– Appariement : Gerflin et al.
– Durée : Lalive et al.
• France
– Brodaty Crépon Fougère
– Even et Klein (panel de la DARES)
ao
ût
-9
7
no
v97
fé
vr
-9
8
m
ai
-9
ao 8
ût
-9
8
no
v98
fé
vr
-9
9
m
ai
-9
ao 9
ût
-9
9
no
v99
fé
vr
-0
0
m
ai
-0
0
ao
ût
-0
0
no
v00
fé
vr
-0
1
m
ai
-0
1
ao
ût
-0
1
no
v01
fé
vr
-0
2
m
ai
-0
ao 2
ût
-0
2
no
v02
fé
vr
-0
3
90
80
70
60
50
40
30
Source : Dares, Panel des bénéficiaires de politique d'emploi
Source : Even Klein 2005
CIE
T émoins
20
10
0
ao
ût
-9
7
no
v97
fé
vr
-9
8
m
ai
-9
ao 8
ût
-9
8
no
v98
fé
vr
-9
9
m
ai
-9
ao 9
ût
-9
9
no
v99
fé
vr
-0
0
m
ai
-0
ao 0
ût
-0
0
no
v00
fé
vr
-0
1
m
ai
-0
ao 1
ût
-0
1
no
v01
fé
vr
-0
2
m
ai
-0
ao 2
ût
-0
2
no
v02
fé
vr
-0
3
60
50
40
30
20
Source : Dares, Panel des bénéficiaires de politique d'emploi
CES
témoins
10
0
ao
ût
-9
7
no
v97
fé
vr
-9
8
m
ai
-9
8
ao
ût
-9
8
no
v98
fé
vr
-9
9
m
ai
-9
ao 9
ût
-9
9
no
v99
fé
vr
-0
0
m
ai
-0
ao 0
ût
-0
0
no
v00
fé
vr
-0
1
m
ai
-0
ao 1
ût
-0
1
no
v01
fé
vr
-0
2
m
ai
-0
ao 2
ût
-0
2
no
v02
fé
vr
-0
3
60
50
40
30
20
SIFE
T émoins
10
0
Source : Dares, Panel des bénéficiaires de politiques d'emploi
Contrôle - Sanctions - Accompagnement
•
•
Les politiques modifiant Contrôle, Sanctions et
Accompagnement
modifient
fréquement
l'ensemble de ces paramètres à la fois
Difficile d'identifier l'effet précis de l'un d'entre
eux.
Le contrôle de l’effort effectif de
recherche: effets différenciés
• Van den Berg et VD Klauw (2004) => aucun
effet significatif sur le retour à l’emploi des
individus les plus employables du contrôle .
• Dolton et O’Neill, 1996 ; Blundell et al.
2004 efficace lorsque ciblé sur des individus
dont les perspectives d’emploi sont plus
mauvaises.
Conclusion: profilage condition d'efficacité d’un
système de contrôle
L’effet positif des sanctions sur le retour
à l’emploi
• Abbring et al. (2005) => les sanctions doublent
durablement les taux de sortie du chômage aux
Pays-Bas.
• Van den Berg et al. (2005) résultats similaires et
de même ampleur pour des individus recevant un
revenu d’assistance aux Pays-Bas.
• Lalive et al. (2002) : l’avertissement préalable
aux sanctions augmente aussi le taux de sortie.
Efficacité de l’accompagnement et de
l’aide à la recherche d’emploi
• Crépon, Gurgand, Dejemeppe : Effets positifs,
sur la sortie du chômage mais plus forts sur la
durée de l’emploi retrouvé
• Van den Berg et Van der Klauw (2004): faible
effet sur le retour à l’emploi car
l’accompagnement est réduit, au profit du
contrôle
• Expérimentation aux Etats Unis :effets positif
de l'accompagnement
Conclusion
• A l'évidence, l'effet des politiques n'est pas toujours
celui que l'on attend
• On peut apprendre des expériences étrangères mais
on ne peut pas que s'appuyer sur elles
• Evaluer les politiques d'emploi en France se heurte
à plusieurs difficultés
– Réticence à la mise en oeuvre d'expérimentation
– Absence de fichier longitudinaux : suivi des
individus, chômage-dispositifs-emploi.
– Problème du passage de l'étude à une évaluation
partagée reconnue institutionnellement