5.1 - SARI

PROJET SARI - PREDIT 3
Surveillance Automatisée de la Route pour l’Information des
conducteurs et des gestionnaires
Assistance technique à
l’animation scientifique SARI
Note de cadrage pour l’évaluation de SARI
Référence
: SARI/AniSci/ERDYN/06/L51/V1.1
Date
Version
: 20/02/2006
: V1.1
Auteurs
(partenaires)
: Lionel Algarra, Patrick Haouat (erdyn)
Thème
: Animation Scientifique – 1ère tranche
Type (1,2,3,4) : 2
Confidentialité : 2 «non classé »
Diffusion
: partenaires et instances SARI
Financement
: DRAST - Direction de la Recherche et des
Affaires Scientifiques et Techniques
PROJET SARI - PREDIT 3
Surveillance Automatisée de la Route pour l’Information des
conducteurs et des gestionnaires
Coordonnées des partenaires impliqués dans la réalisation de l’action et/ou la
préparation du livrable
(principal partenaire impliqué en haut à gauche)
erdyn consultants
Lionel Algarra, Patrick HAouat
168 boulevard Camélinat
92240 Malakoff
tél / fax : 01 47 35 78 47 / 01 47 35 81 83
[email protected]
[email protected]
TABLE DES MATIERES
Résumé.................................................................................................................................................... 1
1. Objectifs de l’évaluation de SARI ...................................................................................................... 2
2. Méthodes et outils de l’évaluation de SARI....................................................................................... 2
2.1. Méthode d’évaluation................................................................................................................. 2
2.2. Outils à mettre en oeuvre........................................................................................................... 3
3. Critères d’évaluation .......................................................................................................................... 4
3.1. Productions scientifiques et techniques .................................................................................... 4
3.2. Harmonisation des méthodes..................................................................................................... 5
3.3. Valeur ajoutée méthodologique................................................................................................. 5
3.4. Implication des gestionnaires .................................................................................................... 5
3.5. Couplage industriel et international ......................................................................................... 5
3.6. Réseau SARI ............................................................................................................................... 6
4. Calendrier de l’évaluation.................................................................................................................. 6
Résumé
La présente note propose les éléments de cadrage pour l’évaluation des résultats du projet
SARI.
Elle identifie en premier lieu les objectifs de cette évaluation en accord avec les résultats
attendus du projet. Ces résultats touchent des aspects scientifiques, techniques,
méthodologiques, et peuvent concerner :
•
les productions scientifiques et techniques des thèmes de SARI ;
•
les méthodes et traitements harmonisés pour les expérimentations ;
•
la valeur ajoutée méthodologique du management ;
•
l’implication des gestionnaires ;
•
le couplage industriel et international ;
•
la création d’un réseau des partenaires de SARI.
Cette note décrit également la méthodologie proposée pour la réalisation de l’évaluation, et
les outils correspondant à mettre en œuvre. Elle dresse par ailleurs, pour chaque catégorie
de résultats attendus (scientifiques, techniques, méthodologiques,…), la liste initiale des
critères à déterminer pour permettre l’évaluation.
La réalisation de l’évaluation suit un calendrier en deux étapes : l’une à mi parcours du
projet, l’autre à la fin des travaux.
NB : on souligne que l’évaluation proposée sera complétée sur le plan scientifique de l’évaluation des
acceptabilités juridique, individuelle, sociale et économique abordée dans le thème AJISE.
1
1. Objectifs de l’évaluation de SARI
Les objectifs de l’évaluation de SARI sont globalement d’estimer :
•
quels sont les apports de SARI à la sécurité routière ;
•
quels sont les avantages de la présence d’un thème scientifique transversal ;
•
quel est le bilan du mode de fonctionnement sous la forme d’une action concertée ;
•
quel intérêt portent les gestionnaires d’infrastructure à un projet comme SARI, et quel est
leur effet d’entraînement ;
•
quelles sont les retombées en terme de reconnaissance internationale, de transferts vers
l’industrie ;
•
quels sont les effets de structuration de la communauté scientifique.
Il convient au préalable de lister les principaux résultats du projet SARI ; ceux-ci sont
multiples, et concernent simultanément des aspects scientifiques et techniques, des volets
méthodologiques et au-delà les collaborations mises en place. On propose la typologie
suivante pour les résultats de SARI (à mettre en parallèle des objectifs de l’évaluation) :
•
productions scientifiques et techniques des thèmes de SARI, sous la forme de
connaissances (par exemple sur les acceptabilités) et de technologies (logiciels,
équipements,…) ;
•
mise au point et utilisation de méthodes et de traitements harmonisés pour les
expérimentations ;
•
valeur ajoutée méthodologique du management centralisé de SARI ;
•
implication des gestionnaires des infrastructures et collaboration avec les industriels et
les laboratoires ;
•
couplage industriel au niveau national et ouverture possible à l’international
(notamment à l’échelle européenne) ;
•
création d’un réseau des partenaires de SARI.
2. Méthodes et outils de l’évaluation de SARI
Avant de proposer les critères susceptibles d’être mis en œuvre pour l’évaluation de SARI, il
convient de rappeler quels sont les méthodes et les outils susceptibles d’être mobilisés.
En particulier, parallèlement aux démarches qui pourront être mises en place en « interne »
(enquêtes auprès des partenaires, recensement des communications, publications,
brevets,…) il faut rappeler ici que des instances sont associées au projet spécifiquement
pour permettre son évaluation : le Comité Scientifique et le Club Utilisateurs.
2.1. Méthode d’évaluation
La méthode proposée vise à traiter à la fois des critères « qualitatifs » et « quantitatifs »
utiles pour l’évaluation du projet SARI. Les critères qui pourront être retenus sont présentés
au chapitre 3 du présent document. La méthode repose sur la mise en œuvre de trois
volets :
2
•
une évaluation quantitative basée sur un recensement des « résultats » mesurables du
projet ; par exemple (non exhaustif) : nombre de publications, de brevets,
d’expérimentations, de sites instrumentés, de participation à des conférences
internationales,… ;
•
auto-évaluation qualitative par recueil des opinions des partenaires du projet SARI ;
•
évaluation externe (qualitative) : évaluation de la qualité des travaux par experts ;
évaluation des résultats en matière de communication externe du projet.
2.2. Outils à mettre en oeuvre
Aux trois volets de cette méthode correspond la mise en œuvre des outils suivants :
évaluation
quantitative
auto-évaluation
qualitative
évaluation
externe
exploitation des données d’ensemble par la
direction de projet
enquête par questionnaires auprès des
partenaires SARI
Comité Scientifique et Club Utilisateurs
enquête externe
2.2.1. Exploitation des données d’ensemble
Il s’agit ici de mettre à profit les données permettant notamment d’évaluer l’implication des
partenaires SARI ; par exemple :
•
participation aux réunions des thèmes, aux séminaires, aux réunions des comités,…
exploitation des données d’ensemble ;
•
« effets de levier » des subventions accordées (montant des subventions / budget total) ;
•
nombre de connexions et /ou téléchargements sur le site www.sari.prd.fr;
•
…
L’exploitation de ces données est réalisée par l’équipe d’animation scientifique de SARI.
2.2.2. Enquêtes interne et externe
La cible de l’enquête interne est composée des partenaires impliqués dans les travaux de
SARI. L’enquête est réalisée par l’envoi d’un questionnaire, qui regroupe des questions
ouvertes et fermées : ceci permet simultanément de recueillir les commentaires argumentés
des partenaires et de réaliser une analyse « statistique » des réponses au questionnaire.
Cette enquête est également l’occasion de recueillir des précisions sur des données
quantitatives : nombre de publications soumises, de demandes de brevet déposées,…
Une enquête externe pourrait également être envisagée pour évaluer la « notoriété » du
projet SARI : les cibles d’enquêtes pourraient être multiples : gestionnaires, acteurs du
PREDIT,…
3
2.2.3. Comité Scientifique
Le comité scientifique est composé d’experts français et européens, tous reconnus pour
leurs compétences dans les domaines scientifiques et technologiques développés au sein de
SARI. Le comité scientifique a notamment pour mission de participer activement à
l’évaluation de SARI, en termes de production de connaissances.
2.2.4. Club Utilisateurs
Le club utilisateurs veille à la valorisation industrielle des solutions proposées par SARI. Il est
composé de spécialistes issus de l’industrie de la route, de l’industrie des véhicules, ou des
opérateurs ou gestionnaires d’infrastructures routières ; la participation de sociétés de
« capital risque », capables d’accompagner la valorisation des résultats par des
investissements financiers est également envisagée. Le club utilisateurs a en particulier pour
mission de participer activement à l’évaluation du projet SARI, en termes de valorisation
opérationnelle (produits, méthodes, …).
Le Comité Scientifique et le Club Utilisateurs se réunissent tous les ans sur convocation de
la directrice du projet. Ils formulent des avis et des recommandations, tant sur la qualité des
travaux effectués que sur la pertinence des orientations proposées, en mettant en
perspective l’apport du projet dans le contexte national et européen. Ils peuvent également
présenter des suggestions en ce qui concerne les moyens à mettre en œuvre tant sur le plan
organisationnel qu’humain et matériel pour atteindre les objectifs fixés. Les
recommandations du club utilisateurs sont transmises à la directrice du projet, qui se charge
de les diffuser à tous les acteurs de SARI.
La présente note de cadrage sera transmise au Comité Scientifique et au Club Utilisateurs :
sur le volet évaluation de leurs missions, ces instances seront décisionnaires pour utiliser les
critères proposés (chapitre 3) ou en établir d’autres.
3. Critères d’évaluation
Ces critères doivent être déterminés pour chacun des « types » de résultats listés au
chapitre 1 ci-dessus. Dans le but d’établir un premier cadrage de l’évaluation, on propose de
retenir en première approche les critères suivants. On rappelle par ailleurs que l’évaluation
proposée ici sera complétée par une évaluation scientifique des acceptabilités juridique,
individuelle, sociale et économique abordée par le thème transversal AJISE.
3.1. Productions scientifiques et techniques
Les critères utilisés ici sont très largement qualitatifs ; cependant des indicateurs chiffrés
pourront également être utilisés. Les critères proposés sont :
•
•
•
•
•
•
•
« verrous » scientifiques et techniques : niveau de réponses apportés ;
connaissances nouvelles formalisées ;
objets : technologies, fonctions ;
mise en œuvre de nouveaux concepts ;
nombre et tri des publications : connaissances diffusées ;
lignes de recherche : pertinence et cohérence ;
lignes de recherche : excellence.
Outils mis en œuvre pour évaluer ces critères : enquête interne, Comité Scientifique.
4
3.2. Harmonisation des méthodes
Les critères proposés sont :
•
qualité et « quantité » (fréquence, durée,…) des interactions entre AJISE et les thèmes
techniques ;
•
« mise en commun » des sites d’expérimentations ;
•
répétabilité des méthodes pour les expérimentationss ;
•
répétabilité des traitements des résultats des expérimentations
Outils mis en œuvre pour évaluer ces critères : enquête interne, exploitation des données
d’ensemble.
3.3. Valeur ajoutée méthodologique
Les critères proposés sont :
•
ratio budget management / budget total ;
•
nombre de téléchargements ;
•
fréquentation du site ;
•
couplages entre équipes : nombre, description ;
•
niveaux de coopération : langage, bases de données, échanges de « briques » (par
exemple logicielles).
Outils mis en œuvre pour évaluer ces critères : enquête interne
3.4. Implication des gestionnaires
Les critères proposés sont :
•
nombre de conseils généraux participant au projet ;
•
moyens humains mobilisés ;
•
engagements financiers et d’autres ressources.
Outils mis en œuvre pour évaluer ces critères : enquête interne, exploitation des données
d’ensemble.
3.5. Couplage industriel et international
Les critères proposés sont :
•
nombre de brevets ou autres outils de propriété intellectuelle ;
•
nombre de publications en anglais ;
•
nombre de conférences invitées ;
•
participations aux programmes européens ;
•
potentiel de valorisation des résultats.
Outils mis en œuvre pour évaluer ces critères : enquête interne, exploitation des données
d’ensemble, Club Utilisateurs.
5
3.6. Réseau SARI
Les critères proposés sont :
•
participations aux séminaires ;
•
articulations avec autres réseaux ;
•
taux de retour enquête interne ;
•
nouveaux projets proposés par au moins deux partenaires.
Outils mis en œuvre pour évaluer ces critères : enquête interne, exploitation des données
d’ensemble.
4. Calendrier de l’évaluation
La présente note de cadrage doit être examinée, affinée et validée par les instances
responsables du suivi opérationnel du projet SARI : et le Comité de Pilotage (CoPi – maîtrise
d’ouvrage collective de SARI) le Comité Opérationnel (ComOp – maîtrise d’œuvre
collective). Ce processus est prévu selon l’échéancier suivant :
•
présentation et soumission au ComOp lors de sa réunion du 28 mars 2006 ;
•
présentation et soumission au CoPI lors d’une réunion (à programmer) au deuxième
semestre 2006.
On propose de réaliser une première évaluation des travaux à mi-parcours, puis une
évaluation finale, après l’achèvement de tous les travaux.
Compte tenu du décalage dans le lancement des travaux des thèmes, et de leur fin
programmée fin 2009, l’évaluation à mi parcours devrait intervenir à la fin du premier
semestre 2007.
6