RECHERCHE ET DÉVELOPPEMENT

Transcription

RECHERCHE ET
DÉVELOPPEMENT
RESEARCH AND DEVELOPMENT
www.ircam.fr
p L’iRCAM
LES CHIFFRES-CLÉS DE LA RECHERCHE À L’IRCAM
iNSTiTUT DE RECHERCHE
ET COORDiNATiON
ACOUSTiQUE/MUSiQUE
Chercher, créer, transmettre,
telles sont les missions poursuivies
par l’Ircam (Institut de recherche
et coordination acoustique/
musique), organisme associé
au Centre Pompidou, placé sous
la tutelle du ministère de la culture
et de la communication.
Avec ses 150 collaborateurs
(chercheurs, ingénieurs,
compositeurs, interprètes,
administratifs et techniciens),
l’Ircam reste, depuis sa fondation
en 1977 par Pierre Boulez, le plus
grand centre de recherche publique
dans le monde dédié à la création
musicale.
p
8 ÉQUiPES DE RECHERCHE
menant des travaux dans
les différentes disciplines
scientifiques en rapport avec
la musique : acoustique, traitement
du signal, informatique,
psychologie, musicologie.
p
90 COLLABORATiONS ANNUELLES
dont 60 avec des laboratoires
et organismes publics et 30 avec
des sociétés privées.
p
100 PUBLiCATiONS PAR AN
dont 40 dans des revues
et chapitres d’ouvrages.
DiRECTiON SCiENTiFiQUE
SCiENTiFiC DiRECTiON
s
VALORiSATiON SCiENTiFiQUE
ET iNDUSTRiELLE
SCiENTiFiC AND iNDUSTRiAL
DEVELOPMENT
DiRECTEUR | DiRECTOR
s
Hugues Vinet
[email protected]
90 COLLABORATEURS
techniciens, administratifs)
& 20 stagiaires par an.
p
p
p CONTACTS
p
30% DE COLLABORATEURS
DE NATiONALiTÉ ÉTRANGÈRE
issus d’un recrutement
international.
Frederick Rousseau
[email protected]
développés et diffusés auprès de
ADMiNiSTRATiON
1300 UTiLiSATEURS
PROFESSiONNELS DANS LE MONDE
s
à travers le Forum Ircam
(groupe d’utilisateurs).
DiRECTiON SCiENTiFiQUE | SCiENTiFiC DiRECTiON
Sylvie Benoit
[email protected]
Carole Tan
[email protected]
(personnel inclus) issu de projets
européens, nationaux et de
collaborations industrielles.
MÉDiATiONS
RECHERCHE/CRÉATiON
SCiENTiFiC AND MUSiCAL RESEARCH
s
Andrew Gerzso
[email protected]
Didier Perini
[email protected]
Florence Quilliard-Monjal
[email protected]
FORUM LOGiCiELS iRCAM | iRCAM SOFTWARE FORUM
Ghislaine Montagne
[email protected]
iNSTiTUT FOR RESEARCH
AND COORDiNATiON
iNTO ACOUSTiCS/MUSiC
Music research, creation,
dissemination such are the goals
set down by IRCAM (Institute for
research and coordination into
acoustics/music), an organization
linked to the Pompidou Centre and
under the charge of the Ministry of
culture and communication.
IRCAM brings together around
150 contributors (researchers,
engineers, composers, performers,
coordinators and technicians) and
has remained, since its establishment
in 1977 by Pierre Boulez, the largest
public centre worldwide for research
into musical creation.
www.ircam.fr/instr.html
[email protected]
PERCEPTiON ET DESiGN SONORES |
SOUND PERCEPTiON AND DESiGN
www.ircam.fr/pds.html
[email protected]
ANALYSE/SYNTHÈSE DES SONS |
SOUND ANALYSiS/SYNTHESiS
www.ircam.fr/anasyn.html
[email protected]
ADMiNiSTRATiON | ADMiNiSTRATiON
UMR STMS iRCAM-CNRS | iRCAM-CNRS JOiNT LAB
iNFORMATiQUE | COMPUTER SERViCE
p iRCAM
ACOUSTiQUE iNSTRUMENTALE |
iNSTRUMENTAL ACOUSTiCS
www.ircam.fr/salles.html
[email protected]
60% DE FiNANCEMENT EXTÉRiEUR
s
ACOUSTiQUE DES SALLES | ROOM ACOUSTiCS
7 ENViRONNEMENTS LOGiCiELS
ÉQUiPES SCiENTiFiQUES | SCiENTiFiC TEAMS
p
RESPONSABLE | MANAGER
ÉQUiPES SCiENTiFiQUES
SCiENTiFiC TEAMS
[email protected]
REPRÉSENTATiONS MUSiCALES |
MUSiCAL REPRESENTATiONS
www.ircam.fr/repmus.html
[email protected]
ANALYSE DES PRATiQUES MUSiCALES |
ANALYSiS OF MUSiCAL PRACTiCES
www.ircam.fr/apm.html
[email protected]
iNTERACTiONS MUSiCALES TEMPS RÉEL |
REAL-TiME MUSiCAL iNTERACTiONS
KEY FIGURES IN IRCAM’S R&D
www.ircam.fr/imtr.html
[email protected]
SERViCES EN LiGNE | ONLiNE SERViCES
p 8 RESEARCH TEAMS
working in various scientific fields
related to music: acoustics, signal
processing, computer science,
psychology, musicology.
p
with 60 labs and public organizations
and 30 with private companies.
p iNTERNATiONAL RECRUiTMENT
30% of staff are of foreign
nationality.
p 60% EXTERNAL FUNDiNG
(staff included) from national,
European and industrial projects.
SERViCE iNFORMATiQUE | COMPUTER SERViCE
[email protected]
p
100 PUBLiCATiONS PER YEAR
40 of which appear in scientific
journals or as chapters in books.
p 90 CONTRiBUTORS
(researchers, engineers,
technicians, coordinators),
& 20 internships per year.
www.ircam.fr/sel.html
[email protected]
90 YEARLY PARTNERSHiPS
DiRECTEUR DE LA PUBLiCATiON | PUBLiCATiON DiRECTOR | FRANK MADLENER
p
7 SOFTWARE ENViRONMENTS
developed and distributed to
RESPONSABLE DE LA PUBLiCATiON | PUBLiCATiON EDiTOR | HUGUES ViNET
TRADUCTiONS | TRANSLATiON | DEBORAH LOPATiN
1300 PROFESSiONAL USERS
WORLDWiDE
MiSE EN PAGE | PAGE LAYOUT | OLiViER UMECKER
through IRCAM Forum
(Users’ Group).
COUVERTURE | COVER | BELLEViLLE © PHOTOGRAPHiE SOPHiE STEiNBERGER
REPROGRAPHiE | PHOTOCOPYiNG | JEAN-PAUL RODRiGUES
iRCAM | DÉPARTEMENT RECHERCHE ET DÉVELOPPEMENT | R&D DEPARTMENT
1, PLACE iGOR-STRAViNSKY | 75004 PARiS | FRANCE
STANDARD | +33 (0)1 44 78 48 43
http://www.ircam.fr/recherche.html
Ircam – recherche et développement
AvAnt-propos
L’objet de cette brochure, destinée à un lectorat professionnel ou spécialisé, est de présenter les activités de recherche et développement de
l’Ircam de manière exhaustive, détaillée et actualisée. Elle comporte à
cet effet cinq parties. La première propose une synthèse de l’ensemble
des activités, dont elle précise les missions, les liens institutionnels, l’organisation et les principaux thèmes, les enjeux et orientations actuelles
et les modes de valorisation et de diffusion. La deuxième présente sommairement le champ d’intervention de chaque équipe. La troisième,
plus détaillée, décrit les principaux projets de recherche récents et
en cours selon une organisation par grands domaines d’applications.
La quatrième présente les environnements logiciels issus de ces travaux. La dernière partie fournit la liste du personnel du département
Recherche et développement et des principaux contacts.
mise à jour : avril 2009
1
sommAire
LA RECHERCHE À L’IRCAM ……………………………………………………………… 3
• Missions ………………………………………………………………………… 4
• Liens institutionnels …………………………………………………………… 5
• Organisation et domaines d’activité ………………………………………… 6 - 7
• Principaux enjeux et orientations actuels …………………………………… 8 - 10
• Valorisation et diffusion de la recherche …………………………………… 11
• Organigramme du département recherche et développement …………… 12
LES ÉQUIPES DE RECHERCHE ………………………………………………………… 13
• Équipe acoustique instrumentale …………………………………………… 14
• Équipe acoustique des salles ………………………………………………… 15
• Équipe Perception et design sonores ………………………………………… 16
• Équipe analyse et synthèse des sons ………………………………………… 17
• Équipe Représentations musicales …………………………………………… 18
• Équipe analyse des pratiques musicales …………………………………… 19
• Équipe Interactions musicales temps réel …………………………………… 20
• Équipe Services en ligne ……………………………………………………… 21
LES PRINCIPAUX PROJETS DE RECHERCHE ………………………………………… 23
• Synthèse et traitement sonores ……………………………………………… 24 - 28
• Signal/symbolique, outils de composition ………………………………… 29 - 36
• Spatialisation sonore …………………………………………………………… 37 - 40
• Écriture du temps et de l’interaction ………………………………………… 41 - 45
• Indexation, méthodes et technologies de médiation ……………………… 46 - 53
• anciens projets collaboratifs programmes européens et nationaux ……… 54 - 55
LES LOGICIELS DE L’IRCAM……………………………………………………………… 57
• Le Forum ………………………………………………………………………… 58
• SuperVP, Trax et Bibliothèques ……………………………………………… 59
• audioSculpt …………………………………………………………………… 60
• Diphone studio ………………………………………………………………… 61
• Modalys ………………………………………………………………………… 62
• OpenMusic ……………………………………………………………………… 63 - 64
• Spat ……………………………………………………………………………… 65
• Max/MSP ……………………………………………………………………… 66
• FTM ……………………………………………………………………………… 67
• Musique Lab 1 ………………………………………………………………… 68
• Musique Lab 2 ………………………………………………………………… 69 - 70
L’ÉQUIPE RECHERCHE ET DÉVELOPPEMENT ……………………………………… 72
2
LA RECHERCHE
À L’iRCAM
3
La recherche à l’Ircam
missions
L’Ircam a pour mission fondamentale de susciter
une interaction féconde entre recherche scientifique,
développement technologique et création musicale
contemporaine. Cette articulation constitue, depuis
sa création en 1977, le principal axe structurant l’ensemble de ses activités. L’un des enjeux majeurs est de
contribuer, par les apports des sciences et techniques,
au renouvellement de l’expression musicale. Réciproquement, les problèmes spécifiques posés par la création contemporaine donnent lieu à des avancées scientifiques originales, tant théoriques, méthodologiques,
qu’appliquées, dont la portée dépasse largement le
seul domaine musical. Cette dynamique de recherche
originale, tournée vers la création artistique dans toute
l’exigence et la sensibilité qui s’y manifestent pour
des modes de représentation et de manipulation élaborés du sonore et du musical, suscite des innovations
scientifiques et technologiques dont les applications
se déploient dans des secteurs d’activité de plus en
plus larges : professionnels de la musique et du son,
industrie, enseignement, public mélomane…
Cette médiation entre recherche et création
musicales comporte en particulier le développement
d’outils logiciels pour les musiciens (compositeurs,
interprètes, musicologues), à partir de modèles et
prototypes élaborés par des équipes de recherche travaillant dans les différents domaines en rapport avec
la musique : informatique (langages, interfaces homme
machine, temps réel, bases de données), traitement
du signal et automatique, acoustique, perception et
psychologie cognitive de l’audition, musicologie… Les
travaux reposent ainsi sur l’articulation de deux types
d’activités complémentaires, la recherche et le développement.
La recherche, source d’innovation, vise l’élaboration
de connaissances en rapport avec les problématiques
musicales. Interdisciplinaire par nature, elle inscrit
son activité sous la forme de nombreuses collaborations avec des laboratoires français et étrangers, avec
des organismes d’enseignement supérieur et avec des
partenaires institutionnels (notamment le CNRS) et
privés. L’accueil d’élèves-chercheurs et ingénieurs dans
le cadre de thèses de doctorat, de stages de master et
d’écoles d’ingénieurs contribue à la formation par la
recherche. Les compétences ainsi développées trouvent de nombreuses applications au-delà des problématiques musicales, et font l’objet de projets réalisés
en collaboration avec des industriels ou dans le cadre
de programmes nationaux, européens et internationaux.
4
Le développement effectue l’adaptation des connaissances, modèles et prototypes issus de la recherche
sous la forme d’environnements logiciels. Les principales applications visent la réalisation d’outils pour la
création musicale, à travers la mise en œuvre d’environnements ouverts et programmables, afin de pouvoir
répondre à des approches esthétiques très diverses, et
d’intégrer les modèles issus des travaux de recherche
au fur et à mesure de leur avancement. De plus, ce
côté configurable est propice à la mise au point de
versions simplifiées des logiciels, destinées à des cibles
d’utilisateurs plus larges (applications pédagogiques,
systèmes domestiques, productions multimédia, etc.).
Le développement des logiciels comprend en particulier la conception et l’évaluation d’interfaces hommemachine spécifiques et l’intégration permanente de
technologies issues d’une industrie informatique en
rapide évolution. La mise en place en 1993 du Forum
Ircam, club d’utilisateurs, a favorisé la diffusion de
ceux-ci auprès d’une communauté internationale de
professionnels de la musique et du son (compositeurs,
artistes multimédia et plasticiens, ingénieurs du son,
sound designers, chercheurs, enseignants…), évaluée
à plus de 5 000 utilisateurs depuis sa création. Des
cessions de licences sont également accordées à des
partenaires extérieurs, pour leur utilisation propre ou
pour la commercialisation des logiciels.
Elles peuvent porter sur des applications complètes
(telles que le logiciel Max/MSP licencié à la société
californienne Cycling’74 et comportant 20 000 utilisateurs dans le monde) ou sur des modules fonctionnels
particuliers (analyse et traitement audio, indexation,
spatialisation, synthèse, etc.), intégrés dans les environnements commerciaux cibles.
Liens institutionneLs
L’Ircam, association à but non lucratif reconnue d’utilité publique, est associé au Centre
Pompidou et placé sous la tutelle du ministère de la Culture et de la communication.
Le développement de liens structurels avec de grandes
institutions de recherche et d’enseignement supérieur
constitue pour l’Ircam une priorité destinée à promouvoir son inscription dans le paysage national et
international de la recherche. au-delà des nombreuses
collaborations menées par les différentes équipes avec
des laboratoires de diverses disciplines, les principaux
axes de structuration concernent :
La participation du département R&D de l’Ircam
comme laboratoire d’accueil des écoles doctorales de l’université Paris-6 dans ses domaines
de compétence, en particulier EDITE (École doctorale
d’informatique, télécommunications et électronique
de Paris), SMaE (Sciences mécaniques, acoustique et
électronique) et 3C (Cerveau, Cognition, Comportement).
L’unité mixte de recherche STMS (Sciences et
technologies de la musique et du son – UMR 9912),
regroupant chercheurs du CNRS et de l’Ircam autour
d’un projet scientifique pluridisciplinaire. L’UMR est
rattachée à titre principal à l’Institut Sciences et technologies de l’information et de l’ingénierie (INST2I)
du CNRS et à titre secondaire à l’Institut Sciences de
l’homme et de la société (INSHS).
aux échelles nationale et européenne, la participation très active de l’Ircam à de nombreux projets de
recherche et développement dans le cadre de programmes collaboratifs (pôle de compétitivité à vocation mondiale Cap Digital, aNR, OSEO, FEDER, etc.)
et programmes de la Commission européenne (IST/
ICT, FET, NEST) est également l’occasion de nouer et
pérenniser des liens avec de nombreux partenaires,
publics et privés.
Le parcours Atiam (acoustique, traitement du signal
et informatique appliqués à la musique), accueilli et
coordonné par l’Ircam, qui dispense une formation
scientifique pluridisciplinaire autour de la musique
(coordonnateur Ircam : Carlos agon). Cette formation,
sans équivalent sur le territoire français, est organisée
dans le cadre du master Sciences et technologie de
l’université Paris-6, en collaboration avec plusieurs
autres établissements d’enseignement supérieur : École
Télécom Paris, université aix-Marseille II.
5
orgAnisAtion
et domAines d’Activité
Le propre de l’Ircam est de susciter l’accueil et la coordination de points de vue scientifiques variés sur le phénomène musical, issus de la physique (acoustique, mécanique),
du traitement de signal, de l’informatique, de la psychologie cognitive, de la musicologie. Le mode d’organisation mis en œuvre à cet effet repose sur une répartition
thématique des activités entre équipes spécialisées, chacune d’elles intégrant l’ensemble de la chaîne de travaux correspondant à son domaine : recherche, développement logiciel, contrats et projets extérieurs, diffusion. L’ensemble des collaborateurs
(90 chercheurs, ingénieurs, doctorants, techniciens et administratifs), regroupés au
sein du département Recherche et développement de l’Ircam dirigé par Hugues Vinet,
se répartissent selon les équipes présentées ci-après.
Acoustique instrumentale
Perception et design sonores
–
L’équipe acoustique instrumentale, dirigée par René
Caussé, étudie le fonctionnement des principales
familles d’instruments de musique et élabore des
modèles suivant les principes de la physique qui
prennent en compte les caractéristiques de production (mécanismes d’excitation et de résonance) et de
rayonnement du son. Les retombées de ces recherches
s’appliquent en synthèse sonore dite par modélisation
physique (développement du logiciel Modalys) et pour
l’aide à la conception d’instruments (améliorations,
extensions, évaluation de la qualité…).
–
Intégrée dans les activités de l’Ircam en 1999, l’équipe
intitulée Design sonore, dirigée par Patrick Susini, a
pris en 2005 la dénomination de Perception et design
sonores. Ses travaux s’orientent vers l’étude et l’analyse
perceptives des phénomènes sonores afin d’établir des
connaissances sur les mécanismes perceptifs associés
à la description et à la signification des sons, jusqu’à
l’identification de sources sonores et à la perception de
séquences sonores. Les applications en design sonore
s’attachent à l’étude et la conception de l’environnement sonore quotidien sous différents aspects : installations et diffusion dans des lieux publics, signalétique
sonore, interfaces homme-machine, etc.
Acoustique des salles
–
L’équipe acoustique des salles, dirigée par Olivier
Warusfel, se consacre à la reproduction et la synthèse
de scènes sonores spatiales. Les disciplines scientifiques
concernées sont le traitement du signal pour l’élaboration de techniques de reproduction du champ sonore
et l’informatique appliquée à la conception d’interfaces de contrôle de la spatialisation. La perception et
la cognition spatiales sont également impliquées pour
nourrir en amont la réflexion sur l’apport de la dimension spatiale dans l’écoute de la musique ou de notre
environnement en association avec d’autres modalités
sensorielles. au-delà des possibilités ouvertes aux compositeurs pour la spatialisation des sons, ces recherches trouvent des applications dans les domaines de
la postproduction sonore, de la réalité virtuelle et augmentée, des télécommunications, etc.
6
Analyse et synthèse des sons
Interactions musicales temps réel
–
L’équipe analyse et synthèse des sons, dirigée par Xavier
Rodet, étudie des procédés d’analyse, de synthèse et
de transformation des sons à partir de méthodes de
traitement de signal ou de la modélisation acoustique
des sources sonores. Des procédures de contrôle sont
alors élaborées pour « jouer » des instruments synthétiques ainsi obtenus, notamment à partir d’interfaces
homme-machine adaptées. Une part importante des
travaux récents de l’équipe s’oriente également vers
l’analyse et l’indexation automatiques des contenus
musicaux. Ces recherches donnent lieu au développement d’outils de synthèse et de traitement sonores
(logiciels SuperVP audiosculpt et Diphone Studio)
et trouvent de nombreuses applications dans les
domaines du traitement de la voix, de la simulation
sonore, de l’indexation, du multimédia, etc.
–
L’équipe Interactions musicales temps réel, dirigée par
Frédéric Bevilacqua, développe de nouveaux paradigmes et technologies d’interaction en temps réel
entre des interprètes – musiciens, danseurs ou acteurs
– et des systèmes d’informatique musicale. Ces dispositifs mettent en œuvre des recherches effectuées par
l’équipe sur l’analyse et la reconnaissance de formes
sonores et gestuelles ainsi que le traitement du son
interactif. Les applications s’articulent autour de trois
axes principaux : les œuvres musicales mixtes associant
interprète et électronique/informatique, la danse et
d’autres formes du spectacle vivant, et les logiciels
audio interactifs. D’autres applications concernent la
pédagogie musicale ainsi que la simulation et le design
sonore. Les travaux actuels portent principalement sur
le suivi de partition, le suivi de gestes, le violon augmenté et la synthèse par corpus.
Représentations musicales
–
L’équipe Représentations musicales, dirigée par Gérard
assayag, s’intéresse à la formalisation informatique des
structures musicales. Elle oriente ses travaux autour
du développement de l’environnement OpenMusic
d’aide à la composition et à l’analyse musicales, permettant le calcul de structures musicales symboliques
à partir de langages de programmation graphique. Les
travaux récents de l’équipe s’intéressent plus largement à l’analyse automatisée des structures musicales
à partir de représentations symboliques, au contrôle
de la synthèse, à l’orchestration assistée, à la modélisation stylistique, à l’improvisation par ordinateur, à
l’application de modélisation informatique en ethnomusicologie et à la pédagogie musicale assistée.
Analyse des pratiques musicales
–
L’équipe analyse des pratiques musicales, dirigée par
Nicolas Donin, a pour objet d’étude les œuvres et les
pratiques musicales savantes des XXe et XXIe siècles.
Son champ d’activité relève de la musicologie et plus
généralement des sciences humaines ; il se développe
sur trois plans : recherches empiriques sur différentes
pratiques musicales, en particulier la composition et
l’interprétation ; travaux musicologiques suscitant la
création de nouveaux outils d’aide à l’écoute attentive
et à l’analyse musicale ; enquêtes historiques et épistémologiques sur les pratiques savantes de la musique
au XXe siècle.
7
Services en ligne
–
L’équipe Services en ligne a été constituée à l’occasion de la réalisation de projets nationaux et européens coordonnés par l’Ircam autour de serveurs
de bases de données musicales dotés de fonctions
de navigation par le contenu. Dirigée par Jérôme
Barthélémy, elle a pour mission de coordonner l’expertise technique nécessaire à ces projets, en assurant la
réalisation d’études et le développement de systèmes
et applications informatiques opérationnels, offrant
de nouvelles perspectives en matière de diffusion de
contenus sonores et musicaux.
Le département Recherche et développement comporte également des équipes logistiques, au service de
l’ensemble des secteurs de l’Ircam. Le service informatique, dirigé par Laurent Ghys, assure la gestion de
l’ensemble du parc informatique de l’Ircam : environ
300 ordinateurs Macintosh, Stations Unix, PC reliés
par une liaison de 2,5 Gbits/s à l’Internet à travers le
réseau Renater. L’atelier de mécanique, animé par alain
Terrier, conçoit et réalise des prototypes mécaniques à
la demande des différentes équipes de l’Ircam.
principAuX enJeuX
et orientAtions ActueLs
Les enjeux de la recherche et du développement de l’Ircam résident d’une part dans
l’évolution propre des problématiques scientifiques et technologiques dans leur
rapport à la création artistique contemporaine, d’autre part dans les retombées de
l’expertise spécifique ainsi constituée à des enjeux sociétaux plus larges.
Dans la continuité des avancées des travaux existants,
notamment menés en collaboration avec la communauté artistique de l’Ircam, les principaux objectifs
scientifiques actuels peuvent être énoncés selon quatre
thématiques transversales, qui fédèrent les compétences complémentaires des différentes équipes dans
leurs disciplines respectives autour de préoccupations
communes. au-delà des évolutions des méthodes
existantes propres aux équipes dans le domaine du
traitement sonore constituant, avec la composition
assistée par ordinateur, le cœur de métier du laboratoire (Modélisation pour la synthèse et le traitement
sonores), les enjeux et verrous identifiés portent en
effet sur des problématiques interdisciplinaires et
interéquipes visant, d’une part, à relier entre elles
des représentations musicales relevant de différents
niveaux d’abstraction (Signal/symbolique) et, d’autre
part, à aborder un chantier nouveau concernant le
renouvellement des concepts formalisant les processus
temporels (Écriture du temps et de l’interaction). Enfin,
la quatrième thématique (Ingénierie et médiation des
connaissances) marque l’arrivée à maturation à l’Ircam
d’un axe de recherches réunissant, autour de finalités
proches (explicitation, formalisation et médiation de
connaissances et de pratiques musicales), des approches différentes et complémentaires.
Modélisation pour la synthèse et le traitement
sonores
Cette thématique porte sur l’ensemble des procédés
de synthèse et de traitement des sons, sur la base des
acquis des différentes équipes, dans leur perfectionnement et leur renouvellement.
Elle concerne notamment les aspects suivants :
• modèles de signaux pour l’analyse, la synthèse et le
traitement sonores, débouchant sur les logiciels de travail en studio ;
• synthèse sonore par modélisation physique, avec
pour objectif d’étendre et de perfectionner les modèles
existants de structures physiques et d’interactions
entre elles ;
• synthèse du rayonnement avec, notamment les travaux sur les sources à directivité contrôlée, et le lien
avec les méthodes de synthèse dans le cadre du projet
Synthèse additive spatiale ;
8
• spatialisation sonore : simulation et rendu spatial
des sons, comportant en particulier les travaux sur
les dispositifs de reproduction (Wave Field Synthesis,
binaural) et les formats de codage de scènes sonores
(extensions de l’environnement Spat, ambisonique aux
ordres supérieurs).
Signal/symbolique
Le thème transversal Signal/symbolique est issu de la
convergence d’intérêts autour de la modélisation de
phénomènes sonores à partir de formalismes relevant
d’un niveau d’abstraction plus élevé que les modèles
de signaux, sous la forme de structures symboliques
(notation musicale), voire même à partir de descripteurs de plus haut niveau spécifiant le résultat sonore
selon des attributs de nature quantitative ou qualitative. Le terme de signal/symbolique marque l’articulation de types de représentations des informations
musicales différentes, et se traduit par des problématiques de formalisation de structures de représentations
pertinentes, d’analyse (extraction d’informations à
partir des signaux), de synthèse (méthodes de contrôle
à partir de données symboliques) et de mise en œuvre
dans des environnements informatiques pour musiciens (langages, interfaces homme-machine).
En particulier, la gestion de signaux de contrôle à variation lente intervient comme un niveau intermédiaire
quasi-canonique entre symbole (note) et signal, et
rend compte précisément de l’apport de l’interprète
entre partition et son, selon des formes pouvant être
issues de captations gestuelles ou d’une analyse du
signal (vibrato, courbe de tempo, etc.). Cette thématique trouve son inscription selon les axes de travaux
suivants :
• analyse des signaux : perfectionnement des méthodes
liées aux modèles de signaux, extraction de descripteurs de haut niveau par indexation et apprentissage,
extraction de descripteurs audio dans le contexte du
temps réel ;
• contrôle des modèles de synthèse, y compris
modèles physiques, par méthodes inverses, apprentissage, mapping à partir de signaux issus de captations
gestuelles ;
• travaux sur l’expressivité et l’analyse de l’interprétation, notamment en lien avec les travaux sur le geste
musical et la voix ;
• évolution des environnements de composition pour
la gestion de structures liées au signal et le contrôle de
la synthèse ;
• écriture et contrôle de la spatialisation ;
• systèmes de gestion de bases de données d’échantillons et de manipulation par le contenu : aide à l’orchestration, méthodes de synthèse concaténative,
traitement par le contenu, contrôle perceptif de la
synthèse sonore, descripteurs et bases de données de
sons non instrumentaux.
Ingénierie et médiation des connaissances
Ce troisième axe thématique transversal rend compte
d’un ensemble de recherches visant, dans un premier
stade, à élaborer des connaissances par l’explicitation
et la formalisation de savoirs et savoir-faire de l’ordre
du musical et du sonore. Cette activité relève littéralement d’une musicologie interdisciplinaire, notamment
dans le champ de la cognition humaine. Cet objectif est
poursuivi par différentes équipes selon des approches
méthodologiques et des objectifs complémentaires :
• en rapport avec l’élaboration de modèles formels des
œuvres, notamment sur la base de formalismes mathématiques et algébriques. L’environnement OpenMusic,
avec ses extensions à de nouvelles fonctions musicales
(orchestration, signal/symbolique, écriture du temps),
constitue en tant que tel une plateforme expérimentale qui, à la fois, induit et rend compte de nouvelles
pratiques d’écriture et d’analyse assistées par ordinateur ;
• dans le cadre d’une musicologie empirique visant à
expliciter, en mobilisant en particulier le paradigme
de la cognition située, les connaissances musicales
engagées et produites au sein de différentes pratiques
telles que la composition, l’interprétation, ou l’écoute
attentive ;
• dans le champ de la psychologie expérimentale et
de travaux sur la sémiologie du son, s’attachant à produire des connaissances ayant une validité statistique
auprès d’un groupe de sujets, essentiellement du point
de vue de la perception ;
• dans d’autres cadres spécifiques, relevant d’études
sur la cognition, tels que les travaux menés sur les
comparaisons interculturelles, ainsi que sur la cognition spatiale, notamment dans le cadre de la réalité
virtuelle et de l’interaction intermodale (image, geste,
son) en extension des travaux sur les systèmes de spatialisation.
Écriture du temps et de l’interaction
Le lancement de cette nouvelle thématique transversale répond à la nécessité identifiée de renouveler les
concepts d’écriture qui sont à la base de l’inscription
temporelle des événements et processus musicaux,
notamment dans le cas d’œuvres interactives ou dont
le décours temporel, non totalement linéaire, comporte
des bifurcations intervenant en fonction d’événements
liés à l’interprétation. En particulier, les paradigmes
implicites en usage en production musicale contemporaine, qu’il s’agisse d’œuvres musicales mixtes (instruments + ordinateur), d’installations interactives, ou
en association avec d’autres arts du spectacle (danse,
théâtre) reposent sur les concepts du logiciel Max, qui
datent déjà de près de vingt ans, et se fondent sur un
mode d’interaction immédiate, suivant la métaphore
de l’instrument, par envoi et traitement de messages.
Les principales directions de travail liées à cette thématique sont les suivantes :
• perfectionnement et évolutions du suivi de partition,
de la synchronisation automatique à une interprétation
sur la base d’une représentation de la partition, vers la
reconnaissance de formes continues (signal musical,
geste) apprises à partir d’interprétations de référence ;
• systèmes d’interaction faisant intervenir des processus temporels selon une mémoire à plus long
terme, par exemple pour la générativité (OMax), ou
articulant des processus temporels liés à des modalités
différentes (danse/musique) ;
• systèmes de formalisation et de résolution de partitions interactives, permettant de spécifier les événements temporels non en référence à une base de
temps absolu, mais par des relations entre eux (lois
d’allen) ;
• interfaces et formalismes pour l’interaction spatiale,
en particulier dans le contexte de la réalité virtuelle ou
augmentée faisant appel à la spatialisation sonore.
9
Dans un second stade, les connaissances ainsi produites interviennent dans la production d’artefacts
techniques dont la diffusion, s’adressant à un large
public, dépasse les cadres traditionnels de la création
musicale contemporaine :
• réalisation de dispositifs techniques médiatisant
ces connaissances à des fins éducatives ou de diffusion culturelle (projets SemanticHIFI, Musique Lab,
i-Maestro, Ecoute), s’inscrivant à l’interface entre
recherches en musicologie pour la documentation des
œuvres, en ergonomie pour l’expérimentation de nouvelles interfaces d’accès et de manipulation, et aboutissant à la constitution de systèmes documentaires
hypermédia autour des œuvres produites à l’Ircam ;
• design sonore de l’environnement quotidien (gares,
véhicules, environnements publics), exploitant le
résultat des études menées en perception pour orienter
la conception selon des critères objectivés des fonctions sonores visées. En particulier, le nouveau projet
européen Closed, coordonné par l’Ircam dans le cadre
du thème Measuring the impossible, permet la constitution d’un dispositif méthodologique et technique
adapté au design sonore ;
• préservation et diffusion du patrimoine d’œuvres
contemporaines reposant sur des supports immatériels. L’important projet européen Caspar, notamment,
fournit les moyens d’une approche systématique de
la préservation et de la diffusion de son patrimoine
d’œuvres interactives reposant sur des supports numériques.
10
vALorisAtion et diFFusion
de LA recHercHe
Au cœur des enjeux culturels, sociaux et économiques soulevés par le phénomène
Internet, la musique a sans doute, plus que toutes les autres industries culturelles
ces dernières années, bouleversé le paysage des technologies de l’information et de
la communication. De par ses missions de création, de formation et de transmission,
l’Ircam expose quotidiennement ses recherches aux nouveaux besoins et aux nouveaux usages de notre société. Cette médiation permanente sous-entend le développement de projets, de services, de publications et d’événements visant le transfert et
la diffusion des technologies issues de l’Ircam.
La spécificité de l’Ircam est de réunir des compétences
scientifiques et technologiques très larges, qui trouvent
des applications dans des domaines tels que communications, automobile, audiovisuel, multimédia, etc.
ainsi, dans le paysage international de la recherche,
l’Ircam se présente comme un pôle d’expertise interdisciplinaire autour des sciences et technologies du
son et de la musique. La diffusion des travaux passe
par la mise en œuvre de collaborations avec des partenaires institutionnels et industriels et par la réalisation
de produits éditoriaux variés, tirant parti des dernières
technologies multimédia.
La valorisation de la recherche se réalise par transferts,
projets et services très diversifiés. L’Ircam gère, en collaboration avec des partenaires extérieurs, plusieurs
dizaines de brevets et extensions en cours de validité ; négocie les contrats de licences principalement
dans le domaine logiciel ; gère les aspects juridiques
et contractuels relatifs aux transferts de technologie
et aux prestations pour l’industrie musicale et audio
professionnelle, les télécommunications, les transports, l’informatique, l’acoustique industrielle ; assure
le montage technique ou administratif de près d’une
dizaine de projets chaque année, en partenariat avec
l’industrie dans le cadre européen (IST/ICT, FET, NEST)
ou national (aNR). Fournisseur de technologie mais
également site de validation, l’Ircam associe dans ces
projets différentes équipes de recherche mais également des artistes, musiciens, enseignants, documentalistes travaillant à l’Ircam, etc.
11
L’Ircam est agréé par le ministère de la Recherche et
de l’enseignement supérieur au titre du Crédit Impôt
Recherche, et les prestations effectuées par ses équipes
pour le compte de partenaires industriels bénéficient
dans ce cadre d’avantages fiscaux.
L’Ircam organise chaque année plusieurs colloques
de portée internationale ou nationale, d’une part en
accueillant des éditions de conférences spécialisées
(telles que NIME’06, IHM’07, ICaD’08), d’autre part
en organisant des rencontres pluridisciplinaires sur
des sujets relevant de problématiques actuelles de la
recherche musicale (Écritures du son et de l’interaction (2006), Mélodie et fonction mélodique comme
objet d’analyse (2006), Politique de l’analyse musicale
(2007), Nouveaux paradigmes pour l’informatique
musicale (2007), L’expressivité dans la musique et la
parole (2008), Complexité dans les arts (2009), etc.).
Valorisation industrielle
Direction
scientifique
musicales
Analyse des pratiques
UMR STMS Ircam-CNRS
musicales
Représentations
Hugues Vinet
des sons
Analyse et synthèse
Frederick Rousseau
des salles
Nicolas Donin
Acoustique
Gérard assayag
Acoustique
Xavier Rodet
instrumentale
Olivier Warusfel
Interactions musicales
René Caussé
Perception
temps réel
Atelier mécanique
Frédéric Bevilacqua
Service informatique
alain Terrier
Patrick Susini
Services en ligne
Laurent Ghys
et design sonores
Jérôme Barthélémy
12
orgAnigrAmme du dépArtement recHercHe
et déveLoppement
Équipes de recherche
LES ÉQUiPES
DE RECHERCHE
13
éQuipe AcoustiQue
instrumentALe
Responsable : René Caussé
Activités
–
La compréhension du fonctionnement des instruments
de musique est le fil conducteur des recherches menées
au sein de l’équipe acoustique instrumentale. Même
si tous les instruments n’appartiennent pas à notre
référence sonore, leur étude permet d’enrichir nos
connaissances sur les multiples processus d’oscillation,
de rayonnement, mais également sur la manière dont
le problème de l’interface entre l’instrumentiste et
l’instrument se pose dans chaque cas. ainsi il est possible de répondre à la question : « pourquoi obtient-on
un son à cette fréquence ou de telle couleur lorsque
l’on souffle avec telle pression dans une flûte à bec ? »
L’étude du contrôle exercé par l’instrumentiste (geste),
que nous abordons actuellement, est la suite logique
de ces études. Le côté applicatif de nos activités est
avant tout musical avec le développement de logiciels
de synthèse dite par modélisation physique et une
contribution à l’amélioration, à l’extension des possibilités et à l’innovation dans la conception d’instruments. Cependant la méthodologie et les outils développés s’appliquent parfois à d’autres types de sources
sonores.
Thématiques et projets associés
–
• Modélisation physique des instruments de musique
La modélisation acoustique du fonctionnement des
instruments s’appuie sur une démarche classique,
alternant mesures, théorie et simulations. Les projets actuels concernent l’étude du couplage entre
les cordes, le chevalet et la table d’harmonie dans le
registre des aiguës du piano, la prise en compte de
non-linéarités distribuées dans les instruments de
musique, l’étude et la modélisation du geste du violoniste pour le contrôle de la synthèse. La mise au point
d’une « bouche artificielle » robotisée, pour l’étude
des transitoires des instruments à vent, est un outil en
cours de développement (cf. projet Consonnes p. 25).
• Synthèse sonore par modélisation physique : logiciel
Modalys
Modalys est un « atelier de lutherie virtuelle » permettant la création d’instruments par assemblage d’objets
physiques élémentaires et la synthèse sonore résultant d’un jeu également programmable (cf. présentation détaillée p. 62). Il est étendu en nouveaux objets
14
et interactions au fur et à mesure des avancées des
recherches. Le logiciel intègre depuis peu la possibilité de modéliser des objets tridimensionnels quelconques, structures ou fluides, en utilisant les techniques
numériques d’éléments finis. avec ces nouvelles possibilités, Modalys a permis de répondre à des demandes
de réalisation de copies virtuelles d’instruments de la
famille des bois : clarinette, basson, hautbois et flûte
(cf. projet Voxstruments p. 26).
• aide à conception d’instruments
L’objet de ce thème (p. 24) est de proposer une aide à
la conception des instruments de musique. Les avancées des recherches et l’évolution des technologies
(miniaturisation des transducteurs et faible coût) permettent d’envisager aujourd’hui une aide à l’amélioration, à l’extension des possibilités des instruments
(voir p. 29 Les instruments augmentés) et à l’innovation (cf. projet PaFI p. 24).
Domaines de compétence
–
Recherches à caractère pluridisciplinaire autour des
instruments de musique. acoustique, modélisation
physique, expérimentation, synthèse et lutherie.
Collaborations
–
Laboratoire d’acoustique de l’université du Maine
(Le Mans), Laboratoire de mécanique et d’acoustique (Marseille), Institut technologique européen des
métiers de la musique (Le Mans), Laboratoire Speech,
Music and Hearing du KTH (Stockholm), Centre for
Interdisciplinary Research in Music Media and Technology, McGill (Montréal) Groupe Signal Image et Instrumentation de l’ESEO (angers), Laboratoire Traitement et communication de l’Information de Télécom
Paristech (Paris).
Équipe
–
J. Bensoam, G. Bertrand, R. Caussé, M. Demoucron,
N. Ellis, V. Fréour, S. Goto, D. Roze.
éQuipe AcoustiQue
des sALLes
Responsable : Olivier Warusfel
Activités
–
L’activité de recherche et de développement de
l’équipe acoustique des salles est centrée sur l’analyse, la reproduction et la synthèse de scènes sonores,
considérées dans leurs dimensions spatiales, à savoir
la localisation des sons dans l’espace et la signature
acoustique de la salle ou de l’environnement. L’ambition sur le plan musical est de fournir des modèles et
des outils permettant aux compositeurs d’intégrer la
mise en espace des sons depuis le stade de la composition jusqu’à la situation de concert, contribuant ainsi
à élever la spatialisation au statut de paramètre d’écriture musicale. au-delà du terrain musical, ces recherches trouvent des applications dans les domaines de
la postproduction, de la réalité virtuelle et concernent
différents contextes d’écoute : concert, écoute domestique, installations sonores interactives…
La reproduction et la synthèse d’une scène sonore
s’appuient simultanément sur des techniques de
traitement du signal contrôlant les lois de diffusion
sur haut-parleurs et sur des modèles de description
physique ou perceptive des propriétés spatiales des
sources sonores et de la salle. Les modèles perceptifs
dérivent des propriétés psychophysiques du système
auditif et proposent d’opérer directement, au sein des
signaux, sur les indices responsables de nos sensations
spatiales. Ces modèles sont à la base de nombreuses
techniques de reproduction de la localisation (lois de
panoramique) ou de synthèse de la réverbération. Des
techniques plus ambitieuses visent à reproduire les
propriétés physiques des champs sonores résultant du
rayonnement des sources et du comportement acoustique des salles. Ce type de synthèse s’appuie sur une
modélisation physique des phénomènes de propagation acoustique, et requiert l’usage d’antennes de
microphones ou de haut-parleurs réalisant une discrétisation fine de l’espace. Ces techniques ouvrent la
voie à des modalités d’exploration d’une scène sonore
dans un environnement interactif et multisensoriel.
Elles nécessitent d’étudier la perception spatiale auditive dans un cadre sensoriel plus général que la seule
audition, incluant les interactions visuo-auditive et
proprioceptive.
15
Thématiques et projets associés
–
• Reproduction de champs sonores (cf. Wave Field
Synthesis, reproduction binaurale p. 37).
• analyse/synthèse du rayonnement des sources
sonores (cf. sources à directivité contrôlée p. 38).
• Perception et cognition auditives spatiales (cf. projets coRSaIRe, ConceptMove, EarToy p. 39 et 54).
• Logiciel Spatialisateur (cf. p. 65).
–
Traitement du signal, acoustique physique, perception/cognition spatiale, réalité virtuelle et augmentée.
Collaborations
–
CNSM, INRIa (Sophia-antipolis), INSa (Lyon), ISTICNR
(Pise), Hôpital européen Georges Pompidou, LaM
(université Paris-6), LIMSI, France Télécom (Orange),
sonic emotion, Sony-CSL, UMR 7060 CNRS-université
Paris-Descartes, université d’Helsinki.
Équipe
–
S. Bertet, G. Leslie, T. Carpentier (CNRS), M. Noisternig,
K.-V. Nguyen, J. Sanson, C. Suied, I. Viaud-Delmon
(CNRS), O. Warusfel.
Chercheurs invités : C. Suied (CNRS-UMR 7593).
éQuipe perception
et design sonores
Responsable : Patrick Susini
Activités
–
Intégrée dans les activités de l’Ircam en 1999, l’équipe
Design sonore s’articule aujourd’hui d’une part autour
d’axes de recherche théorique associant sémiotique,
acoustique et perception et, d’autre part, autour du
développement d’outils de description, de synthèse et
de diffusion sonores. Son ambition est de structurer le
domaine par des travaux en recherche afin de proposer
des règles et des principes généraux associés à la signification des sons, tout en conservant une approche
esthétique propre au domaine musical. Comme pour le
design de manière générale, la notion de design sonore
représente un champ potentiellement très large, dont
les domaines d’application doivent être précisés. aussi
l’équipe développe-t-elle son approche en considérant quatre domaines d’investigation – objet, espace,
signalétique, média – par le biais de projets nationaux
et industriels.
Principales thématiques
–
Les activités sont structurées autour de cinq domaines
d’investigation en termes de recherche et d’applications :
• Description, identification et simulation d’une source
sonore.
Les qualités de simulation d’un instrument de musique,
ou plus généralement d’une source sonore dépendent
à la fois des modèles de représentation perceptive, de
synthèse physique et de diffusion sonore. Une grande
partie des travaux de l’équipe est consacrée à l’étude
des différents niveaux de description d’un son (acoustique, événementiel, sémantique…) qui traduisent les
processus de perception des attributs du son, les processus de reconnaissance des interactions élémentaires
et les processus d’identification des sources sonores
(cf. projet Closed p. 52, projets SID et Minet p. 53,
projet Sample Orchestrator p. 31). Une autre porte
sur l’étude du couplage d’un système de modélisation
physique (cf. logiciel Modalys p. 62) et d’un système
de diffusion/spatialisation (cf. Synthèse du rayonnement, Sources à directivité contrôlée, p. 38). Cette
combinaison doit permettre d’élaborer un outil adapté
pour le design d’objets sonores.
• Perception d’une séquence sonore.
La perception globale d’une séquence sonore, composée de divers événements ou d’une phrase musicale,
16
dépend de l’agencement de ses unités et de ses caractéristiques temporelles. L’équipe mène des travaux de
recherche consacrés à ce sujet : étude des éléments
d’une phrase musicale qui constituent la grande forme
musicale, compréhension des mécanismes de mémoire
auditive en relation avec les dimensions émotionnelles,
analyse des relations entre formes temporelles et perception globale de la sonie d’une séquence sonore.
• Qualité sonore.
La notion de qualité d’un produit passe aussi par sa
représentation sonore. L’équipe travaille sur l’évaluation de la qualité sonore en étudiant les représentations
perceptives et cognitives sous-jacentes aux jugements
de préférence ou d’agrément. D’autre part, l’équipe
mène des travaux sur la mise au point de méthodes
expérimentales davantage adaptées à la représentation d’un objet dans un contexte d’usage.
• Signalétique sonore.
L’utilisation de sons autres que la parole permet de
communiquer des informations complémentaires
(confirmation) voire essentielles (alerte, assistance)
selon le contexte (hors champ ou surcharge visuelle),
selon l’usager (déficience visuelle). L’équipe poursuit des travaux sur ce thème en menant des études
psychoacoustiques permettant d’établir des relations
entre des paramètres acoustiques (rythme, hauteur…)
et une information à communiquer (urgence véhiculée
par une alarme sonore – thèse de Clara Suied, collaboration avec Renault) en adoptant des approches expérimentales objectives (tâche attentionnelle, temps de
réaction…). Par ailleurs, l’équipe adapte des méthodologies à l’étude de signalétiques sonores pour des
lieux publics en combinant des approches expérimentales en laboratoire et des approches situées associant
parcours commentés et enquêtes d’usagers (thèse de
Julien Tardieu, collaboration avec la SNCF).
–
Psychoacoustique, psychologie cognitive, acoustique,
diffusion, sémiotique, design sonore, environnements
sonores, analyse de données.
Collaborations
–
Department of art and Industrial Design (Venise), Hochschule für Gestaltung und Kunst (Zurich), Renault, SNCF,
EDF, Klaxon, LMa (CNRS), LaM (université Paris-6), Unité
Perception multisensorielle, cognition et modélisation
(France Télécom R&D), Ina-GRM, LaPS-Design, Genesis.
Équipe
–
a. Devergie, a. Frère, O. Houix, G. Lemaitre, a. Minard,
N. Misdariis, P. Susini.
éQuipe AnALYse
et sYntHÈse des sons
Responsable : Xavier Rodet
Activités
–
Traitement du signal, statistiques, théorie de l’information, techniques d’apprentissage, reconnaissance
des formes.
–
L’équipe analyse et synthèse des sons effectue des
recherches et des développements en analyse, transformation et synthèse des signaux sonores.
L’analyse de sons comprend les méthodes permettant
l’extraction ou la structuration automatique de divers
types d’informations provenant du signal, comme la
fréquence fondamentale ou les évolutions spectrales
déterminant la hauteur et le timbre du son perçu. Des
informations non strictement musicales sont également
prises en compte et intéressent des domaines tels que
l’acoustique industrielle, le design sonore et le multimédia. On peut citer, en particulier, l’indexation automatique des enregistrements sonores. Les méthodes
utilisées reposent sur le traitement du signal, l’analyse
statistique, la théorie de l’information, les techniques
d’apprentissage et la reconnaissance des formes, mais
aussi sur la connaissance de la perception auditive et
de la production sonore par les systèmes acoustiques.
Les techniques de transformation et la synthèse
des sons sont d’abord conçues pour répondre aux
demandes des musiciens pour la création de nouveaux
sons et de nouvelles musiques. Un exemple typique en
est la synthèse d’un chœur virtuel par un ordinateur
sur la scène d’un opéra. Ces travaux trouvent également de nombreuses applications dans des domaines
tels que la téléphonie mobile, les jeux vidéo, l’aide à la
navigation ou la réalité virtuelle en général.
analyse et synthèse reposent sur la conception d’une
part de modèles de signaux (modélisation des effets
des sons produits en termes de signaux), d’autre part
de modèles physiques (modélisation acoustique des
causes de production en tant que sources sonores).
Ces modèles sont implantés sous la forme de logiciels
pour ordinateurs PC ou Macintosh, dotés d’interfaces
graphiques spécifiquement conçues à l’intention d’utilisateurs professionnels ou non, musiciens, mais aussi
ingénieurs du son, acousticiens et amateurs.
17
–
• Modèles de signaux (cf. analyse/synthèse additive,
traitements par vocodeur de phase, p. 26) a. Roebel
• Caractérisation des sons (cf. indexation automatique, p. 41, projets Cuidado, SemanticHIFI, Ecoute,
MusicDiscover, Quaero p. 48 et 49) G. Peeters
• Modèles physiques (cf. inversion de modèles physiques, projet Windset, p. 25), T. Hélie.
• analyse, reconnaissance, transformation et synthèse
de la voix et de la parole (cf. projet Vivos, affective
avatars, Rhapsodie, Respoken, angelStudio p. 27 et
28). S. Farner, P. Lanchantin, C. Veaux
• Logiciels : SuperVP (p. 59), audiosculpt (p. 60),
Diphone Studio (p. 61), a. Roebel, N. Bogaards
Collaborations
–
Télécom Paritech, École des Mines de Paris, CEa Fontenay, France Télécom R&D, université de Berkeley
(Californie), UPF-Barcelone, université d’alberta à
Edmonton, IRISa-Lannion, BeTomorrow (Bordeaux),
Studio Chinkel (Paris), MakeMusic (USa), université technique de Berlin (allemagne), université de
Pampelune, Fondation EaDS, Hôpital Necker, LIMSI,
Thomson, Exalead, LIRIS (Lyon), CEa Saclay, Laboratoire des signaux et systèmes-université d’Orsay, WMI,
Dalet, EMI, Univers Sons, Xtranormal, Voxler.
Équipe
–
G. Beller, J. Bloit, N. Bogaards, J.-J. Burred, C.-E.
Cella, M. Caetano, W.-C. Chang, I. Cohen, F. Cornu,
G. Degottex, E. Deruty, S. Farner, D. Fenech, J.-S. Gualtieri, T. Hélie, P. Lanchantin, R. Mignot, a. Marty,
N. Obin, H. Papadopoulos, G. Peeters, M. Riffault,
X. Rodet, J.-F. Rousse, a. Roebel, D. Roze, D. Tardieu,
C. Veaux, F. Villavicencio, C. Yeh.
éQuipe représentAtions
musicALes
Responsable : Gérard Assayag
Activités
–
Composition et analyse assistées par ordinateur, musicologie computationnelle, musicologie cognitive, intelligence artificielle, langages informatiques, apprentissage automatique, méthodes algébriques.
–
L’équipe Représentations musicales mène des recherches et développements sur la représentation symbolique des structures musicales et les langages et
paradigmes informatiques adaptés à la musique. Ces
travaux mènent à des applications dans les domaines
de la composition assistée par ordinateur (CaO) et de
la musicologie computationnelle.
La réflexion sur les représentations de haut niveau
des concepts et des structures musicales, appuyée sur
les langages informatiques originaux développés par
l’équipe, débouche sur l’implantation de modèles qui
peuvent se tourner vers la création comme vers l’analyse musicale.
Sur le versant création, on a pu constater, depuis que
les logiciels en question ont pu être diffusés vers une
communauté importante de musiciens, des formes
de pensée originales liées à cette caractéristique particulière des supports informatiques qu’ils peuvent
représenter (et exécuter) à la fois la partition finale,
ses divers niveaux d’élaboration formelle, et ses générateurs algorithmiques. Il est à noter que les œuvres
ainsi élaborées contiennent pour une part leur propre
analyse structurelle.
Sur le versant musicologique, les outils de représentation et de modélisation permettent une approche
véritablement expérimentale qui dynamise de manière
significative cette discipline.
–
• Logiciel OpenMusic (p. 63)
• aide à l’orchestration (p. 26-27)
• Contrôle de la synthèse pour la composition (p. 28)
• Écriture du temps (p. 41), (cf. Partitions interactives
p. 42, projet REaCT, p. 44)
• Mathématique et musique : projet MISa (p. 35)
• Modélisation du style, de l’improvisation, de l’interaction : (cf. logiciel OMax p. 44, projet Médiations,
p. 40)
• Nouvelles interfaces pour le compositeur : instruments « augmentés » (p. 29)
• Nouvelles approches en musicologie et ethnomusicologie cognitive (p. 31)
• Nouvelles approches en pédagogie musicale : logiciel
Musique Lab 2 (p. 69)
18
Collaborations
–
Universités : UCS Los angeles, UCSD San Diego,
Columbia New York, Harvard, Yale, Pontificad Javeriana
Cali, Minnesota, Washington, EsMuC Barcelone, Jyvaskyla, City University London, École normale supérieure
Paris, Caen, Strasbourg, UPMC Paris, INRIa, Paris-Sud
Orsay, Electronic Music Foundation, CNSM, GRaME
Lyon, Éducation nationale, GMEM.
Équipe
–
C. agon (OpenMusic, écriture du temps), Y.-K. ahn,
a. allombert (écriture du temps), M. andreatta,
G. assayag, J. Bresson (OpenMusic, contrôle de la synthèse, Musique Lab 2), G. Carpentier (Orchestration),
F. Maniatakos (interaction), G. Nouno (interaction),
S. Schaub.
Chercheurs invités : M. ayari, G. Bloch, C. Rueda (écriture du temps), P. Van Roy.
éQuipe AnALYse des prAtiQues
musicALes
Responsable : Nicolas Donin
Activités
–
L’équipe analyse des pratiques musicales mène des
recherches sur les œuvres et pratiques musicales
savantes qui constituent le cœur de l’activité de
l’Ircam : composition, interprétation de la musique
contemporaine, écoute attentive, analyse musicale.
Pour ce faire, l’équipe développe une musicologie
empirique et technologique qui vise à décrire (et
éventuellement à modifier) des savoirs extérieurs à
l’analyste, grâce à des méthodes originales de constitution des données. Il s’agit de rendre compte des
phénomènes considérés sans les réduire a priori à leur
structuration apparente (procédures formalisables,
textes stabilisés, mise en jeu de savoirs faire abstraits
de tout contexte), mais au contraire en les abordant en
tant que complexités dynamiques, créatrices, situées,
sociales et culturelles. Cela s’applique aussi bien à
l’étude d’activités et situations contemporaines (par
ex. : travail de l’interprète à domicile, en répétition,
en concert ; composition d’une œuvre utilisant l’informatique musicale ; réalisation d’une analyse musicale
multimédia à vocation pédagogique ; etc.) qu’à l’étude
de pratiques passées (par ex. : rédaction du guide
d’écoute d’un opéra par un musicographe à la fin du
xixe siècle ; lecture de partition, telle qu’en témoigne
l’enregistrement sonore d’une exécution instrumentale ; etc.).
Les différents projets que nous menons présentent des
configurations interdisciplinaires, technologiques et
sociales très diverses en fonction des objets d’étude.
ainsi, l’étude de l’activité de composition de Voi(rex)
de Philippe Leroux demandait-elle un croisement
entre génétique textuelle et anthropologie cognitive,
elle coïncidait et interférait avec l’élaboration d’une
nouvelle œuvre par le compositeur ; enfin, elle s’est
effectuée en relation avec la conception d’une documentation hypermédia sur le processus créateur et
la façon dont le compositeur écoute son œuvre. Ou
encore : l’étude des premières publications d’« analyse
musicale » en France (fin xixe, début xxe) etc., de l’activité analytique de Charles Malherbe en 1888 (préfigurant les pratiques modernes de l’analyse musicale),
suppose la mise en relation d’une enquête micro-historique sur les conditions d’écriture et de réception de
son guide d’écoute, avec une généalogie critique des
procédures de segmentation et de mise en tableau aux
xixe et xxe siècles ; elle débouche sur la conception d’un
outil informatique d’aide à l’analyse musicale.
19
Ces travaux sont diffusés par des publications et colloques au sein des différentes communautés scientifiques concernées (principalement l’ergonomie cognitive, la musicologie historique, l’analyse musicale, la
sociologie, l’informatique musicale) ; ils font aussi
l’objet d’autres formes de dissémination : contribution
à la conception d’outils informatiques et de documents
hypermédias, participation à la production d’une
œuvre musicale, enseignement et conférences, etc.
–
• analyse de la composition
• analyse de l’interprétation
• Pratiques d’écoute contemporaines
• Pratiques d’écoute et d’analyse musicale : approche
historique
• Musicologie & sciences humaines/travaux de synthèse Projet Écoute (p. 49)
• Outils de publication multimédia pour la musicologie (p. 50)
–
Histoire de la musique et de la musicologie, ergonomie
cognitive, ingénierie multimédia.
Collaborations
–
Centre de recherches sur les arts et le langage (EHESSCNRS), Centre canadien d’études allemandes et européennes (Montréal), Conservatoire national supérieur
de musique et de danse de Paris, Conservatoire de
Genève, groupe Ergonomie cognitive & IHM (Renault),
université de Montréal, INa-GRM.
Équipe
–
N. Donin, M. Dupont, L. Feneyrou, S. Goldszmidt.
éQuipe interActions
musicALes temps réeL
Responsable : Frédéric Bevilacqua
Activités
–
L’équipe Interactions musicales temps réel mène des
recherches et des développements autour des technologies informatiques pour l’interaction et le traitement
en temps réel d’informations musicales, sonores et
gestuelles. Ces travaux, tournés vers la création musicale, trouvent aussi des applications pour l’audio et
le multimédia dans des contextes pédagogiques et
industriels.
La mise en relation des instruments traditionnels
avec l’informatique musicale occupe, depuis la création de l’Ircam, une place particulière, notamment
avec les recherches concernant l’augmentation des
instruments par des dispositifs de captation, les traitements sonores en temps réel, l’analyse et la reconnaissance du jeu instrumental et le suivi de partition.
Jusque récemment, l’enjeu principal des applications
temps réel en musique concernait principalement le
contrôle direct de traitements sonores à partir du son
de l’interprète. Les récents développements permettent une intégration de ces processus instantanés avec
des processus plus complexes d’analyse et de synthèse
musicale. L’interaction musicale intègre de multiples
échelles temporelles : l’action de l’interprète sur le vif,
l’apprentissage et l’anticipation en temps réel, ainsi
que l’écriture musicale.
Ces développements concernent surtout les représentations et structurations de la mémoire informatique
dans les outils musicaux temps réel (structures/formats de données et opérateurs musicaux) ainsi que
les modèles d’interaction mettant en rapport l’action de l’interprète et les processus musicaux/sonores
(modèles statistiques multimodaux de l’interprétation,
des structures musicaux et du son).
Une préoccupation importante de ces recherches
porte sur la relation entre l’écriture, la pratique de
l’interprète et l’interaction temps réel dans différents
contextes (musicaux, chorégraphiques, scéniques) : le
vocabulaire à la disposition de l’interprète et du créateur, sa représentation dans les processus de calcul
ainsi que dans les outils d’écriture.
20
Principaux projets
–
• alignement et suivi de partition (p. 36).
• Captation et analyse du geste et du mouvement :
analyse et reconnaissance du geste (p. 25).
• Instruments augmentés (p. 25).
• Projet i-Maestro (p. 30).
• Projet Interlude (p. 30).
• Projet EarToy (p. 39).
• Projet Same (p. 43).
• Synthèse concaténative par corpus (p. 33).
• Projet Voxstruments (p. 26).
• Projet Sample Orchestrator (p. 31).
• Logiciel FTM (p. 67), Format SDIF (p. 33).
–
Interactivité, informatique temps réel, interaction
homme-machine, traitement de signal, captation du
mouvement, modélisation du son et du geste, modélisation statistique et apprentissage automatique, analyse et synthèse sonore temps réel.
Collaborations
–
Université McGill (Montréal), CNMaT (université de
Berkeley), DIST (université de Gênes), Goldsmith College (Londres), université technique de Berlin, LaM
(université Paris-6), université de New York, université
QueenMary (Londres), ENSCI (Paris), LIMSI (université
Paris-Sud), Compagnie Emio Greco & Peter Scholton
(amsterdam), association Puce Muse (Rungis, France),
Univers Sons/Ultimate Sound Bank, arturia, Cycling’74,
Dafact, Voxler, No design.
Équipe
–
F. Bevilacqua, T. Bianco, J. Bloit, a. Bonardi, R. Borghesi,
B. Caramiaux, a. Cont, D. Fenech, F. Guédy, J.-P. Lambert, F. Maniatakos, N. Rasamimanana, D. Schwarz,
N. Schnell.
éQuipe services en Ligne
Responsable : Jérôme Barthélemy
Activités
–
L’équipe Services en ligne prend en charge, dans le
cadre de projets nationaux et européens, la conception
et le développement de systèmes informatiques en
ligne, proposant en particulier un accès à des bases de
données sonores et musicales. Inaugurée avec le projet
Studio en ligne, cette activité s’est focalisée principalement sur la réalisation du projet SemanticHIFI et sur
la maintenance, l’adaptation et l’évolution de la SoundPalette, interface d’accès aux contenus sonores issue
des projets Ecrins et Cuidado.
L’équipe assure la mise en place de solutions technologiques opérationnelles permettant la gestion des
contenus sonores dans des bases de données, et leur
distribution sur Internet ou en intranet. Cette activité englobe la conception et le développement de
modèles formels permettant de décrire les contenus
(ontologies, thésaurus…), ainsi que la conception et
le développement de systèmes permettant l’échange
et l’interopérabilité de ces modèles. Ces modèles sont
développés notamment dans le projet SemanticHIFI,
dans lequel l’équipe développe un système permettant l’échange de métadonnées au travers d’un réseau
peer-to-peer, ou bien dans le projet Orchestration,
pour lequel l’équipe développe un système de bases
de données réparties, accessibles directement à partir
des applications mises en œuvre par les équipes scientifiques. L’équipe participe aussi au projet i-Maestro,
dans lequel elle développe des modèles d’annotation
et de description des contenus musicaux spécifiquement focalisés sur les usages pédagogiques. Cette activité reprend tous les grands axes traditionnels du génie
logiciel : conception des bases de données, architectures réparties, technologies Internet, modélisation
objet, conception des interfaces homme-machine,
développement, tests, gestion de configuration, suivi
de projet…
Par-delà la mise en place de cette infrastructure générale, l’équipe se positionne au sein des projets en tant
qu’intégrateur. Car les différents partenaires, et plus
particulièrement les équipes de recherche, développent les briques logicielles où réside une grande part
de la dimension prospective des projets ; ces modules
doivent être insérés dans les systèmes finaux. Pour
réaliser cet objectif, l’équipe se base sur l’étude et la
mise en œuvre des standards ouverts, aussi bien ceux
issus du Web et du World Wide Web Consortium, tel
XML et ses dérivés Resource Description Framework,
21
Web Ontology Language, Web Services Description
Language que ceux issus de l’ISO et notamment du
groupe MPEG (MPEG-7).
Principaux projets
–
• Projet Cuidado (p. 47).
• Projet SemanticHIFI (p. 48).
• Projet i-Maestro (p. 30).
• Projet Sample Orchestrator (p. 31).
• Projet Ecoute (p. 49).
• Projet Caspar (p. 52).
–
Modèles formels et structures de données. Bases de
données, Web et Internet, Standards, MPEG7, XML,
client/serveur, architectures réparties. Génie logiciel,
gestion de projet, conception fonctionnelle, ergonomie.
Collaborations
–
France : INa/GRM (Institut national de l’audiovisuel),
UTC/CNRS (université de technologie de Compiègne),
Kelis, WMI (MPO Online), Dalet Digital Media
Systems, Unesco ; Italie : aCS (advanced Computer
Systems), CNR (Consiglio Nazionale delle Ricerche),
Engineering Ingegneria Informatica S.p.a., université
d’Urbino, Metaware, ESa (European Space agency) ;
République Tchèque : CIaNT (International Centre for
art and New Technologies) ; Grèce : FORTH (Foundation for Research & Technology-Hellas) ; Israël : IBM
Haifa Research Laboratory ; Grande-Bretagne : atsemantics S.R.L., CCLRC (Council for the Central Laboratory of the Research Councils), université de Glasgow,
université de Leeds.
Équipe
–
J. Barthélémy, G. Boutard, F. Cornu, R. Ciavarella,
Chercheurs invités : a. Bonardi, F. Rousseaux (projet
Caspar).
Principaux projets de recherche
LES PRiNCiPAUX
PROJETS
DE RECHERCHE
23
sYntHÈse et trAitement sonores
Amélioration de la lutherie
traditionnelle
–
Équipe concernée : Acoustique instrumentale
La caractérisation de la qualité des instruments est
un sujet de recherche de l’équipe qui est aujourd’hui
repris et largement abordé pour les instruments à vent
dans le cadre du projet PaFI (p. 24). Les résultats de
nos recherches nous guident dans différents projets
qui portent sur l’amélioration des instruments et les
extensions de leurs possibilités. Ces projets ont comme
objectif de répondre à une demande musicale et d’offrir au compositeur tout un champ de possibilités
nouvelles. ainsi, après l’élargissement de la gamme
de sourdines des cuivres, l’étude d’un dispositif d’accord automatique pour la timbale et la réalisation d’un
bec de clarinette à volume variable, l’équipe s’est
intéressée à l’étude et au développement d’un capteur de force d’appui de l’archet au point de contact
avec la corde. Initialement conçu pour mesurer un des
paramètres des gestes du violoniste, ce dispositif peut
être utilisé également pour caractériser les propriétés
mécaniques des archets.
24
Projet PAFI
–
Plateforme modulaire d’Aide à la Facture Instrumentale
Équipes concernées : Acoustique instrumentale,
Atelier de mécanique
Financement : ANR, programme Contenus
et interactions
Période de réalisation : décembre 2008-novembre 2012
Partenaires extérieurs : Laboratoire d’acoustique
de l’Université du Maine (LAUM, Le Mans
coordinateur), Télécom Paris, ESEO Angers,
ITEMM Le Mans.
Ce projet propose une démarche partenariale ambitieuse et totalement originale entre des laboratoires de
recherche, un pôle national d’innovation des métiers
de la musique et un collectif d’artisans-luthiers agissant au nom d’associations professionnelles de la facture instrumentale, représentatif du tissu des microentreprises françaises. Il s’agit de répondre à la problématique de la reproduction et de l’optimisation de la
conception d’instruments de musique haut de gamme,
caractéristiques de la lutherie française sur le marché
mondial. PaFI propose donc la mise en œuvre d’outils
de caractérisation et de prédiction acoustique dédiés
à l’analyse et au prototypage virtuel des instruments.
ainsi sont prévus la mise au point d’un dispositif expérimental de caractérisation de la justesse de l’instrument par un dispositif de mesure d’impédance d’entrée, le développement d’un outil prédictif de justesse,
et, dans le cadre d’une thèse, la mise en place d’une
méthodologie du contrôle et de l’innovation avec les
facteurs, en s’appuyant sur les outils du module développés par les autres partenaires et en prospectant vers
des outils plus en amont (bancs d’essai tels que des
bouches artificielles et les simulations par modèle physique des instruments en situation de jeu).
Projet CONSONNES
Projet WINDSET
–
Contrôle des sons instrumentaux naturels
et synthétiques
–
Multimodèle physique pour applications
musicales
Analyse et synthèse des sons, Atelier de mécanique
Financement : ANR, programme blanc
Période de réalisation : décembre 2005-juin 2009
Partenaires extérieurs : Laboratoire de mécanique et
d’acoustique (LMA Marseille-CNRS, coordinateur),
Télécom Paris
Équipes concernées : Acoustique instrumentale, Analyse
et synthèse des sons, Interactions musicales temps réel
Programme : RIAM
Période de réalisation : 2004-2005 (13 mois)
Collaboration : Arturia (coordinateur)
L’objectif du projet est d’avancer dans la compréhension du contrôle des instruments de musique réels et
de leurs modèles physiques de synthèse, en s’attachant
notamment au lien existant entre les paramètres de
facture et de jeu d’une part, les caractéristiques physiques et perceptives des sons produits d’autre part. Le
projet s’intéresse notamment à l’étude des transitoires,
phénomènes les plus délicats à étudier et à modéliser,
dans le contexte des instruments à vent.
Les équipes de l’Ircam participant au projet orientent
leurs travaux vers les objectifs suivants :
• Modélisation simplifiée des résonateurs d’instruments à vent en vue de leur implantation en temps
réel et de la mise en œuvre de fonctions de contrôle
comme résolution de problèmes inverses (calcul des
variations des paramètres de jeu pour produire un son
enregistré donné) ;
• Conception et réalisation d’un robot musicien, évolution de la bouche artificielle existante, permettant
non seulement d’effectuer des mesures reproductibles
d’instruments à vent réels selon différents types d’embouchures et de modes d’excitation, mais susceptibles
également d’utilisations musicales.
L’objet du projet Windset est de rendre accessible un
ensemble de modèles physiques d’instruments à vent
sous forme de plugins commerciaux de séquenceurs
audio. Les instruments étudiés sont la trompette, le
trombone, la flûte, la clarinette et le saxophone. Seuls
les modèles physiques permettent de simuler les
variations de timbre de ces instruments en fonction
des paramètres de jeu (souffle notamment) et les différents types d’articulation entre notes. Cependant,
leur mise en œuvre est relativement complexe du fait
qu’ils se présentent sous la forme de systèmes dynamiques non-linéaires, nécessitant le contrôle simultané
de nombreux paramètres. L’un des principaux enjeux
du projet, au-delà de la réalisation de modèles physiques de qualité professionnelle et optimisés pour ces
instruments, est précisément de dégager des modes
de contrôle de haut niveau et de jeu qui puissent s’insérer facilement dans les logiciels usuels de production
sonore, tout en préservant la richesse des possibilités
sonores qui font l’intérêt de ces modèles.
Logiciel Brass © arturia.
Bouche artificielle destinée à la mesure des caractéristiques
de la trompette.
25
Projet VOXSTRUMENTS
Analyse/synthèse additive
–
Lutherie numérique intuitive et expressive :
nouveau concept d’instruments à contrôle
vocal
–
Interactions musicales temps réel
Financement : ANR (programme RIAM)
Coordinateur : Ircam
Période de réalisation : décembre 2006-février 2009
Partenaires extérieurs : sociétés Arturia et Voxler
Le projet vise la réalisation d’instruments à vent commandés par la voix. Il s’inscrit en continuité avec le
projet Windset, qui avait abouti à la réalisation de
modèles physiques de trompette, trombone et saxophone, commercialisés par la société arturia, sous la
forme de synthétiseurs logiciels (produit Brass) pilotés
par une commande MIDI (clavier, séquenceurs).
L’objectif est ici à la fois de développer de nouveaux
modèles physiques, jusqu’à présent inédits, d’instruments à vent (clarinette, hautbois, basson, flûte), mais
également de leur conférer un contrôle intuitif à la voix
en fonction de caractéristiques analysées en temps réel
à partir du signal vocal. Une part d’expérimentation
importante du projet porte donc sur la mise en correspondance (mapping) entre les descripteurs extraits du
signal vocal et les paramètres de contrôle des modèles
physiques.
Visualisation des amplitudes de pression – modèle de saxophone
par éléments finis.
26
Équipe concernée : Analyse et synthèse des sons
Cette technique est l’une des plus performantes pour
l’analyse et la transformation des sons, et est notamment disponible dans les logiciels Pm2, SuperVP,
audioSculpt et Diphone Studio. Un son est représenté
par une superposition de sinusoïdes variables au cours
du temps, d’un bruit de spectre variable au cours du
temps et de signaux transitoires. Nous avons breveté
un algorithme de synthèse, nommé FFT-1, qui diminue
considérablement le coût de calcul. Des recherches sur
l’extraction automatique des variations de fréquence
et d’amplitude des sinusoïdes sont poursuivies. Enfin,
des stratégies de contrôle de ce type de synthèse sont
mises au point, notamment par une description en
termes d’enveloppe spectrale des amplitudes.
Traitements par vocodeur
de phase
–
Le Vocodeur de phase, qui est l’une des techniques les
plus performantes pour l’analyse et la transformation
des sons, est la base du logiciel SuperVP. Il permet par
exemple de transposer, d’étirer ou de raccourcir des
sons, de les filtrer pratiquement sans limitation, etc.
Pour la parole également, la qualité sonore des signaux
transformés atteint un excellent niveau. De très nombreuses améliorations et extensions y ont été apportées. Citons par exemple :
• Le spectre réalloué (reassigned spectrum) ;
• L’estimation d’enveloppe spectrale par « true envelope » ;
• La transposition avec préservation d’enveloppe spectrale ;
• La transposition avec modèle « shape invariant » ;
• La synthèse croisée généralisée qui permet de synthétiser des sons hybrides ;
• Plusieurs méthodes d’estimation de la fréquence fondamentale (hauteur) du signal ;
• La classification de la nature des pics spectraux, sinusoïdaux (ou voisés) ou non-sinusoïdaux (bruits ou nonvoisés) ;
• La segmentation du plan temps/fréquence en régions
transitoires et non transitoires et le renforcement ou
atténuation des parties transitoires ;
• Le traitement des zones temps-fréquence sinusoïdales, non-sinusoïdales et transitoires dans les traitements ;
• Le modèle LF de source glottique permettant de
transformer la voix, etc. ;
Ces différents modules d’analyse, de synthèse et de
traitement sont utilisés dans plusieurs logiciels commerciaux.
Projet VIVOS
Projet AFFECTIVE AVATARS
–
Création de voix expressives : applications
multimédia
–
Période de réalisation : décembre 2005-septembre 2008
Partenaires extérieurs : France Télécom, Irisa, Chinkel,
BeTomorrow
L’objectif du projet est de combler le manque actuel
d’outils de postproduction à l’image liés à la voix, dans
le contexte du cinéma, de la vidéo et de la production
multimédia. Il vise à cet effet la mise en œuvre d’un
ensemble de techniques de synthèse et de traitement,
s’attachant spécifiquement au caractère expressif des
voix produites, à travers la combinaison de plusieurs
méthodes telles que :
• Transformation d’identité de voix : changement
des caractéristiques de l’identité vocale à partir d’un
enregistrement existant, modification du timbre de la
voix ;
• Transformation de type et de nature de voix : passage
d’une voix d’homme à une voix de femme ou d’enfant,
etc. ;
• Synthèse de voix expressive : modification de l’expression intrinsèque à une voix ;
• Synthèse à partir du texte : production d’une voix de
synthèse à partir d’un document textuel ;
• Synthèse à partir de corpus d’acteurs et personnages : synthèse consistant à faire dire un texte à une
voix existante, caractérisée à partir d’un corpus d’enregistrements.
Les applications prévues sont nombreuses et comprennent notamment le doublage au cinéma à partir
de voix de synthèse, la création de voix de personnages pour les dessins animés, la synthèse de voix
d’un acteur ou personnage existant à partir d’un texte
inédit, la modification de l’expression ou de l’accent
sous-jacents à une voix enregistrée, l’obtention de plusieurs identités vocales (personnages) à partir d’un seul
comédien, la synthèse vocale dans le contexte des jeux
à partir de systèmes de production générative de texte
et de caractéristiques expressives liées au contexte de
la narration, la production de commentaires sportifs
multilingues en direct, etc.
27
Financement : ANR - TLOG
Période de réalisation : janvier 2008 à décembre 2009
Partenaires extérieurs : Cantoche, LIMSI, Voxler
De nombreux acteurs économiques investissent
aujourd’hui massivement dans la création de services,
de jeux ou de mondes virtuels où les utilisateurs interagissent entre eux via leur « avatar ».
Le projet affective avatars a pour but de créer des
avatars affectifs animés en temps réel. La voix de l’utilisateur est l’interface de contrôle de l’expressivité de
l’avatar. Les paramètres expressifs/émotionnels extraits
par traitement du signal vocal en temps réel, sont utilisés pour piloter l’expression labiale, faciale et corporelle des avatars. Le timbre vocal de l’utilisateur est
également transformé en temps réel pour donner à
l’avatar une voix cohérente et adaptée à son image.
Nous abordons quatre verrous scientifiques/technologiques dans ce projet :
• Détection d’émotions dans la voix humaine ;
• Modélisation de l’expressivité corporelle (bodytalk) ;
• Transformation du timbre vocal en temps réel ;
• Modélisation d’un catalogue de profils vocaux avec
expressivité et cohésion multimodale.
Projet RHAPSODIE
–
Corpus prosodique de référence en français
parlé
Financement : ANR - SHS
Période de réalisation : janvier 2008 à décembre 2011
Partenaires extérieurs : Laboratoires MODYCO-université Paris-X UMR 7114, LATTICE UMR 8094, CLLE
Université Toulouse-2 UMR 5263, LPL université de
Provence UMR 6057
Le projet Rhapsodie est consacré à l’élaboration d’un
corpus prosodique de référence en français parlé,
échantillonné en différents genres discursifs. Outre les
annotations prosodiques, le corpus est doté d’annotations syntaxiques et informationnelles exploitables
pour l’analyse de ses relations avec la syntaxe et du
statut de la prosodie dans le discours (mise en place
de la structure communicative, gestion des tours de
parole). La question du standard d’annotation est donc
là une question majeure.
Les objectifs complémentaires des partenaires associés
à ce programme s’orientent autour de 7 axes :
• Mise au point de formats pour l’annotation et la lecture des données intonosyntaxiques dans une perspective d’interopérabilité et d’échange ;
• Mise à disposition au sein de la communauté scientifique de ressources de français parlé alignées (30 heures
de parole) dont 20 % auront été annotées prosodiquement (adaptation des conventions de transcription de
la TEI, format XML) ;
• Distribution en ligne d’outils pour traiter et analyser
ces ressources avec manuels d’utilisation exhaustifs
• Développement de méthodes linguistiques raisonnées et explicitées pour l’interprétation et la génération des structures ;
• Enrichissement des modèles intonosyntaxiques du
français parlé ;
• Contribution à l’amélioration de la prosodie en synthèse de la parole ;
• Organisation à l’issue du programme d’un colloque
international sur le thème de l’interface prosodie-discours qui nous permettra d’exposer nos résultats, de
les confronter aux travaux des équipes reconnues internationalement dans le domaine et de faire le point sur
les modèles prosodiques.
Projet ANGEL STUDIO
Projet RESPOkEN
–
Transformation de voix pour le dessin animé
et le doublage
Financement : FEDER-DRIRE Cap Digital Île-de-France
Période de réalisation : janvier 2009-décembre 2010
Partenaires extérieurs : Vocally, Chinkel
Le projet Respoken a pour but de produire des outils
logiciels permettant diverses transformations de voix.
D’une part, une transformation de la voix d’un locuteur pour obtenir la voix d’un locuteur différent,
une voix de femme devenant une voix d’homme par
exemple. Cette transformation trouvera des usages
dans des domaines d’application restés jusque-là à
l’écart comme le film d’animation et le doublage de
film. D’autre part, pour des applications de jeux vidéo,
animation et films, il est indispensable de pouvoir
modifier la façon de prononcer tel ou tel segment ou
phrase, ou d’obtenir des effets qui ne correspondent
pas à une voix habituelle, comme le fait un acteur.
Enfin, l’Ircam travaillera particulièrement sur la modification de l’expressivité, c’est-à-dire des émotions,
des affects, des intentions véhiculés par une phrase.
Partant d’une phrase donnée (un flux audio), le logiciel
pourra la transformer en une phrase phonétiquement
équivalente mais avec une expression modifiée (peur,
colère, joie, tristesse, dégoût, surprise, etc.). De plus,
l’utilisateur, c’est-à-dire un opérateur, un ingénieur du
son, pourra indiquer un degré d’expressivité à appliquer depuis très faible jusqu’à très fort.
28
–
Générateur d’Avatars Personnalisés
Financement : FEDER-DRIRE Cap Digital Ile de France
Période de réalisation : mars 2009-février 2010
Partenaires extérieurs : As An Angel, SoBuzzy,
TélécomSud Paris
Le projet angelStudio a pour objectif de développer un
générateur d’avatars permettant de produire à partir
de photos et d’échantillons de voix – correspondant à
un utilisateur donné – un avatar de ce dernier, sous la
forme d’un visage 3D photo réaliste, animé en temps
réel et doté d’une voix de synthèse paramétrable.
L’objectif scientifique du projet est de parvenir à une
reproduction de l’animation faciale et de la voix d’un
utilisateur avec un niveau de simulation correspondant
au seuil d’acceptabilité pour les utilisateurs. L’objectif
industriel du projet est d’intégrer ce générateur aux
solutions développées par les deux PME du consortium : as an angel et SoBuzzy. Le développement du
marché des agents conversationnels ainsi que de celui
du Web3D se heurte à la dure réalité du seuil d’acceptabilité de l’utilisateur final.
De nombreux projets et études, conduits notamment par as an angel (projet agent Conversationnel
Expressif), le Laboratoire Informatique de Grenoble (ex
CLIPS) et le réseau d’excellence HUMaINE, ont montré
que ce seuil, qui peut certes varier d’une culture à
une autre, reste globalement très élevé. En effet, les
attentes des utilisateurs, modelées notamment par la
littérature et le cinéma de science-fiction, correspondent à une simulation crédible de l’humain, tant au
niveau des capacités de dialogue qu’à celui de la représentation et l’animation d’un visage et d’un corps de
synthèse. Le projet angelStudio vise donc à permettre
à des agents conversationnels ou à des avatars d’atteindre le seuil d’acceptabilité pour deux modalités de
communication :
• l’animation faciale expressive de visages « photo-réalistes »,
• la simulation crédible d’une voix humaine expressive.
L’Ircam prend en charge le développement et la fourniture d’algorithmes de conversion d’identité de voix,
et la fourniture d’algorithmes de transformation d’expressivité de voix, des phrases synthétisées par un système de synthèse à partir de texte (TTS) du marché ou
par celui de l’Ircam (Ircam TTS).
signAL / sYmBoLiQue,
outiLs de composition
Analyse et reconnaissance
du geste
–
Équipes concernées : Interactions musicales temps réel,
département Création
Ce projet de recherche répond à un intérêt accru pour
les systèmes musicaux interactifs basés sur un contrôle
gestuel. Les applications concernent non seulement la
musique mais le spectacle vivant dans son ensemble,
tels la danse ou le théâtre. Il s’agit de recherches à
caractère fortement interdisciplinaire intégrant les
sciences de l’ingénieur, la physiologie et la biomécanique, les sciences cognitives et les domaines artistiques. Ces travaux s’effectuent en étroite collaboration
avec l’équipe d’Emmanuel Fléty, qui développe des
interfaces pour la captation de mouvement.
Un premier axe de recherche est dédié à l’étude du
geste instrumental et de sa relation à la fois avec l’écriture musicale et les caractéristiques du signal sonore.
Une étude approfondie concerne les instruments à
cordes. Différentes approches pour la captation sont
utilisées. Premièrement, les mouvements de l’archet,
du violon, ainsi que du corps entier de l’instrumentiste peuvent être mesurés en utilisant de la captation
optique 3D. Des collaborations avec McGill University,
l’IRISa (Rennes) et Leeds University ont été établies
pour effectuer ce type d’expériences. Deuxièmement,
nous développons des dispositifs de captation complémentaires, compatibles avec l’utilisation scénique
ou des contextes pédagogiques. L’ensemble de ces
méthodes nous permet de mesurer et de modéliser les
gestes d’instrumentistes, etc. Diverses problématiques
sont abordées comme le contrôle moteur et l’apprentissage dans le cas d’un geste expert, la caractérisation
de modes de jeu en considérant à la fois les paramètres
sonores et gestuels, ainsi que la modélisation de phénomènes de coarticulation gestuelle similaires à ceux
de la parole.
Un deuxième axe concerne le développement de systèmes d’analyse et de reconnaissance du geste. Nous
favorisons des approches générales permettant d’appliquer nos résultats aussi bien à la musique, à la danse
ou aux installations interactives. De tels systèmes
peuvent être, par exemple, intégrés dans le contexte
d’un spectacle vivant pour la synchronisation et l’interaction entre le mouvement des interprètes et divers
processus sonores. La reconnaissance est basée sur
diverses caractéristiques temporelles du mouvement,
29
captées soit par vidéo soit par un ensemble de capteurs embarqués sur le corps. Les outils issus de ces
recherches, comme le « suivi de geste », permettent
d’approcher des éléments gestuels de haut niveau –
perceptifs, sémantiques ou de grammaire chorégraphique. Dernièrement, un projet de documentation a
été entrepris avec les outils issus de cette recherche en
collaboration avec la compagnie de danse Emio Greco
| PC.
analyse du geste : modélisation du mouvement d’un danseur pour
la commande de processus sonores à partir d’une captation vidéo.
Instruments augmentés
–
Acoustique instrumentale
Les instruments augmentés correspondent à des instruments acoustiques auxquels sont intégrés des capteurs, afin de transmettre en temps réel des paramètres gestuels. Ces instruments sont spécialement bien
adaptés au contexte de musique mixte acoustique et
électronique. Ces travaux s’effectuent en étroite relation avec des compositeurs et interprètes dont le but
est d’intégrer ces technologies dans leurs œuvres. Ces
développements s’inscrivent également dans le cadre
de recherche sur le geste instrumental.
Ce projet avait été initié par le développement du
« violon augmenté », qui s’est fortement développé, en
raison d’un intérêt accru des compositeurs. Nous travaillons désormais sur tous les instruments du quatuor
à cordes, ainsi que sur certains instruments de percussions. Diverses techniques informatiques sont également développées pour analyser, reconnaître et suivre
les gestes instrumentaux. Par exemple, un vocabulaire
d’éléments musicaux comme des modes de jeux ou des
phrases musicales peut être défini par le compositeur,
et servir de base pour l’interaction avec des processus
sonores comme la synthèse ou la spatialisation. Ces
outils permettent également le développement d’une
nouvelle génération de suivi de partition. Finalement,
il est à noter que les instruments augmentés sont utilisés dans des créations musicales mais également dans
le cadre d’applications pédagogiques.
musique et, notamment, dans les outils logiciels pour
l’éducation musicale.
Le rôle de l’Ircam dans ce projet est principalement :
• De développer les méthodes et les outils de suivi
automatique de partition, afin de permettre l’accompagnement intelligent de l’exécutant et le contrôle du
rendu musical ;
• De développer des méthodes et des outils pour la
captation du geste et son évaluation dans un cadre
pédagogique ;
• De développer des modèles formels et des outils
pour l’annotation et la description du contenu musical,
afin de permettre notamment son utilisation dans un
cadre pédagogique. Contacts : Dr Kia Ng, coordinateur
du projet, [email protected] (université de Leeds,
GB), Prof. Paolo Nesi, responsable de l’architecture
informatique, [email protected] (université
de Florence, Italie).
Projet I-MAESTRO
–
www.i-MaESTRO.org
[email protected]
Services en ligne
Programme : Information Society Technology (IST), 6e
PCRD, Commission européenne
Période de réalisation : octobre 2005-septembre 2008
(36 mois)
Partenaires extérieurs : université de Leeds
(GB - coordinateur), université de Florence (Italie),
université de Reading (GB), Sibelius Software (GB),
Accademia Nazionale di Santa Cecilia (Italie),
Fundacion Albeniz (Espagne), Exitech (Italie), Stichting
FNB (Amsterdam), City University London (GB)
L’objectif du projet i-Maestro est le développement
de nouvelles méthodes pour l’apprentissage de la
musique, basées sur les innovations récentes issues du
développement des technologies de l’information. Il
concerne aussi bien l’apprentissage théorique (solfège)
que la pratique instrumentale. Les résultats du projet
seront validés au travers d’un ensemble d’outils et de
méthodes :
• Des outils et des méthodes pour la production de
logiciels éducatifs musicaux ;
• Des outils interactifs pour la formation musicale et
instrumentale ;
• Des modèles pédagogiques pour la formation musicale et instrumentale.
Le projet comprend aussi des activités de démonstration et de validation, qui sont menées dans des institutions européennes majeures telles que l’accademia
Nazionale Santa Cecilia (Rome), la Fondation albeniz
(Madrid) et l’Ircam.
Les retombées du projet sont intégrées dans différentes
offres de produits et services qui seront mis à disposition du public et des établissements d’enseignement,
notamment grâce à la participation de la société Sibelius, une société spécialisée dans les logiciels pour la
30
Projet INTERLUDE
–
Nouveaux paradigmes numériques pour
l’exploration et l’interaction gestuelle
expressive avec des contenus musicaux.
Équipe concernée : Interactions musicales temps réel
Financement : ANR, programme Contenus
et interactions
Période de réalisation : décembre 2008-mai 2010
Ce projet touche les trois axes de recherche de l’équipe
Interactions musicales temps réel : paradigmes d’interactivité, modélisation multimodale et interfaces gestuelles collaboratives. Bien que les développements
récents de l’informatique musicale permettent d’analyser, de traiter, de manipuler la musique et le son tant
sur le plan du signal audio que sur le plan symbolique
d’une partition, les possibilités d’interaction gestuelle avec ces éléments de représentation musicale
et sonore restent encore largement sous-exploités.
Pourtant, comme le montrent les recherches récentes
dans le champ des interfaces homme-machine et des
sciences cognitives, l’engagement gestuel et corporel
dans une interaction en modifie fondamentalement
l’expérience.
Le but du projet Interlude est de développer des interfaces gestuelles collaboratives permettant une exploration expressive en temps réel de contenus musicaux,
dans le domaine du signal audio comme dans celui,
symbolique, de la partition. Ces développements vont
nécessiter d’élaborer des paradigmes d’interactions
spécifiques. L’interaction ne se limite alors pas seulement à des sélections et déclenchement d’événements,
mais permet d’explorer et de modifier en temps réel et
de manière expressive le contenu musical. Les actions
agiront sur des paramètres sonores de haut niveau,
par exemple des paramètres d’articulation et d’interprétation. De plus, en modifiant dynamiquement les
représentations du contenu musical en fonction des
gestes, une œuvre musicale pourra s’appréhender
intuitivement comme une superposition d’éléments
fixes (contenus) et variables (interprétation). De tels
dispositifs ont de manière évidente des applications
importantes concernant la découverte et la compréhension d’un contenu musical, les rendant utilisables
dans des contextes pédagogiques divers : éveil, jeux
ludo-éducatifs ou pédagogie dans des cadres institutionnels. Par ailleurs, la performance, l’interprétation
et l’improvisation dans un contexte professionnel sont
également concernées. La capacité de manipuler des
représentations et des annotations musicales sur un
répertoire donné demeure un enjeu majeur de ces
applications.
un dispositif instrumental d’échantillonneur de nouvelle génération ;
• Outil d’aide à l’orchestration, intégré à l’environnement OpenMusic, trouvant, sur la base de la modélisation de connaissances musicales, généralement
empiriques de la part de compositeurs, les meilleures
combinaisons de sons en vue de l’obtention de l’effet
musical recherché (fusion/séparation, réorchestration
à partir de sons existants, etc.).
Projet SAMPLE ORCHESTRATOR
L’organisation du projet prévoit des activités de
recherche autour des principaux verrous scientifiques
et technologiques identifiés : description, indexation
et classification automatique des contenus sonores et
musicaux, traitement sonore par le contenu, ingénierie
des connaissances musicales et leur application à l’orchestration, environnements logiciels pour le traitement audio temps réel.
–
Orchestration
Équipes concernées : Analyse et synthèse des sons,
Représentations musicales, Services en ligne,
Perception et design sonores, Interactions musicales
temps réel
Période de réalisation : décembre 2006-juin 2009
Partenaire extérieur : Société Univers Sons
–
Le projet Sample Orchestrator vise la réalisation et
l’expérimentation de nouvelles applications reposant
sur la gestion et la manipulation par le contenu de
banques d’échantillons sonores (sons isolés préenregistrés). Sa réalisation s’inscrit à la conjonction de deux
processus : d’une part, la disponibilité commerciale de
grandes banques d’échantillons diffusées sur différents
supports (CD et DVD, bases en ligne), mais limitées
dans leurs applications (synthétiseurs par échantillonnage) ; d’autre part, des avancées scientifiques
et technologiques récentes en matière de méthodes
d’indexation et de systèmes de gestion de bases de
données audio, permettant d’envisager des fonctions
musicales encore inédites, faisant appel à des modes
de gestion globale et de manipulation par le contenu
de l’ensemble des échantillons disponibles :
• Gestion par le contenu de banques d’échantillons :
classification automatique, recherche par similarité,
synthèse concaténative sur la base de descriptions de
haut niveau ;
• Traitement audio par le contenu (se fondant sur
une analyse préalable des caractéristiques des signaux
traités) : transposition, dilatation, hybridation, etc. Ces
fonctions de traitement se décomposent en fonctions
de prétraitement, visant la préparation d’échantillons
en studio, et celles de post-traitement, intervenant en
temps réel lors de l’utilisation de banques de sons par
31
Équipes concernées : Représentations musicales,
Analyse et synthèse des sons, Services en ligne
Le projet Orchestration est partie intégrante du projet
Sample Orchestrator. Il a pour ambition de fournir
aux compositeurs un outil d’aide à l’orchestration
intégré aux environnements logiciels de composition
de l’Ircam tels que OpenMusic. En mettant à profit
les connaissances acquises grâce à l’analyse de larges
bases de données de sons instrumentaux – rendant
compte de l’étendue des possibilités des instruments
de musique – et les avancées dans la compréhension
du timbre, nous souhaitons aider les compositeurs à
explorer l’espace des possibilités sonores offertes par
un orchestre. Le problème consiste à trouver les combinaisons de sons instrumentaux qui s’approchent le
plus, selon des critères de similarité définissables par
l’utilisateur, d’une cible spécifiée soit à partir d’un son
enregistré, soit de manière plus abstraite (superposition de hauteurs par exemple).
Les principaux verrous scientifiques résident, du point
de vue de l’analyse du signal, dans le choix d’un
ensemble de « caractéristiques » calculables à partir
d’échantillons de sons d’instruments, pertinentes quant
à la description du timbre, et permettant de prédire,
sans avoir à l’écouter ni à l’analyser, le timbre d’une
superposition de sons. L’approche retenue consiste
à agréger la connaissance tirée de l’analyse de larges
bases de données sonores en un jeu de « modèles
d’instruments », permettant d’évaluer la probabilité
qu’un son donné soit joué par un instrument ou un
groupe d’instruments. Pour le moment limitée à des
sons statiques harmoniques et aux variations temporelles périodiques (telles un tremolo ou un vibrato),
l’application sera amenée à s’étoffer dans les années à
venir pour être capable, à terme, de travailler avec tout
type de sons. Un autre verrou concerne une gestion de
la combinatoire adaptée aux données manipulées, la
complexité du problème interdisant d’évaluer toutes
les solutions possibles. La méthode actuellement
explorée permet de proposer au compositeur, en un
temps raisonnable, un ensemble de solutions approchées sur la base desquelles, via un environnement
interactif, certaines zones de l’espace de recherche
pourront être favorisées au détriment d’autres, moins
susceptibles de conduire à des solutions intéressantes.
La recherche d’une orchestration se présente alors
comme un processus itératif au cours duquel émergent
conjointement solutions pertinentes et préférences de
l’utilisateur. Techniquement parlant, les solutions intéressantes sont proches du front de Pareto d’un problème d’optimisation (sac-à-dos) multicritères.
32
Synthèse concaténative
par corpus
Format SDIF
–
Équipe concernée : Interactions musicales temps réel
La synthèse concaténative par corpus utilise une base
de données de sons enregistrés, et un algorithme de
sélection d'unités qui choisit les segments de la base
de données qui conviennent le mieux pour la séquence
musicale que l'on souhaite synthétiser par concaténation. La sélection est fondée sur les caractéristiques
de l'enregistrement, qui sont obtenues par analyse du
signal et correspondent par exemple à la hauteur, à
l'énergie ou au spectre.
Les méthodes de synthèse musicale habituelles sont
fondées sur un modèle du signal sonore, mais il est très
difficile d'établir un modèle qui préserverait la totalité
des détails et de la finesse du son. En revanche, la synthèse concaténative, qui utilise des enregistrements
réels, préserve ces détails.
La mise en œuvre de la nouvelle approche de synthèse
sonore concaténative par corpus en temps réel permet
une exploration interactive d’une base sonore et une
composition granulaire ciblée par des caractéristiques
sonores précises, et permet aux compositeurs et musiciens d'atteindre de nouvelles sonorités.
Ce principe est réalisé dans le système CataRT, qui
permet l'affichage d'une projection 2D de l’espace des
descripteurs, et une navigation simple avec la souris ou
par des contrôleurs externes. Les grains sont ensuite
sélectionnés et joués par proximité géométrique, par
métronome, en boucle, ou en continu dans l'enregistrement d'origine. Il est également possible de spécifier un rayon autour de la position courante, qui sélectionne un sous-ensemble de grains, dont un est joué
au hasard.
CataRT est utilisé dans des contextes musicaux de
composition, de performance et d’installation sonore
variés. Puisque ce domaine de recherche est encore relativement jeune, beaucoup de questions de recherche
intéressantes se posent (ou restent à trouver), quant à
l’analyse et l’exploitation des informations contenues
dans les données d’un corpus, la visualisation et l’interaction temps réel.
33
–
Sound Interchange Standard Format
Équipe concernée : Analyse et synthèse des sons,
Interactions musicales temps réel, Représentations
musicales
Ce standard de format de fichier, indépendant des plateformes informatiques, extensible et en accès libre,
spécifie très précisément les types de données de description des signaux audio et leur représentation. Il
permet donc à des logiciels différents de communiquer
immédiatement dès lors que leurs entrées/sorties sont
conformes au standard. Il facilite également la maintenance des fichiers de données grâce aux informations
annexes encapsulées dans le fichier, et en permettant
à des données hétérogènes de coexister dans un seul
fichier. Une bibliothèque de fonctions C de lecture/
écriture, ainsi que des applications ont été développées et mises en licence « open source ».
(http://ircam.fr/anasyn/sdif).
Contrôle de la synthèse sonore
pour la composition musicale
–
Collaboration : GRAME
Ce projet vise l’étude des nouvelles modalités d’écriture et de composition musicale mettant en jeu les sons
et la synthèse sonore dans le cadre de la composition
assistée par ordinateur. Les technologies de synthèse
sonore et de traitement du signal ont en effet permis
d’entrevoir des ouvertures significatives voire inédites
dans la composition. Cependant ces ouvertures sont
souvent restées spéculatives ou à l’état expérimental,
s’insérant parfois difficilement dans les pratiques compositionnelles. L’approche classique en effet nécessite
l’appropriation de systèmes puissants mais complexes,
dont l’appréhension et le paramétrage, nécessaires à la
production des sons de synthèse, peuvent à eux seuls
accaparer le travail du compositeur, le détournant de
toute activité réellement créative.
L’approche proposée dans ce projet tire parti du savoirfaire acquis dans le domaine de la composition assistée
par ordinateur pour traiter ce problème et l’insérer dans
un contexte compositionnel. La notion de modélisation compositionnelle met en avant le caractère calculatoire des processus de composition, dès lors susceptibles d’être représentés par des programmes. Rapporté
au domaine du son et de la synthèse sonore, il s’agit
donc selon ce principe de donner au compositeur les
outils, interfaces et structures adaptées pour le traite-
ment à haut niveau des données de description du son
mises en jeu. La synthèse sonore à proprement parler
intervient en dernière instance dans cette approche,
traitée par des outils et environnements externes avec
lesquels est établie une communication.
Cette démarche englobe donc des préoccupations de
bas niveau liées aux structures de stockage et de transfert des données, mais remontent jusqu’à des niveaux
compositionnels abstraits avec des outils « sémantiques » (structures de données symboliques, structuration temporelle des processus de synthèse, etc.).
Les outils développés dans le cadre de ce projet sont
intégrés à l’environnement OpenMusic. Ils permettent
aux compositeurs d’expérimenter ou d’étendre leur
champ compositionnel au domaine du signal et de la
synthèse sonore.
cette technologie permettra une réalisation naturelle
de l’évolution dans le temps des divers paramètres de
synthèse.
• L’enseignement
La technologie de papier augmenté intéresse particulièrement les musicologues et enseignants de musique.
Elle permet de travailler de façon collaborative sur un
support simple, la partition imprimée, mise en relation
avec le logiciel Musique Lab 2 afin de produire de nouvelles formes d’interaction.
Papier augmenté pour la CAO
–
Analyse des pratiques musicales.
Collaborations : LRI Orsay, INRIA
Grâce aux technologies de papier augmenté contenant un motif invisible mais détectable par une petite
caméra introduite dans un stylo, l’ordinateur peut
détecter ce qu’écrit le compositeur. Ce lien « amont »
entre le papier et l’ordinateur est complété par un lien
« aval » de l’ordinateur vers le papier grâce à l’impression sur papier augmenté, créant un cycle de production inédit.
Le but de ce projet, dont le prolongement fait l’objet
d’une demande aNR, est d’identifier, en collaboration
avec des artistes et des chercheurs, les applications
musicales possibles issues de l’articulation entre le support informatique et le papier augmenté. Plutôt que
de remplacer le papier, dont les propriétés de flexibilité, de confort et d’associativité libres sont reconnues,
notre approche consiste à développer des applications
qui combinent les avantages des documents papier et
des documents électroniques.
À long terme, nous envisageons de développer dans ce
projet des prototypes d’applications sur trois différents
axes :
• La notation
Dans le domaine de la composition musicale, on s’intéressera à la fois aux aspects de notation et d’annotation, l’un et l’autre étant en réalité complémentaires
de par la nature réflexive de la création musicale.
• L’écriture de la synthèse
De par sa souplesse d’utilisation et la finesse de l’interaction manuscrite comparée à la souris ou même
à une tablette graphique, le papier reste le support
privilégié pour l’expression informelle d’idées artistiques gestuelles et en particulier pour l’écriture de la
synthèse. En collaboration avec le logiciel OpenMusic,
34
Modélisation informatique
des structures algébriques en
musique et musicologie (MISA)
http://recherche.ircam.fr/equipes/repmus/mamux/
–
Analyse des pratiques musicales.
Collaborations : École normale supérieure, École supérieure de musique de Catalogne, université du Minnesota, Société française d’analyse musicale
Le projet « Modélisation informatique des structures
algébriques en musique et musicologie : aspects cognitifs, philosophiques et épistémologiques » (MISa) a été
retenu par le CNRS à l’occasion de la création d’un
poste de chercheur pour l’équipe Représentations
musicales.
Le projet MISa s’inscrit dans des recherches théoriques menées dans l’équipe Représentations musicales
depuis plusieurs années, avec des mathématiciens, des
musicologues, des philosophes et des compositeurs.
Il vise également à ouvrir un nouveau dialogue entre
la musicologie computationnelle, les sciences cognitives et les neurosciences. Une analyse des rapports
entre recherche musicale et sciences cognitives montre
que la musique est le seul art qui constitue un objet
d’étude en soi en neurosciences cognitives. Dans ce
champ de recherche, il y a très peu d’études, à présent, sur les approches mathématiques de la musique
et l’activité cognitive. Nous pensons qu’en s’appuyant
sur la modélisation mathématique et informatique des
structures musicales, il est possible de mettre en évidence un certain nombre de problèmes qui pourraient
constituer des bons candidats pour l’étude des retombées cognitives et perceptives des méthodes algébriques. Dans l’approche algébrique il y a, par exemple,
une articulation permanente entre le processus de
formalisation des structures musicales et le choix des
possibles représentations géométriques. Par exemple,
l’idée de symétrie est intimement liée à la structure
mathématique de groupe, si bien qu’étudier la perceptibilité de la notion de symétrie et d’invariance en
musique revient à étudier les effets cognitifs de l’action d’un groupe de transformation sur une structure
musicale donnée.
Le projet MISa a eu un ensemble de retombées internationales grâce au réseau de chercheurs qu’il a fédéré :
créations du Journal of Mathematics and Music, de la
société savante : Society for Mathematics and Computation in Music, ainsi que de la conférence annuelle
MCM (Mathematics and Computation in Music) dont
la première édition s’est tenue à Berlin en mai 2007.
35
MISa alimente de surcroît la collection Musique/
Sciences créée par l’équipe Représentations musicales en collaboration avec la SFaM. Cette collection
ouverte depuis peu a déjà produit six ouvrages, et en
a autant en chantier.
Musicologie cognitive :
segmentation et reconnaissance
de patterns
–
Équipe concernée : Représentations musicales
Collaborations : université de Strasbourg,
CIRMMT université McGill
Ce projet est né suite à un financement de l’action
concertée incitative du CNRS « Systèmes complexes en
sciences humaines et sociales ». Il se continue actuellement dans le cadre d’une collaboration avec l’université de Strasbourg et le CIRMMT.
L’objectif central de cette étude pluridisciplinaire est
de concevoir une modélisation à la fois cognitive et
computationnelle des mécanismes de perception et de
compréhension des patterns musicaux à l’œuvre dans
les musiques improvisées du bassin méditerranéen et
dans le jazz occidental pour explorer en particulier l’interaction étroite entre les processus de segmentation
et ceux de reconnaissance à l’œuvre dans l’écoute, des
points de vue de la perception, de l’analyse musicale
et de la modélisation informatique. Cette question
relève du domaine des objets complexes en termes
de représentations des schémas de connaissances, des
processus hiérarchiques de segmentations, de l’interaction entre traitements ascendants et descendants
et, surtout en ce qui concerne la musique, des problèmes d’application de ces opérations en temps réel
lors d’une écoute musicale. Cette recherche est centrée sur la modélisation par un système informatique
d’œuvres musicales avec des hypothèses analytiques
et perceptives, dans un double échange avec l’expérimentation : fournir un cadre d’analyse synthèse d’aide
à la validation des hypothèses, et extraire des indices
pertinents propices à l’enrichissement du modèle. Un
tel objectif nécessite une collaboration étroite entre
toutes les disciplines impliquées. Bien que chaque
domaine apporte sa méthodologie propre, nous souhaitons favoriser une interaction fine entre les différentes étapes d’analyse, de modélisation et d’expérimentation.
36
Des expériences transculturelles ont été conduites avec
des sujets acculturés dans les différents styles abordés
dans cette étude, et les résultats de cette étude ont
été comparés avec ceux fournis par le modèle informatique, mettant en avant un concept important, celui de
mélodie mère, ou pattern archétypique qui généralise
les motifs particuliers. La reconnaissance de ces archétypes est effectivement discriminante entre les différentes populations, et il est apparu que la modélisation
informatique devrait prendre en compte cet aspect
pour atteindre un pouvoir d’analyse convaincant.
spAtiALisAtion sonore
Wave Field Synthesis
–
Équipe concernée : Acoustique des salles
Financement : programme Sesame (conseil général
d’Île-de-France), CNRS, Ircam, ANR
La technique Wave Field Synthesis (WFS) désigne un
procédé de reproduction holophonique qui permet,
par analogie avec les hologrammes visuels, de capter
ou synthétiser une scène sonore en préservant les
informations spatiales de distance et de direction des
sources qui la composent. Cette approche, initiée par
l’université de Delft, dépasse les limites des systèmes
conventionnels en termes de fidélité de reproduction
sur une zone d’écoute étendue. Tandis que les techniques stéréophoniques conventionnelles (stéréo, 5.1)
s’apparentent au trompe-l’oeil et ne peuvent ainsi être
appréciées que depuis le centre du dispositif, l’holophonie a l’ambition de reconstruire un champ sonore
dans lequel les auditeurs peuvent se déplacer en gardant une perception cohérente de la localisation des
sources. L’Ircam a acquis une expérience dans ce mode
de reproduction grâce à sa participation au projet européen Carrouso et collabore actuellement avec l’entreprise sonic emotion basée en Suisse. Ces études ont
permis de mener différentes opérations de production
en partenariat avec le Centre Georges Pompidou pour
les expositions Dada (2005) et Beckett (2007) ainsi
qu’une installation interactive en juin 2006 (collaboration N+N Corsino). En 2008, grâce au soutien de la
région Île-de-France et du CNRS, l’Ircam a fait l’acquisition d’un système de diffusion WFS, composé de
128 haut-parleurs, et installé dans l’Espace de projection. Le système est couplé à un dispositif de suivi de
mouvement par caméras infrarouges. Cet équipement
a pour double vocation de susciter l’exploration de
nouvelles modalités de spatialisation pour la création
musicale et de permettre la mise en œuvre d’expériences à caractère scientifique consacrées à la réalité
virtuelle et la cognition spatiale.
Dispositif de reproduction holophonique utilisant un réseau
de 128 haut-parleurs dans l’espace de Projection. © Sylvia Gomes.
Technologies de reproduction
binaurale
–
La restitution réaliste de sources ponctuelles sur
casque d’écoute implique l’usage d’une spatialisation
binaurale. Celle-ci est basée sur le filtrage dynamique
de la source sonore par les fonctions de transfert
(Head-related transfer function, HRTF) préalablement
mesurées sur la tête d’un auditeur ou d’un mannequin.
Bien que son utilisation musicale soit encore limitée
(excepté pour la réalité virtuelle ou les installations
sonores interactives), la technologie binaurale représente un cadre de restitution d’une importance primordiale pour la situation de laboratoire. associée à des
dispositifs de suivi de position, c’est à ce jour, la seule
technique, assortie de moyens de suivi de position,
qui permette de restituer sans artefact la complexité
acoustique d’une scène sonore. Cette technique reste
notamment irremplaçable pour mener les travaux de
validation perceptive. À l’Ircam, elle est utilisée pour
les études sur la cognition spatiale auditive incluant la
navigation de l’auditeur ou des processus perceptionaction engendrés par un contrôle gestuel de la localisation de la source sonore.
Restitution d’une source
sonore en mode binaural
contrôlé par un dispositif
haptique.
37
Sources à directivité contrôlée
Cognition spatiale auditive
–
–
Équipes concernées : Perception et design sonores,
Acoustique des salles, Acoustique instrumentale
Les techniques actuelles de reproduction du son
offrent une restitution haute-fidélité de la puissance
et du timbre, mais ne rendent compte que très partiellement des informations spatiales. La source virtuelle est un dispositif constitué d’un réseau de hautparleurs montés sur les facettes d’un polyèdre (cube,
dodécaèdre, etc.), qui permet de construire des figures
de directivité par des filtrages appropriés. Il est ainsi
possible de maîtriser le rayonnement de la source, de
la « délocaliser », et de contrôler son interaction avec
la salle ou le lieu de diffusion… Différents prototypes
(La Timée, Le Cube) ont été développés et utilisés en
concert (Duelle, de F. Nicolas et Five Imaginary Spaces,
de O. Schneller) ou pour des installations sonores
(installation sonore de L. Dandrel dans Le jardin de
la Plaine-mer au Mont-Saint-Michel). Un travail de
mesure et de modélisation des sources instrumentales est par ailleurs mené conjointement par les trois
équipes.
La Timée, source multi-haut-parleur à directivité
contrôlée
38
Dans le domaine de la reproduction sonore ou de la
communication, les technologies audio futures tenteront de privilégier les sensations d’immersion et
de présence. Ces notions sont intimement liées aux
dimensions spatiales d’une scène multimédia et en
particulier sonore, et sont notamment renforcées
dans les situations impliquant une action de la part de
l’auditeur, soit à travers sa navigation dans la scène,
soit à travers une interaction gestuelle avec les objets
qui la composent. Dans ces conditions, rendues possibles par les technologies holophoniques ou binaurales,
la congruence et le rafraîchissement en temps réel des
indices auditifs spatiaux en fonction des mouvements
ou actions de l’auditeur ont un impact majeur sur la
sensation de présence. Ce nouveau contexte a motivé
le lancement d’une série d’expériences consacrées à
la cognition spatiale auditive, notamment à travers
l’étude de processus d’intégration multisensorielle.
L’accent est mis sur l’interaction entre les modalités
auditives et idiothétiques (indices induits par le mouvement du sujet et incluant l’équilibre et la proprioception). La méthodologie expérimentale fait appel à
des expériences comportementales liées à l’observation des performances de localisation ou de navigation
des sujets soumis à différents contextes exploratoires.
Ce volet de recherche, pluridisciplinaire par nature,
bénéficie de la présence dans l’équipe d’Isabelle
Viaud-Delmon, chercheur en neurosciences comportementales et cognitives normales et pathologiques
(CNRS-section 27).
Projet EARTOY
Les concepts et techniques développés seront évalués
dans le cadre d’applications pilotes dédiées à l’accès
interactif à la musique.
–
Avatars sonores et interactions musicales
temps réel
Équipes concernées : Acoustique des salles,
Interactions musicales temps réel, Représentations
musicales
Financement : ANR, Programme RIAM
Partenaires extérieurs : UMR 7593 CNRS-Hôpital de la
Salpêtrière, Sony CSL
Expérience de réalité virtuelle dans laquelle le contenu sonore
de la scène, restitué sur casque avec la technique binaurale,
est asservi à l’orientation de la tête et aux gestes du participant.
© CNRS Photothèque / F. Vrignaud.
L’objectif du projet EarToy est l’étude de l’interaction
audition/corps/espace dans les dispositifs de reproduction sonore dits immersifs. Le projet EarToy consiste à
exploiter les technologies de restitution audio 3D et de
capture du mouvement, et à explorer le potentiel de la
modalité d’interaction audition/corps/espace à travers
des scénarios s’appliquant, en particulier, au domaine
du jeu musical. Il s’agit de promouvoir les applications interactives accordant la primauté à la modalité
sensorielle auditive, et de développer de nouveaux
paradigmes d’interaction avec un contenu sonore. La
conception de tels environnements interactifs, centrés
sur la modalité auditive, soulève des questions scientifiques intéressantes dans le domaine de la cognition
spatiale auditive et présente un potentiel d’applications innovantes dans le domaine musical. Il est proposé de travailler sur le concept d’avatar sonore, manifestation auditive de la présence de l’utilisateur dans
le monde virtuel. Un des objectifs du projet EarToy est
d’élaborer un répertoire de modes d’interaction sur la
base de règles de mise à jour du monde sonore en
fonction des mouvements de l’utilisateur. Cette phase
s’appuiera sur la constitution d’outils d’édition de
l’interaction permettant de décrire sous forme symbolique les règles d’association entre une classe de gestes
et les procédés d’articulation, de transformation et de
spatialisation d’un corpus sonore. La pertinence au
niveau perceptif et cognitif de ce répertoire d’interactions sera évaluée expérimentalement.
39
Projet CORSAIRE
–
Combinaisons de rendus sensori-moteurs pour
l’analyse immersive de résultats
Financement : ANR, Programme ARA Masse de données
Partenaires extérieurs : Limsi (CNRS, coordinateur),
EBGMInserm, LEI-université Paris-5, société Haption
L’objectif du projet est de développer, dans le contexte
de systèmes de réalité virtuelle, de nouvelles méthodes
d’observation/interaction avec des données massives
et complexes en ayant recours à un principe d’exploration multisensorielle.
À long terme, l’enjeu est d’examiner comment les différents canaux sensoriels peuvent être combinés pour
améliorer la « compréhension » des données et, plus
généralement, de proposer de nouveaux modes d’interaction.
Le projet comprend trois phases principales : le développement d’un environnement multimodal basé sur
les techniques de réalité virtuelle, l’étude de l’interaction multimodale et la proposition de modèles de
distribution des informations aux différents canaux
sensoriels, l’application des résultats à différents cas
concrets d’observation de données scientifiques.
Le rôle de l’Ircam dans le projet porte sur la poursuite
des objectifs suivants :
• Étude de l’interaction visuo-auditivo-haptique (association image, son, geste) ;
• Sonification spatiale : développement d'un répertoire d'interactions spatiales en fonction de la nature
des informations à présenter ;
• application à différents systèmes de reproduction
sonore : Wave Field Synthesis (holophonie), synthèse
binaurale (casque).
Projet REVA
Projet CROSSMOD
–
Réalité Virtuelle et Acouphène
–
Équipe participante : Acoustique des salles
Financement : Tinnitus Research Initiative (TRI),
Société Amplifon
Période de réalisation : janvier 2008- juin 2009
Partenaires extérieurs : université René Descartes,
Hôpital européen Georges Pompidou
Cette étude est consacrée à l’élaboration et à l’évaluation d’une thérapie basée sur la réalité virtuelle
pour le traitement des acouphènes, qui désignent un
ensemble de sensations auditives fantômes en l’absence de stimulation acoustique extérieure. La physiopathologie des acouphènes subjectifs reste encore
incomplètement élucidée, mais il existe de fortes présomptions quant au rôle de la plasticité cérébrale dans
le développement des troubles à l’origine de sensations acouphéniques. Une telle situation clinique peut
être rapprochée des syndromes douloureux chroniques
après amputation, pour lesquels les mises en situation
employant les techniques de réalité virtuelle ont fait la
preuve de leur intérêt théorique et pratique. L’objectif
de l’étude est d’appliquer ces mêmes techniques aux
patients acouphéniques en évaluant l’efficacité d’une
mise en situation de réalité virtuelle 3D (visuelle et
auditive) pour favoriser la plasticité cérébrale et réduire
la gêne induite par l’acouphène subjectif. La thérapie
proposée consiste à favoriser la dissociation entre la
perception de l’acouphène et sa représentation mentale en travaillant sur l’appropriation progressive par le
patient de la localisation de l’acouphène dans l’espace
de sorte à permettre, à terme, sa mise « hors champ ».
En pratique, il s’agit de construire un avatar sonore
et visuel de l’acouphène et de fournir au patient les
moyens d’en contrôler la localisation dans l’espace, à
la fois en direction et en distance. Le protocole repose
sur le choix des caractéristiques acoustiques de l’avatar
sonore, sur les modalités de contrôle de sa localisation
et sur leur éventuelle évolution au cours des séances.
40
Programme : Future Emerging Technologies (FET),
Information Society Technologies, 6e PCRD, Commission
européenne.
Partenaires extérieurs : Inria Sophia-Antipolis
coordinateur), universités de Bristol, Erlangen, Vienne,
Pise, CNRS UMR 7593, Hôpital de la Salpêtrière
L’objet du projet est d’exploiter les propriétés perceptives multisensorielles afin d’optimiser la qualité
et l’interactivité des applications de réalité virtuelle.
Les environnements virtuels tridimensionnels (EV3D)
jouent un rôle de plus en plus important, et leurs applications s’étendent à de nombreux domaines comme le
secteur du jeu, les simulateurs pour l’architecture ou les
transports, les applications artistiques et culturelles ou
la médecine (téléchirurgie mais aussi psychothérapie).
En l’état actuel, les deux principaux canaux sensoriels exploités dans les EV3D sont les canaux visuel et
auditif. Les recherches récentes menées dans chacun de
ces domaines ont montré l’intérêt de l’intégration de
règles perceptives pour une meilleure efficacité de restitution. L’idée directrice est d’exploiter les propriétés
de résolution, de masquage ou de hiérarchie entre les
dimensions perceptives pour conduire la synthèse de
la scène sonore ou visuelle. Dans le domaine audio
par exemple, qu’il s’agisse de la synthèse de sons instrumentaux ou de la simulation de l’effet de salle, les
avantages des approches perceptives en termes de coût
de calcul, mais également en termes d’opérabilité des
interfaces utilisateurs, ont été largement démontrés.
Cependant, nos canaux sensoriels ne fonctionnent pas
de manière séparée. Par exemple, notre perception spatiale doit être coordonnée à travers différentes modalités sensorielles, notamment visuelle et auditive. Ce
processus d’intégration n’est pas trivial dans la mesure
où l’encodage de l’espace diffère dans chacune des
modalités (vision sectorielle, audition panoramique…).
Différentes études ont mis en évidence des phénomènes d’intégration sensorielle dans lesquels une
modalité sensorielle peut être affectée par une autre,
notamment en termes de congruence spatiale ou temporelle. Bien qu’une littérature abondante du domaine
de la psychologie expérimentale soit consacrée à l’observation et l’interprétation de ces effets intermodalitaires, presque aucune tentative n’a été faite à ce jour
pour tenir compte de ces propriétés pour l’amélioration
des algorithmes de restitution graphique et sonore. Les
retombées essentielles sont attendues en termes d’efficacité des algorithmes de restitution visuelle et sonore,
et d’opérabilité et d’interactivité des interfaces utilisateurs. Une possibilité serait, par exemple, d’exploiter
les propriétés d’intégration sensorielle pour contrôler
les processus attentionnels de l’utilisateur.
écriture du temps et de L’interAction
Alignement et suivi de partition
–
alignement et suivi de partition déterminent dans un
flux audio les instants précis et les valeurs associées
des événements notés dans la partition (temps de
début de chaque note ou accord, fins de notes, hauteur exacte, timbre, etc.). L’alignement s’effectue hors
temps, en utilisant tout l’enregistrement audio et toute
la partition, tandis que le suivi s’effectue en temps réel
au cours du déroulement du flux audio. L’alignement
trouve des applications en synthèse (coder exactement
une interprétation avec ses nuances, par exemple dans
un fichier MIDI étendu pour fournir une synthèse de
haute qualité), en musicologie (étudier diverses interprétations d’une même œuvre), en pédagogie (montrer
à l’élève une image de son exécution), en indexation
(constitution de bases de données d’apprentissage),
etc.
Dans le contexte de l’exécution d’œuvres contemporaines associant parties instrumentales et informatiques, le suivi de partition est une technique souvent
employée pour la synchronisation de l’accompagnement électronique avec un instrument soliste. La partition est enregistrée dans l’ordinateur dans un format
spécifique contenant à la fois les éléments essentiels
de la partition originale et des informations supplémentaires concernant le suivi et l’accompagnement.
Lors de l’exécution, l’analyse en temps réel du son et/
ou du geste capté auprès de l’interprète est mise en
comparaison avec la partition enregistrée. L’algorithme
de suivi détermine à chaque instant de l’interprétation la position correspondante dans la partition, et
synchronise les processus programmés dans la partie
électronique de l’œuvre.
Depuis 1986, l’Ircam a développé des techniques de
suivi de partition utilisées avec différents instruments
parmi lesquels la flûte, la clarinette, la voix et plus
récemment le violon, par des compositeurs tels que
Pierre Boulez et Philippe Manoury. De nouveaux objets
Max/MSP pour le suivi de partition sont maintenant
disponibles. Basés sur une nouvelle méthode reposant sur l’utilisation de modèles de Markov cachés,
ces modules sont plus robustes et permettent une
synchronisation sur des événements non accessibles
précédemment (trilles, accords). L’utilisation de cette
technologie, récemment développée dans l’équipe,
est d’ores et déjà prévue pour plusieurs créations. Son
développement est poursuivi dans le sens d’une adaptation aux différentes familles d’instruments souhaités,
de sa généralisation à la reconnaissance de formes
musicales, non uniquement spécifiée par des successions de notes et d’une prise en compte du tempo.
Éditeur graphique des représentations musicales utilisées pour le suivi de partition (logiciel Max/MSP).
41
Partitions interactives
–
Collaborations : SCRIME, LABRI, université
de Bordeaux-II
Le but de ce projet, mené en collaboration avec le
Scrime, est de dégager un modèle de partitions numériques permettant l’interprétation de pièces musicales
au travers de « points d’interaction » introduits par le
compositeur. Les partitions sont composées de structures temporelles pouvant représenter divers objets
musicaux : processus de synthèse, sons… et d’événements définis comme interactifs, dont le moment de
leur déclenchement est choisi par l’interprète pendant
l’exécution. Le compositeur a également la possibilité
de lier les structures par des contraintes temporelles
basées sur les relations logiques d’allen pour faire
apparaître une cohérence générale de sa pièce, et ainsi
définir et limiter un espace de libertés dans lequel l’interprète va pouvoir s’exprimer. Il y a donc deux phases
successives : la composition au cours de laquelle le
compositeur va définir les structures, les lier au moyen
des contraintes temporelles et placer des points d’interactions, et l’exécution pendant laquelle l’interprète
va jouer la pièce en déclenchant les événements interactifs, le système ayant la charge du déclenchement
42
des événements non interactifs (statiques).
L’objectif est de faire émerger un modèle de partitions
pour la phase de composition, ainsi qu’un outil pour
éditer ces dernières qui permettront de définir chacun
de leurs éléments et de maintenir les contraintes temporelles pendant l’édition. Dans un deuxième temps,
un système d’exécution des pièces doit être mis en
œuvre pour offrir la possibilité à l’interprète de déclencher les événements interactifs tout en maintenant les
contraintes temporelles.
Ce projet permet en outre d’explorer plusieurs techniques importantes pour l’informatique musicale et d’en
comparer les qualités : systèmes efficaces de propagation de contraintes, réseaux de Petri, programmation
concurrente avec contraintes.
Le logiciel OpenMusic sert de base d’expérimentation,
notamment pour l’édition des partitions interactives
à l’aide de maquettes spécialement définies pour ce
projet. Le Scrime de son côté expérimente avec le logiciel BOXES qui offre une interface comparable.
Projet SAME
–
Sound And Music for Everyone Everyday
Everywhere Every way
www.sameproject.eu
Acoustique des salles
Programme : ICT 2007 (Networked Media), 7e PCRD,
Commission européenne
Partenaires : université de Gênes (UGDIST, coordinateur,
Italie), Nokia Research Center (Finlande), KTH (Suède),
Pompeu Fabra university (Espagne), université
technologique d’Helsinki (Finlande)
Les pratiques et l’écoute musicales sont des cas particulièrement représentatifs d’activités humaines sociales
et interactives, deux grands défis actuels des technologies de la communication. Cependant, ces activités
sont généralement vécues de manière passive, non
interactive et indépendante du contexte dans lequel
elles s’effectuent. Les technologies électroniques
actuelles, avec tout le potentiel d’interactivité et de
communication dont elles sont porteuses, n’ont pas
encore pu être mises au service de ces aspects essentiels de la musique. Ceci peut être considéré comme
une dégradation des pratiques et de l’écoute musicales, dans lesquelles le public avait (et a encore) la
possibilité d’interagir de nombreuses manières avec les
interprètes pour modifier les caractéristiques expressives d’une œuvre musicale.
L’objectif principal du projet Same est de constituer
une chaîne complète de systèmes d’écoute musicale
active, sensibles au contexte, dans des situations de
mobilité. Le projet vise à répondre à des questions
telles que : « quel sera dans cinq ans l’appareil équivalent de l’actuel iPod ? », « quels nouveaux marchés
de tels appareils sont-ils susceptibles d’ouvrir ? » Les
objectifs du projet comprennent trois aspects principaux :
• Définir et développer une plateforme de recherche
innovante pour la réalisation de bout en bout d’applications musicales mobiles, s’adressant tant à des utilisateurs mélomanes avertis qu’à des non experts ;
• Investiguer et mettre en œuvre de nouveaux paradigmes de communication et d’interaction pour des
applications musicales mobiles reposant sur des interfaces multimodales, non verbales de haut niveau,
permettant à l’utilisateur d’influencer, de moduler,
d’interagir avec le contenu d’écoute, en s’investissant
activement et physiquement dans l’expérience ;
• Développer de nouvelles applications pour les
mobiles sensibles au contexte, à partir du paradigme
d’écoute active, qui actualiseront les aspects sociaux
et interactifs de la musique à l’âge des technologies de
l’information.
43
Le rôle de l’Ircam dans le projet consiste notamment
à concevoir de nouvelles situations d’interaction, intégrant captation du geste et spatialisation sonore, et à
coordonner les actions de diffusion du projet.
Écriture du temps
–
On considère souvent la composition comme une activité visant essentiellement à la structuration du temps.
Dans les environnements informatiques de composition, celui-ci est pourtant souvent traité comme un
paramètre numérique quelconque.
Parmi les différentes fonctionnalités de l’environnement OpenMusic, la maquette est certainement l’une
des nouveautés significatives dans le domaine. Il s’agit
d’une interface de programmation dont les caractéristiques graphiques (la disposition et les dimensions des
objets qui la composent) constituent une sémantique
temporelle. La maquette permet ainsi le développement de processus compositionnels considérant le
temps non seulement comme une variable mais également comme élément structurant étroitement intégré
dans le calcul. Organisation temporelle des objets
musicaux et calcul de ces objets sont ainsi liés dans une
même structure. Cet environnement constitue ainsi un
contexte privilégié en continuel développement dans
lequel s’insèrent différents projets liés à la composition
ou à l’analyse musicale, qui s’étendent par là à cette
dimension temporelle fondamentale (contrôle de la
synthèse, partition interactive, etc.).
L’idée d’une intégration d’objets musicaux hétérogènes dans une même structure temporelle, liée à
la nécessité de maintenir une représentation graphique cohérente, a aussi conduit à des recherches
sur la conception d’un nouveau type de document
dans OpenMusic, centré sur la notion de partition.
Ce document (appelé sheet), permet d’intégrer dans
une même partition des objets musicaux de différents types, et éventuellement liés à des paradigmes
temporels distincts (pulsé, continu, hiérarchique
etc.). Il est ainsi possible de faire coexister des objets
« rythmiques » et des objets spécifiés en temps continu,
ou encore des signaux et des objets symboliques dans
un éditeur qui assurera la justesse et la cohérence de
leur représentation et de leur alignement temporels.
Des relations causales fonctionnelles peuvent également être établies entre les objets par le biais des
outils de programmation visuelle.
ainsi les maquettes peuvent-elles être considérées
comme une organisation macroscopique et les sheets
comme une organisation au niveau du détail de structures temporelles hétérogènes et multi-échelles.
Projet REACT
OMAX
–
Robust Theories for Emerging Applications
in Concurrency Theory
http://cic.puj.edu.co/wiki/doku.
php?id=grupos:avispa:react
–
Équipe concernée : Représentations Musicales
Collaborations : LIX École polytechnique, université
Javeriana Cali, université del Valle Bogota.
Le projet REaCT, financé en partie par un programme
Colciencias (l’équivalent du CNRS en Colombie) rassemble deux partenaires français (l’Ircam et le laboratoire LIX de l’École polytechnique) et plusieurs
universités colombiennes. L’objectif est d’explorer,
à un niveau fondamental et pratique, comment les
récentes avancées en programmation concurrente par
contraintes peuvent s’appliquer à trois domaines : les
protocoles de sécurité, les systèmes biologiques et
la musique (contribution de l’Ircam). Les calculs de
processus comme la programmation concurrente par
contraintes (ccp) ou le pi-calcul ont été inventés pour
décrire et raisonner sur les systèmes concurrents. Les
calculs ccp ont été utilisés à l’Ircam dans la modélisation de différents processus musicaux tels que l’interaction, le calcul massif de contraintes musicales,
l’improvisation.
Dans toutes ces applications, les calculs de processus
sont utilisés pour au moins deux raisons. D’abord,
de par leur définition mathématique rigoureuse, ces
calculs peuvent fournir une sémantique formelle de
haut niveau aux applications ainsi spécifiées. En outre,
on peut raisonner sur le comportement ou les propriétés des processus. En musique, cela signifie par
exemple qu’un système très lourd de règles musicales
(contraintes) pourrait être formellement validé pour
déterminer s’il modélise bien le problème avant de
lancer un calcul coûteux.
Malgré la grande diversité des applications, on
remarque une surprenante similarité dans la nature
des analyses qu’on cherche à faire dans chaque cas.
Par exemple, dans le domaine de la sécurité, on a souvent besoin d’une étude des configurations atteignables : s’il est possible d’atteindre un état où l’attaquant
connaît un secret, alors le protocole ne fonctionne pas
correctement. En modélisation musicale, on s’intéresse à des questions similaires, par exemple : « Est-ce
que le processus musical atteint un état où les voix
forment un canon tout en gardant un champ harmonique donné ? »
44
OMax logo by Martin Lartigues
http://www.ircam.fr/equipes/repmus/OMax
Collaborations : EHESS, université de Strasbourg, UCSD
(San Diego, USA).
OMax combine l’interaction en temps réel de type Max
avec les représentations musicales de haut niveau de
type OpenMusic pour créer un « clone » à partir du jeu
vivant d’un musicien. Utilisant des techniques issues
de l’apprentissage automatique (Machine Learning) et
des langages formels, OMax apprend de manière non
supervisée à partir d’un flux Midi, ou même d’un flux
audio, produit par le musicien.
Le processus sous-jacent à cette interaction peut être
nommé « réinjection stylistique ». Le musicien est
informé en continu par plusieurs sources formant un
feed-back complexe. Il s’écoute jouer, il écoute les
autres dans le présent, tout en mémorisant des images
sonores qui dérivent ainsi du présent vers le passé. De
la mémoire à moyen et à long terme, ces motifs, combinés à des images encore plus anciennes (répertoire,
apprentissage), peuvent revenir en ayant subi plusieurs transformations, dont une des plus communes
en improvisation est la recombinaison.
D’une certaine manière, OMax modélise un tel processus mémoriel et permet de le « réifier » donc de le
donner à entendre. Il réinjecte alors des figures musicales issues du passé (immédiat ou à long terme) de
la performance sous forme de reconstruction à la fois
semblable et innovante, et fournit au musicien des stimuli à la fois familiers et provocants.
Les improvisateurs de bon niveau réagissent en général
à leur « clone » d’une manière créative et, l’expérience
le confirme, avec un intérêt tout particulier pour un
« sujet musical » qui les stimule tout en bouleversant
leurs habitudes de jeu en les poussant à s’adapter à
une situation inédite.
Des improvisateurs de premier plan (dont Bernard
Lubat et Mike Garson, élèves de Bill Evans) ont expertisé OMax et fourni un retour précieux qui a permis
de fixer les heuristiques nécessaires au-delà du modèle
formel. Ces sessions sont visibles pour certaines sur le
site http://www.ircam.fr/equipes/repmus/OMax
le logiciel, il explore certains phénomènes musicaux
intéressants qui se produisent aux frontières délimitées
par le modèle théorique. Par exemple : à partir de quel
moment une phrase générée par le système de simulation peut-elle être considérée comme étant vraiment
« dans le style de Bernard Lubat » ? Ou encore : quelles
sont les limites du champ musical que peut atteindre
un musicien humain lorsqu’il a recours à des variations
modélisées sous forme de réécritures.
Techniquement parlant, un composant Max « écoute »
le musicien, extrait des descripteurs de haut niveau,
segmente les événements, et fournit en flux continu
ces informations à un composant OpenMusic. Ce dernier construit incrémentalement le modèle, tout en
générant continûment des « improvisations » grâce à
une architecture concurrente. Une interface de pilotage permet de régler la navigation dans la mémoire de
la session, du passé immédiat au passé éloigné voire,
si l’on utilise des modèles archivés, à un passé collectif
impliquant d’autres situations et d’autres musiciens :
cette utilisation donne alors naissance à des phénomènes d’hybridation.
Modèles musicaux interactifs
pour l’improvisation
par ordinateur
–
Collaborations : université de Caen, Compagnie Lubat
Ce projet est financé par l’appel d’offres « Création de
produits de médiation scientifique sur Internet » du
ministère de la Recherche, et fait l’objet d’une collaboration avec le musicien spécialiste de l’improvisation
Bernard Lubat. Le but de ce projet pédagogique est
de faire comprendre de manière claire, en utilisant la
puissance expressive du multimédia, les fondements
d’une approche informatique de l’improvisation musicale. Les recherches sont basées sur des concepts fondamentaux de la théorie de l’information et de l’informatique théorique (automates, grammaires formelles)
appliqués à la modélisation informatique de l’improvisation. Un logiciel expérimental (dont une partie est
constituée par le logiciel OMax) permet à un musicien
d’interagir avec l’ordinateur en jouant des phrases
qui sont enregistrées par la machine, puis utilisées
par celle-ci comme matériau de base pour générer en
retour une improvisation. Deux principes fondamentaux sont à l’œuvre :
• apprentissage : simuler un style musical en créant un
clone informatique par des méthodes de modélisation
statistique.
• Moteur de réécriture : dépasser les capacités
humaines d’un improvisateur en utilisant les réécritures comme modèle de la notion musicale de « variation » (ou encore d’ornementation). Concrètement, le
projet consiste à décrire et illustrer les principes fondamentaux de cette recherche dans des animations
musicales multimédia, dont la partie sonore serait réalisée par le compositeur et multi-instrumentiste Bernard Lubat qui est l’une des figures majeures du jazz
et de l’improvisation en France. En interagissant avec
45
indeXAtion, métHodes et tecHnoLogies
de mediAtion
Indexation automatique
de morceaux de musique
Reconnaissance des hauteurs
dans les sons polyphoniques
–
–
Dans le cadre de différents projets, SemanticHIFI,
Music Discover, Ecoute et Quaero (p. 48, 47 et 50),
sont élaborées :
• Des méthodes d’extraction automatique de caractéristiques musicales d’un morceau de musique, de type
tempo, position des battues, métrique, tonalité ou
suite temporelle d’accords. Ces caractéristiques permettent, par exemple, le classement automatique d’un
morceau, la recherche par le contenu et la recherche
par similarité dans une base de données ou catalogue
de titres musicaux ;
• Des méthodes de reconnaissance d’extraits musicaux,
destinées à l’identification automatique d’extraits de
morceaux de musique à partir de bases d’ayants droit.
Reposant sur une signature sonore compacte codant
l’essentiel de l’information, ces algorithmes comparent
chaque fragment du son à identifier à ceux de la base
de données de référence ;
• Des méthodes d’estimation de la structure temporelle d’un morceau en termes de répétition de partie
au cours du temps qui permettent, lors de l’écoute, la
navigation à l’intérieur de la structure temporelle du
morceau ;
• Des méthodes de création automatique de résumés
audio permettant des pré-écoutes rapides du contenu
d’un morceau par ses points clefs.
Cette étude concerne les hauteurs des différents sons
dans les enregistrements polyphoniques. La méthode
est fondée sur des analyses en fréquence et la caractérisation statistique des composantes en sinusoïdes
harmoniques et bruits. Un certain nombre de fréquences fondamentales sont déterminées pour expliquer de façon optimale les composantes harmoniques
trouvées, et définissent ainsi les sons de la polyphonie
et leurs hauteurs. Les applications concernent l’analyse musicale, le traitement des sons polyphoniques,
la reconnaissance des instruments et la séparation des
sources.
Similarity matric
representation
Music
track selection
Stucture
representation
as a piano roll
Navigation
buttons
Représentation de la structure temporelle d’un morceau de musique
par analyse de signal-projets Cuidado-SemanticHIFI-Ecoute.
46
Projet CUIDADO
comprend en particulier, autour du développement de
l’application Music Browser, la réalisation automatique
de séquences de morceaux (playlists), dont l’enchaînement suit différent types de règles (stylistiques, goûts
de l’utilisateur, etc.). Le calcul automatique de résumés
musicaux, synthétisant la structure des morceaux et
permettant une navigation rapide entre leurs différentes parties, est également prévu. Enfin, des outils
d’identification automatique d’extraits musicaux, destinés aux sociétés d’ayants droit pour contrôler les
copies pirates, sont également proposés.
–
Content-based User Interfaces for Distributed
Audio Databases Online
Équipes concernées : Services en ligne, Analyse
et synthèse des sons, Représentations musicales,
Perception et cognition musicales
Programme : Information Society Technology (IST),
5e PCRD, Commission européenne
(36 mois)
Partenaires extérieurs : Institut de l’audiovisuel-université Pompeu Fabra (IA-UPF), Sony-CSL, université Ben
Gourion (Israël), Oracle, Creamware, Artspages
Le projet Cuidado a pour objectif de coordonner, au
niveau européen, des recherches pluridisciplinaires sur
la description des contenus sonores et musicaux, et de
promouvoir de nouvelles applications tirant parti des
avancées de ces travaux. Ce thème de description des
contenus audiovisuels, relativement inexploré pour
ce qui concerne le son et la musique, fait l’objet du
processus de normalisation MPEG-7 en cours, auquel
l’Ircam et les autres partenaires de Cuidado participent activement. En effet, la possibilité de diffusion de
très grandes bases de données, disponibles en ligne,
met en évidence l’intérêt de critères de recherche par
contenu musical et sonore reposant sur des structures
de description pertinentes. De plus, dans la mesure du
possible, il est souhaitable que ces descripteurs résultent de procédures d’extraction automatique à partir
d’enregistrements sonores. Les travaux combinent
recherches et développements autour de deux types
de corpus :
• D’une part les échantillons sonores, sons isolés utilisés par les professionnels de productions sonore et
musicale, dans la continuité des projets Studio en
ligne et Ecrins ; ces travaux doivent déboucher sur la
réalisation d’une application, la Sound Palette, destinée à la gestion de bases de données d’échantillons
et dotée de fonctions d’édition et de manipulation
spécifiées par des critères de haut niveau. Deux versions sont prévues : l’une disponible en ligne à l’Ircam,
centrée sur les fonctions de classement, recherche et
navigation ; l’autre, intégrée au produit logiciel Scope
de Creamware pour PC, comprenant des fonctions de
recherche et d’édition des échantillons ;
• D’autre part, les morceaux de musique enregistrée,
qu’il s’agit de caractériser à partir de points multiples
(interprètes, genre, rythme, timbre, etc.) afin de proposer de nouvelles procédures de navigation. Le projet
47
Projet MUSICDISCOVER
–
Indexation et recherche dans des bases
de données audio
Financement : ACI (programme Masse de données)
Période de réalisation : octobre 2005-octobre 2007
Partenaires extérieurs : LTCI/ENST, Paris et LIRIS,
École centrale de Lyon
L’accroissement des enregistrements et des débits sur les
réseaux rend indispensable l’accès au contenu, i.e. une
description structurée : mélodie, genre/style, rythme,
instrumentation, structure musicale, harmonie. Cette
collaboration avec le LTCI/ENST et le LIRIS sur financement aCIMasse de données développe des moyens
adaptés à l’utilisateur, techniques et outils d’analyse,
indexation, représentation et recherche d’information
qui permettent de construire et d’utiliser une description structurée.
En collaboration avec les équipes Interactions musicales temps réel, Systèmes informatiques et Services
en ligne, l’Ircam étudie :
• La constitution de corpus ;
• L’indexation des instruments ;
• L’estimation des hauteurs ;
• La mise à la disposition des utilisateurs sur réseau.
Un autre travail, en collaboration avec le CEa, a étudié
la fusion des informations contenues dans différents
médias pour les utiliser pour l’indexation conjointe de
documents multimédia.
Projet SemanticHIFI
Principales fonctions visées :
• Classement personnalisé et navigation par le contenu
entre morceaux de musique ; recherche par chantonnement ;
• Génération automatique de listes de morceaux à
partir de critères globaux ;
• Spatialisation domestique des sons de très haute
qualité avec compensation automatique du contexte
d’écoute ;
• Navigation à l’intérieur de la polyphonie et mixage
assisté,
• Navigation à l’intérieur de morceaux de musique (cf.
projet Ecoutes signées, p. 49) ;
• Outils d’édition et de composition personnalisés,
application DJ ;
• Outils de jeu instrumental et vocal, accompagnement automatique ;
• Partage du travail d’indexation, de composition et de
jeu sur réseaux peer-to-peer.
–
Browsing, Listening, Interacting, Performing,
Sharing on Future Hifi Systems
Équipes concernées : Services en ligne, Analyse et
synthèse des sons, Acoustique des salles, Interactions
musicales temps réel, Studio hypermédia
(36 mois)
Partenaires extérieurs : Fraunhofer Institut (IDMT,
Erlangen), université Pompeu Fabra (Barcelone),
Sony-CSL, université Ben Gourion (Israël), Native
Instruments, Sony EuTEC Coordinateur : Ircam
Dans la continuité du projet Cuidado et dans le
contexte de la distribution de musique numérique
à grande échelle, le but du projet est de développer
une nouvelle génération des thèmes de haute-fidélité,
offrant de nouvelles fonctionnalités pour la navigation,
l’interaction, le rendu, la personnalisation et l’édition
du matériel musical. Reposant sur la diffusion d’informations musicales enrichies au-delà des seuls enregistrements sonores, ainsi que sur la mise en œuvre
d’outils d’indexation et d’interfaces de navigation
personnalisés, le projet vise un changement radical
des pratiques d’accès à la musique et d’écoute instrumentée, au point de brouiller les limites traditionnelles
entre l’écoute et l’exécution. Ces systèmes de hautefidélité seront des stations d’écoute autant que des
instruments ouverts et sont à même de constituer des
vecteurs technologiques d’une nouvelle intelligibilité
de la musique.
48
Boîtier intégrant l’ensemble des fonctions du prototype
de chaîne hi-fi. © Uneed International
Interface de spatialisation assistée par
l’analyse des signaux des sources à diffuser.
Projet ECOUTE
–
Environnement auteur pour l’écoute musicale
instrumentée, la gestion des archives sonores
et leur publication multi support
Équipes concernées : Services en ligne, Analyse
et synthèse des sons, Analyse des pratiques musicales
Période de réalisation : décembre 2005-mars 2008
Partenaires extérieurs : université technologique
de Compiègne, Ina-GRM, sociétés MPO Online, Dalet,
Kélis
• Génie documentaire musical et sonore : modélisation
des connaissances théoriques sur la musique et le son
pertinentes par rapport aux pratiques et usages visés ;
• Extraction automatique et indexation par le contenu :
extraction automatique de paramètres des documents
sonores/musicaux facilitant la navigation dans des
masses de documents et à l’intérieur d’un document
sélectionné ;
• Ingénierie des systèmes multimédia : intégration
technique pour le traitement de corpus de documents
temporels qui posent des problèmes particuliers d’indexation et de synchronisation.
Projet QUAERO
–
www.quaero.org
S’appuyant sur l’expérience d’acteurs reconnus de
la production de contenus audiovisuels relatifs à la
musique, le projet vise le développement précompétitif d’un environnement éditorial hypermédia générique centré sur les documents sonores et musicaux.
Cet environnement sera paramétrable en fonction
d’usages/pratiques « métiers » pour construire de
manière productive des chaînes éditoriales hypermédia
dédiées notamment à :
• La valorisation de catalogues musicaux : publication
enrichie (pochettes, paroles synchronisées, crédits,
critiques, avis du public, etc.) par l’indexation automatique par le contenu (permettant de réaliser des
résumés sonores, des recherches par similarités instrumentale, rythmique, mélodique, etc.), facilitant la
recherche et la navigation intuitive dans les catalogues d’indépendants, de majors, des portails musicaux
comme Fnacmusic.com, etc ;
• La valorisation hypermédia d’archives radiophoniques et de fonds sonores patrimoniaux (MNaTP, MSH,
MMSH aidés par le ministère de la Culture pour leur
numérisation/valorisation avec le concours de l’Ircam),
sous formes interactives réunissant les documents
sonores enrichis par tous documents associés (thèses,
articles scientifiques, iconographie, cartographie,
rushes, etc.) ;
• L’éducation musicale : vers de nouveaux outils
d’écoute et de création sonore alliant logiciels interactifs et contenus hypermédia, ouvrant le champ à de
nouvelles pratiques pédagogiques — écoutes signées,
créations/publications collectives en classe, pratique à
domicile.
Le projet vise à cet effet la résolution de deux verrous
scientifiques et un verrou technologique essentiels :
49
Équipe participante : Analyse/synthèse
Financement : Agence pour l’innovation industrielle
(OSEO)
Période de réalisation : janvier 2008-Mai 2013
Partenaires : Thomson (coordinateur), France Télécom,
Ina, Exalead, Bertin, LTU, Synapse et Vecsys CNRS
(INIST, LIMSI, IMMI), DGA, BnF, LNE, INRIA, Institut
Télécom, IRIT, LIPN, MIG-INRA, université Joseph
Fourier, université de Karlsruhe, université RWTH d’Aixla-Chapelle
Quaero, doté d’un budget de 200 millions d’euros, est
l’un des plus importants projets de R&D industrielle
français. Quaero vise la conception et la réalisation
de solutions technologiques nouvelles permettant
l’extraction, l’analyse, la classification et l’exploitation d’informations dans les contenus numériques
multimédia et multilingues, en se concentrant sur le
traitement automatique de la parole, du langage, de
la musique, de l’image, de la vidéo et des documents
imprimés numérisés.
Dans un contexte d’explosion des informations numériques accessibles à tous via PC, télévision, ou terminaux de poche, le consortium Quaero a été créé pour
répondre aux nouveaux besoins d’analyse de contenus
multimédia en provenance du grand public et des professionnels. Il permettra aux multiples technologies de
pointe dans ce domaine issues des laboratoires publics
et privés en France et en allemagne d’être pleinement
exploitées au niveau industriel par des acteurs clés
de ce secteur : PME de croissance et grands groupes
industriels.
Les développements de Quaero conduiront à l’enrichissement des services offerts par les portails, les
moteurs de recherche, les applications pour la télévision interactive, les environnements professionnels
pour la production ou la postproduction de contenus
multimédia et la mise en ligne de bibliothèques de
contenus numériques culturels (livres, films, émissions
de télévision…).
Cinq grands domaines applicatifs sont visés :
• Recherches multimédia sur Internet ;
• Enrichissement des services d’accès aux contenus
audiovisuels sur les portails ;
• Sélection et diffusion personnalisées de vidéos ;
• Gestion de ressources audiovisuelles professionnelles ;
• Numérisation et enrichissement des contenus des
bibliothèques, du patrimoine audiovisuel et de l’édition scientifique.
Outils de publication multimédia
pour la musicologie
Le rôle de l’Ircam dans le cadre du projet est de coordonner les recherches sur l’indexation musicale et
de collaborer avec les industriels Exalead et France
Télécom au développement des applications de
recherche multimédia et d’enrichissement des services
d’accès aux contenus audiovisuels.
50
–
Équipe concernée : Analyse des pratiques musicales
Cette recherche vise à expérimenter et, dans certains
cas, standardiser des formats originaux de publication
multimédia sur la musique. On peut dire que n’importe
quel discours analytique sur la musique contient, en
soi, un fort potentiel de « multimédia » puisqu’il comprend un texte (le commentaire verbal) et des pointeurs vers des données musicales (citations d’exemples musicaux, références à des mouvements ou des
passages des œuvres, etc.). Pourtant, paradoxalement,
ce n’est que récemment que les musicologues se sont
intéressés aux nouvelles possibilités expressives de
la publication multimédia (en ligne et sur support),
jusqu’alors limitées aux publications de CDRom éducatifs et culturels. Pour contribuer à ce mouvement,
nous procédons à une démarche en deux temps.
D’abord, l’expérimentation consistant à réaliser diverses
analyses musicologiques dans un environnement multimédia, en spécifiant au fur et à mesure cet environnement en fonction des étapes de la démarche analytique. Cette activité d’expérimentation se concrétise,
d’une part, par le développement d’outils d’analyse en
collaboration avec des musicologues (par ex. « Charting the Score, outil de mise en tableau de partition »,
en collaboration avec Jonathan Goldman) ; d’autre
part, par la publication de documents multimédia, sur
DVD-Rom (tels ceux joints à L’inouï, revue de l’Ircam
en 2005 et 2006) et dans des revues en ligne telles
que DEMeter (université de Lille-3) ou Musimédiane –
revue audiovisuelle et multimédia d’analyse musicale.
Ensuite, par un processus de comparaison et d’abstraction, nous procédons à la formalisation des opérations
analytiques mises en jeu. Ceci permet de standardiser
des formats de publication utilisant le texte, le son et
l’image – non seulement pour les besoins spécifiques
des musicologues mais aussi pour des modalités voisines de publication sur la musique, propres aux projets institutionnels de l’Ircam (refonte de la base de
données Brahms, constitution du Répertoire Ircam,
documentation logicielle). Les enjeux relèvent du génie
documentaire : utiliser un format bien défini (pour faciliter le traitement des données) mais cependant pas
trop contraignant pour les auteurs ; pouvoir intégrer
des exemples musicaux visuels et sonores ; rendre possible plusieurs types de publication (sur le web, sous
forme de CD-Rom ou DVD-Rom, mais aussi en version
papier). Pour ce faire, et étant donné la quantité de
commandes impliquées par ces projets, il est impossible de compter sur une mise en forme manuelle des
données fournies par les auteurs pour chaque publication. Il faut donc passer par un outil dédié à ces types
de publication et intégrant les contraintes précédemment énumérées. C’est l’objet de notre participation
au projet RIaMEcoute (« Environnement auteur pour
l’écoute musicale instrumentée, la gestion des archives
sonores et leur publication multisupport », voir p. 44)
et au projet RNTL Scenariplatform.
Côte d’azur. Les CD-Rom réalisés, portant, l’un sur
Les Variations op. 27 de Webern, l’autre sur Voi(rex)
de Ph. Leroux, proposent deux niveaux de lecture de
l’œuvre :
• Le premier introduit l’œuvre en donnant à lire la partition au fil de l’écoute, enrichi de quelques éléments
contextuels en cours de lecture ;
• Le second propose plusieurs points analytiques sur
l’œuvre, dont chacun pointe, au moyen de lien hypermédia, vers des passages clefs de la partition annotée
par l’auteur au moyen du logiciel Musique Lab annotation. L’intégralité du contenu est produite par l’auteur
lui-même à l’aide de l’outil auteur Scenari-CHaIN et
de la suite logicielle Musique Lab.
L’ensemble de cette démarche a d’ores et déjà permis
d’établir un format de publication pour l’analyse
musicale, expérimenté au départ dans une maquette
de cours en ligne pour le projet européen MusicWeb
(2003), puis dans une publication scientifique sur
l’analyse d’interprétation (2005) et, enfin, formalisé
lors de la conception d’une série de CD-Rom associée
au projet Musique Lab 2 (2006-2007) dans le cadre
d’un accord entre l’Ircam et la région Provence alpes
Un parcours interactif dans Les Variations op. 27 d’anton Webern (par Emmanuel Ducreux en collaboration avec Nicolas Donin
et Samuel Goldszmidt), CD-Rom conçu et édité par l’Ircam et la Région PaCa © 2007.
51
Projet CASPAR
préservation à moyen terme est le développement
d’outils d’aide au portage des œuvres, destinés à faciliter le travail, dévolu aux assistants musicaux, d’adaptation aux évolutions technologiques (changements
introduits par de nouvelles versions des applications
et des systèmes d’exploitation).
–
Accès, préservation et restitution
de ressources culturelles, œuvres artistiques
et scientifiques
Équipes concernées : Services en ligne, Interactions
musicales temps réel, département Création
Financement : Programme IST
Période de réalisation : avril 2006-septembre 2009
Partenaires extérieurs : CCLRC (coordinateur), ESA,
université de Glasgow, université d’Urbino, Unesco,
ACS, Asemantics, IBM, CNR, Metaware, Ina, université
de Leeds, Engineering, Forth, UTC-CNRS, CIANT.
L’objectif de ce projet pilote est la constitution d’un
cadre à la pointe des technologies et normes actuelles
et émergentes pour la préservation, l’accès et la diffusion de ressources patrimoniales numériques. Sur la
base de la norme OaIS, il prévoit le développement
d’un environnement technique générique adapté à la
préservation de données numériques complexes dans
différents contextes, et prenant en compte différents
aspects spécifiques tels que la gestion du cycle de vie
de préservation/accès, et l’ingénierie et la formalisation
de connaissances, généralement implicites, liées à l’utilisation des données préservées. Cet environnement
fera l’objet d’une spécification et d’une validation, à
travers le développement et l’implantation de platesformes spécifiques, dans trois principaux domaines
d’application : les données scientifiques (notamment
spatiales, à travers l’agence spatiale européenne), les
données culturelles (Unesco) et les œuvres artistiques
interactives et/ou liées aux arts du spectacle (musique,
danse, installations interactives, multimédia, réalité
virtuelle, en collaboration avec l’Ina-GRM, l’université
de Leeds et le CIaNT).
Le rôle de l’Ircam dans le projet est de coordonner et
de mettre en œuvre la plate-forme artistique, à travers
notamment la préservation du corpus d’œuvres interactives produites à l’Ircam. Dans la lignée du projet
Mustica, cette plate-forme permettra non seulement
de préserver et de diffuser sous forme structurée
l’ensemble des informations et éléments numériques
(patchs Max, fichiers son, éléments de partition, etc.)
nécessaires à l’exécution d’une œuvre interactive, mais
visera aussi à avancer dans la formalisation de descriptions à caractère musical des œuvres, indépendantes
de toute implantation technique, afin de préparer leur
préservation à long terme. Un autre objectif pour la
52
Projet CLOSED
–
Closing the Loop Of Sound Evaluation
and Design
Équipe concernée : Perception et design sonores
Partenaires : HGKZ (École supérieure de design et
d’arts appliqués),
NIPG (université de Berlin), Univerona-VIPS (université
de Vérone)
Programme : NEST (New and Emerging Science and
Technology), appelMTI (Measuring The Impossible),
Période de réalisation : juillet 2006 à juin 2009
Le projet CLOSED a pour vocation de proposer une
nouvelle approche du design sonore en termes d’outils
de création, de mesure et d’évaluation des productions sonores dans le domaine du design des objets du
quotidien. Elle s’inscrit dans une démarche plus large
empruntée au domaine du design industriel et peut se
représenter schématiquement de la manière suivante :
De cette manière, le processus de design sonore est
vu comme une boucle itérative : une première phase
d’analyse permet de dégager des spécifications vis-àvis des qualités/propriétés du son à réaliser, la phase
de création sonore s’opère à partir de ces connaissances préalables puis est ensuite validée sur la base
des spécifications initiales ; le cas échéant, la production est affinée en repassant dans la boucle création/
validation.
À l’intérieur de ce cadre, le projet est centré sur l’élaboration d’outils de mesure reliés aux aspects fonctionnels, esthétiques et émotionnels du son, et ayant pour
vocation d’être utilisés par les designers dans leurs
processus de création. À travers ces outils, le designer
pourra à la fois façonner les sons d’objets du quotidien
et, dans le même temps, évaluer le résultat de sa création. L’outil d’évaluation sera composé d’un ensemble
d’indicateurs facilement interprétables en termes de
fonctionnalité, d’esthétique et de réactions émotionnelles, qui seront associés à un contexte donné d’utilisation du produit.
Ce projet fédère quatre laboratoires européens qui
articulent son contenu suivant quatre différents axes :
• Synthèse sonore basée sur la modélisation d’événements physiques (solide, liquide…). C, le contrôle
de la synthèse par paramètres physiques et perceptifs
orientés vers le design interactif ;
• L’étude de la perception des sons environnementaux
et de leur organisation perceptive et cognitive. Intégration des aspects esthétique et fonctionnel perçus
du son dans le processus de design, et évaluation de
leur impact émotionnel ;
• Étude des nouveaux usages du design sonore. Élaboration de principes d’interaction sonore avec un
objet en relation avec la perception et la cognition.
Élaboration de scénarios par la création de prototypes
sonores favorisant les interactions entre un usager et
un objet ;
• Techniques d’apprentissage et de classification automatique des sons basées sur des modèles physiologiques pour une évaluation automatique de l’esthétique,
de la fonction et des aspects émotionnels du son intégrés dans le processus global du design sonore.
L’objectif de la COST action SID est de contribuer à la
création et à la consolidation d’une théorie, d’outils
et de domaines d’application du design sonore afin
d’améliorer ou d’introduire la composante sonore
dans la conception d’objets et de systèmes interactifs. Un des enjeux à long terme est de coordonner les
travaux dans ce domaine au niveau européen, et de
dégager des nouvelles perspectives pour les prochains
programmes européens (7th Framework Programme…).
Les efforts vont être portés par quatre groupes de travail, chacun étant associé à un axe de recherche ou
d’application révélé pertinent pour le domaine :
• approches perceptive, cognitive et émotionnelle
dans les interactions sonores ;
• Design sonore produit ;
• Interactions musicales et artistiques ;
• Sonification.
Projet SID
–
Sonic Interaction Design
adresse (temporaire) : http://www.cost.esf.org/
et http://www.cost-sid.org
Partenaires : treize pays de la communauté européenne,
et un pays non-membre (universitéMcGill, Canada)
Programme : COST, Commission européenne
Période de réalisation : juillet 2007-juin 2011
Coordinateur : département d’art et de design industriel
(IUAV université de Venise)
Le design interactif sonore (SID) consiste à exploiter
la modalité sonore pour transmettre une information,
combinée à une composante esthétique/émotionnelle,
utile dans des contextes d’usage interactif. En d’autres
termes, il s’agit de favoriser les interactions par le biais
du sonore.
53
Projet MINET
–
Measuring the Impossible NETwork
http://www.measuringimpossible.net
Coordinateur : Stockholms Universitet
Partenaires : vingt et un partenaires européens (Israël
compris), académiques et industriels
Programme : 6e PCRD (Programme Cadre R&D),
Commission européenne
Type de programme : Coordination Action 043297
Période de réalisation : février 2007-mars 2010
Le projet MINET a pour objectif de regrouper tous
les projets européens du programme « Measuring the
Impossible » (MTI), auquel le projet CLOSED appartient, ainsi que des spécialistes de métrologie. En effet,
le point commun de tous ces projets est qu’ils cherchent à mesurer l’impossible, c’est-à-dire des phénomènes liés à l’être humain, traditionnellement réputés
non mesurables, telles que les émotions ou la perception. L’objectif global de MINET est donc de réfléchir
à ce concept de mesure appliqué à l’humain. À travers
l’organisation d’échanges, de groupes de réflexions, de
séminaires, de visites d’études, ou d’écoles d’été entre
les différents projets partenaires de MINET, cet objectif
se subdivise en plusieurs points : augmenter la productivité des différents projets partenaires de MINET,
structurer et élargir la communauté scientifique européenne s’intéressant à la mesure de quantités liées
à l’humain, développer et standardiser les concepts
métrologiques propres à la mesure de l’humain.
Anciens proJets coLLABorAtiFs
progrAmmes européens et nAtionAuX
Projet CONCEPTMOVE
Projet PHASE
–
Concevoir à plusieurs artistes le modèle
d’une œuvre numérique interactive
–
Plate-forme haptique d’application sonore
pour l’éveil musical.
Équipes participantes : Acoustique des salles,
Applications temps réel, Représentations musicales
Période de réalisation : décembre 2005-mars 2008
Partenaires extérieurs : IRISA (coordinateur), Danse 34
Productions (N+N Corsino).
Programme : Riam
Partenaires extérieurs : Ondim, CEA-SRSI, Haption
Dans le contexte des installations interactives et de la
réalité virtuelle, le projet visait à constituer un environnement informatique assurant un cadre unificateur
pour la réalisation d’œuvres associant captation gestuelle, synthèse d’image 3D et spatialisation sonore.
Ce projet de recherche a finalisé la conception d’un
système de génération de sons faisant intervenir l’immersion sonore, le geste avec retour haptique et l’immersion visuelle.
Projet DVD à la carte
–
Projet MUSICNETWORk
–
Équipes concernées : direction des Relations extérieures,
Services en ligne
Réseau d’excellence européen : contribution aux normes
MPEG-7 et MPEG-21
Programme : IST, 5e PCRD, Commission européenne
Partenaires extérieurs : Exitech, FHG/IGD, FNB, Giunti
Interactive Labs, ILSP, Rigel Engineering, université
de Leeds,
Coordinateur : université de Florence (DSI)
MusicNetwork est un réseau d’excellence européen. Il
fédère les initiatives scientifiques et industrielles dans
le domaine de l’accès multimédia à la musique par
l’organisation de rencontres, conférences, formations,
et par une active contribution aux efforts de normalisation notamment MPEG-7 et MPEG-4.
Projet OPERA
–
Programme : RNTL
Collaborations extérieures : Inria, CSTB, France Télécom
R&D, Limsi, Virtools
Le projet a été consacré à la recherche et au développement de méthodes d’optimisation du rendu spatial
d’une scène sonore complexe, c’est-à-dire comportant
un grand nombre de sources sonores et/ou d’auditeurs
pour une meilleure efficacité de restitution.
54
Équipes concernées : Studio hypermédia, Services en
ligne
Partenaire : MPO
Période de réalisation : janvier 2003-septembre 2004
Financement : programme RIAM
Le projet visait la réalisation d’un système de fabrication de DVD de documents musicaux à la carte, utilisant le support DVD vidéo.
Projet AGNULA
–
AGNU Linux Audio Distribution
Programme : IST, 5e PCRD, Commission européenne
Période de réalisation : avril 2002-mars 2004 (24 mois)
Partenaires extérieurs : Tempo Reale, Music Technology
Group - université Pompeu Fabra - Barcelone, Free
Software Foundation Europe, Kung TekniskaHögskolan,
RedHat France
Le projet agnula s’inscrit dans le cadre du développement de logiciels libres, soutenu par la commission
européenne. Son objectif est de promouvoir la plateforme PC/Linux pour les applications audio et musicales professionnelles.
Projet LISTEN
Partenaires extérieurs : Ina-GRM, Digigram
–
Augmenting Everyday Environments
with Interactive Landscapes
5e PCRD, Commission Européenne
(36 mois)
Partenaires extérieurs : Institut futurmediaKunst –
Fraunhofer Institut (FhG-IMK), AKG, Kunst Museum
de Bonn, université technique de Vienne.
Le projet Listen s’est inscrit dans le domaine de la
réalité augmentée, considéré principalement dans sa
dimension sonore.
Son objectif était d’étudier comment des environnements naturels peuvent être « prolongés » par des éléments ou traitements sonores virtuels.
Projet CARROUSO
–
Creating, Assessing and Rendering in
Real-Time of High Quality Audio-Visual
Environments in MPEG-4 Context
Période de réalisation : janvier 2001-juin 2003 (30 mois)
Partenaires extérieurs : Fraunhofer Institut, Ilmenau
(Allemagne, coordinateur), Universität
Erlangen (Allemagne), Institut Integrierte Schaltungen
(Autriche), LSI – EPFL (Suisse), Studer (Suisse),
TU Delft (Hollande), France Télécom R&D (France) IRT
(Allemagne), Thales Broadcast & Multimédia (France)
Le projet Carrouso a été dédié à la transmission d’une
scène sonore réelle ou virtuelle préservant ses propriétés perceptives, notamment spatiales, et autorisant leur manipulation interactive.
Projet ECRINS
–
Environnement de classification et
de recherche intelligente de sons
Équipes concernées : Services en ligne, Analyse et
synthèse des sons, Perception et Design sonores,
Programme : PRIAMM
Période de réalisation : novembre 2000-mai 2002
(18 mois)
55
Le projet Ecrins a eu pour ambition de construire, à
l’attention des professionnels de la musique et du son,
un système de gestion d’échantillons sonores disponible en ligne ou en intranet, doté de fonctions de
classification et d’accès « intelligentes ».
Projet RADIO.THÉM
–
Radio thématique personnalisable en Ligne
sur leWeb
Équipes concernées : Design sonore,
Programme : RNRT
Période de réalisation : octobre 2000-octobre 2002
(24 mois)
Partenaires extérieurs : France Télécom R&D, Radio
France Multimédia, Ircam, Hyptique
L’ambition du projet Radio.Thém a été de jeter les
bases d’un nouveau concept de radio thématique en
ligne, profitant des possibilités induites par la nature
interactive d’Internet.
Projet WEDELMUSIC
–
Web DELivering of MUSIC scores
Équipes concernées : Médiathèque, Relations extérieures
Période de réalisation : janvier 2000-mai 2002 (28 mois)
Partenaires extérieurs : université de Florence (Italie),
ARTEC Group G.E.I.E.-Belgique, Casa Ricordi, BMG
Ricordi-Italie, Studie-en Vakbibliotheek voor visueel en
anderszins gehandicapten-Hollande, Scuola di Musica
di Fiesole (Italie), Fraunhofer Institute for Computer
Graphics (Allemagne), Institute for Language and
Speech Processing (Grèce), Agenzia per l’alta tecnologia
CESVIT (Italie), Edizioni Suvini Zerboni (Italie).
WedelMusic était un projet européen consacré à la distribution et l’accès aux partitions musicales au format
numérique.
Les logiciels de l’Ircam
LES LOGiCiELS
DE L’iRCAM
57
Le Forum
communAuté d’utiLisAteurs des LogicieLs de L’ircAm
http://forumnet.ircam.fr
[email protected]
Le Forum est destiné - avant tout - à créer un cadre
d’échange dans un esprit de partage de connaissances et de compétences. Pour cela il s’appuie sur un
ensemble de logiciels – répartis en quatre bouquets - et
un ensemble d’activités et services. Créé en 1993 pour
répondre à la demande d’avoir un accès plus large aux
résultats des recherches menées au sein de l’institut, le
Forum a progressivement créé une communauté d’utilisateurs des logiciels et technologies de l’Ircam. Cette
communauté - par sa diversité des métiers, cultures
et approches – a considérablement enrichi l’offre du
Forum avec le temps.
Les logiciels
Les quatre bouquets de logiciels sont destinés à des
populations d’utilisateurs - les compositeurs, artistes
multimédia, plasticiens, ingénieurs du son, designers
sonores, chercheurs, enseignants - avec des cultures et
besoins spécifiques :
• Forum Studio : pour les professionnels du studio et
de la postproduction.
Logiciels : audioSculpt, Spatialisateur and NajoMax
Interface.
• Forum Recherche : pour les créateurs attirés par la
recherche et l’expérimentation.
Logiciels : OpenMusic, SuperVP, PM2, Diphone, OMax,
Librairies Temps Réel et Modalys
• Forum Pédagogie : pour les enseignants dans les
écoles et conservatoires.
Logiciels : Musique Lab 1 & 2.
• Forum Libre : pour les adeptes du monde des logiciels libres.
Logiciels : FTM, MnM, Gabor, CataRT…
Les services
Le Forum propose :
• Un espace sur le site Forum pour les membres (sites,
discussions, ressources…) ;
• Deux ateliers de trois jours à l’Ircam, chaque année ;
• Le support technique par e-mail, téléphone ou fax ;
• Des tarifs préférentiels sur les stages de formation
organisés par le département pédagogique (-1/3 pour
les organismes, - 2/3 pour les individus), ainsi que
pour les événements (concerts, festival agora) et les
produits éditoriaux (disques, livres, cédéroms, échantillons sonores).
58
Les membres du Forum…
Qui sont-ils ?
Nos membres – principalement des professionnels de
la musique et du son - sont des compositeurs, chercheurs, ingénieurs du son, designers sonores, chercheurs scientifiques, réalisateurs en informatique
musical dans le monde de la musique et du spectacle
vivant (danse, théâtre…), enseignants, musicologues,
acousticiens, artistes multimédia, plasticiens et amateurs de musique.
Combien sont-ils ?
En 2006 le Forum comptait 633 membres, soit une
progression de 15 % par rapport à la même époque
en 2005. Répartition par type d’inscription : membres
individuels 72 %, membres institutionnels 18 % - soit
une population d’environ 1 100 utilisateurs actifs.
Où sont-ils ?
La répartition géographique est la suivante : France
36 %, Europe hors-France 41 %, USa-Canada 14 %,
asie 8 %, amérique Latine 1 %.
Quelques institutions :
France : CEFEDEM de Lorraine, CESaRE (Reims), CIRM
(Nice), Cité de la Musique (Paris), CNR Bayonne, CNR
Grenoble, CNR Montpellier, CNSMD Lyon, CNSMD
Paris, ENa Cergy Pontoise, ENS Louis Lumiere (Noisyle-grand), FEMIS (Paris), GMEM (Marseille), GRaME
Recherche (Lyon), INa GRM (Paris), Théâtre de l’Odéon
(Paris), université de Montpellier-II…
Europe : Cambridge University (UK), Cologne University
(D), Conservatoire de Genève (Suisse), Conservatorio
Zaragoza (Espagne), DIEM (Danemark), Elktronisches
Studio Basel (Suisse), ESM Lisboa (Portugal), Ferenc
Liszt academy (Hongrie), Griegakademiet (Norvège),
Iceland academy (Islande), Ionian University (Grèce),
London University (UK), Royal academy of Music
(UK), Royal College of Music (UK), Sibelius academy
(Finlande), Steinberg (D), University of Huddersfield,
ZKM (D), Estonia academy Music (Estonie)…
USa et Canada : Chicago University (Chicago), CNMaT
(Berkeley), Conservatoire Montréal, Creative advanced
Technology Center (Californie), Cycling’74 (Californie),
Harvard University (Boston), McGill (Montréal), MIT
(Boston), UCSD (San Diego), University of alberta
(Edmonton), University of Minnesota (Minneapolis),
Yale University (New Haven)…
asie et Océanie : Kunitachi College (Japon), Sydney
University (australie), University of auckland (Nouvelle-Zélande), University of Melbourne (australie),
Shob University (Japon), Yamaha (Japon)…
amérique Latine : asociacion ORT argentina (argentine), FaSM (Brésil…
supervp,
trAX et BiBLiotHÈQues
Conception et développement :
équipe Analyse et synthèse des sons
• Synthèse croisée : fondée sur le vocodeur de phase
ou sur le modèle source-filtre et contrôles variés.
SuperVP est une bibliothèque de traitement de signal
reposant sur un vocodeur de phase perfectionné. Elle
permet un grand nombre de transformations du signal
avec une très grande qualité sonore (étirement temporel, transposition de la fréquence fondamentale et
de l’enveloppe spectrale, débruitage, re-mixage des
composantes sinusoïdales, bruitées et transitoires,
dilatation de l’enveloppe spectrale, synthèse croisée
généralisée, synthèse croisée en mode source et
filtre…). Elle donne accès à un vaste jeu de paramètres qui fournissent un contrôle complet, et à grain fin,
du résultat d’algorithmes différents. En plus des algorithmes de transformation sonores, la bibliothèque
comprend une collection importante d’algorithmes
d’analyse du signal (F0, détection des débuts de notes,
spectrogramme, spectrogramme réassigné, enveloppe
spectrale…).
Analyse du signal :
• Spectrogramme : FFT à court terme et réassignée ;
• Enveloppe spectrale : LPC, « True Enveloppe » ;
• F0 : analyse haute précision à faible coût CPU, paramètres par défaut spécialisés pour différents instruments (i.e. : violon, flûte, xylophone, vibraphone…) ;
• attaques : algorithme paramétrable pour la détection
des attaques de notes et autres transitoires ;
• Voisé/Non-Voisé : fréquence de coupure Voisé/NonVoisé ou Sinusoïdal/Non-Sinusoïdal.
L’application SuperVP-TRaX utilise une implémentation temps réel de la bibliothèque SuperVP et fournit
une interface graphique simple d’utilisation dédiée à la
transformation du son et à la synthèse croisée. L’application est aussi très bien adaptée à la transformation
de la voix.
L’application TRaX a été conçue pour que la plupart
des paramètres différents de la bibliothèque soient
condensés en un jeu de paramètres utilisateur de haut
niveau qui permettent de contrôler l’application de
manière intuitive.
Fonctions principales :
Transformation du signal :
• Dilatation/compression : avec et sans préservation de
transitoires, mode spécialisé (préservation de la forme
d’onde) pour la transformation.
• Transposition : transposition indépendante de la
fréquence fondamentale et de l’enveloppe spectrale,
modification du taux d’échantillonnage (ré-échantillonnage).
• Débruitage : plusieurs motifs de bruit avec interpolation et traitement indépendant du bruit sinusoïdal ;
• Re-mixage transitoires/sinusoïdes/bruit : détection
des sinusoïdes, bruits, transitoires et contrôle de leurs
mixages respectifs ;
• Transformation de l’enveloppe : estimation de l’enveloppe spectrale et temporelle et contrôle de leurs
mixages respectifs ;
59
Caractéristiques techniques et configuration :
La bibliothèque peut être contrôlée en utilisant différents niveaux d’abstraction. Elle permet l’entrée/sortie
du son par fichiers et par mémoire aussi bien que le
contrôle des paramètres en temps réel. La bibliothèque
est utilisable à partir d’une large gamme d’environnements. Une application en ligne de commande donne
accès à toutes les transformations et analyses sonores
disponibles. Elle est utilisée par exemple dans les
applications audioSculpt et OpenMusic. Dans Max/
MSP, des objets permettent la transformation sonore
et l’analyse en temps réel et l’application TRaX repose
sur ces objets.
La bibliothèque est programmée en C++ en utilisant
des dispositifs d’optimisation avancés comme les
opérations SIMD (SSE2, SSE, altiVec) des processeurs
actuels. La bibliothèque fonctionne sous les systèmes
d’exploitation Mac OSX, Windows XP et Linux, sur
les processeurs Intel et PowerPC. Son implémentation
multithread permet d’exploiter les capacités de calcul
des processeurs multi-cœurs et ordinateurs multiprocesseurs.
Technologies et partenaires :
MakeMusic (SmartMusic), Univers Sons, Xtranormal,
Voxler, MXP4, etc.
AudioscuLpt
audioSculpt permet de « sculpter » littéralement un
son de manière visuelle. après une phase d’analyse, le
son s’affiche sous la forme d’un sonagramme, et l’utilisateur peut dessiner les modifications qu’il veut lui
appliquer. Les traitements principaux sont le filtrage,
la synthèse croisée, la transposition, la dilatation et la
compression temporelle, le débruitage.
Plusieurs types d’analyses montrent le contenu spectral
d’un son, et l’utilisateur peut ensuite modifier le son
par plusieurs méthodes ; dessiner des filtres, déplacer
des régions du sonagramme en temps et fréquence,
ou appliquer une des nombreuses transformations de
haute qualité.
Applications : composition, design sonore, postproduction, cinéma, multimédia, acoustique, enseignement, analyse musicale, ethnomusicologie.
Fonctions principales
• affichage/édition : zoom interactif sur le signal temporel jusqu’au niveau de l’échantillon, sonagramme
linéaire et logarithmique ;
• analyse : LPC, True Envelope, fréquence fondamentale, suivi des partiels, estimation de voisement,
différentes méthodes de segmentation automatique,
formants, outils pour l’écoute de certaines parties du
spectre avec affichage harmonique ;
• annotation : texte, zones et notes MIDI peuvent être
placées sur le sonagramme ;
• Traitement sonore - Séquenceur de traitement permettant de grouper des pistes de différents traitements et d’écouter leurs effets en temps réel avant de
générer le résultat ;
• Filtrage : des filtres très précis sont dessinés directement sur le sonagramme, générés par des analyses
spectrales ou définis par un fichier image. Fonction
spéciale pour la séparation manuelle des sources
sonores ;
• Compression/expansion : modification de la longueur
du son sans changer sa hauteur ou son timbre et en
préservant la qualité des attaques et transitoires ;
• Transposition : à l’aide d’un éditeur spécifique, l’utilisateur peut transposer le son sans modifier sa longueur, en préservant les caractéristiques spectrales (par
exemple le timbre de la voix) ;
• Débruitage : soustraction spectrale avec interpolation des estimations de bruit ;
• Synthèse croisée : application des caractéristiques
spectrales d’un son sur un autre afin de créer un
hybride sonore ou une transition d’un son à l’autre ;
• Synthèse des partiels : création d’un nouveau son
à partir des partiels trouvés par une des analyses et
mixage avec le résiduel. collage : des régions sonores
définies sur le plan temps fréquence peuvent être
copiées et collées ;
• Écoute : les transformations peuvent être écoutées
en temps réel. Le mode scrub permet de naviguer dans
le son à vitesse quelconque.
Caractéristiques techniques et configuration
audioSculpt fonctionne en tandem avec l’outil d’analyse/synthèse SuperVP pour la plupart des analyses et
modifications de son. Pour l’analyse/synthèse sinusoïdale, audioSculpt utilise l’outil Pm2. Dans audioSculpt,
on peut inspecter des commandes issues de SuperVP/
Pm2, les modifier et contrôler SuperVP/Pm2 par ligne
de commande.
audioSculpt accepte des sons multipistes et de haute
qualité (jusqu’à 32-bits intégrés ou flottants/192 kHz)
et utilise le format SDIF pour les analyses, qui sont
échangeables avec les autres logiciels.
Configuration : Macintosh sous Mac OSX (10.3 ou
après).
Formats de fichiers audio : aIFF/aIFC, Wav et Sound
Designer II.
60
dipHone studio
Diphone Studio est dédié au morphing sonore. Dans la
première phase d’analyse, le son de départ est découpé
en morceaux appelés diphones qui sont placés dans un
dictionnaire. L’utilisateur choisit ensuite dans ses différents dictionnaires les diphones qu’il souhaite assembler et leur succession dans le temps. Le programme
procède ensuite au morphing d’un diphone à l’autre
pour générer un résultat sonore, proposant une nouvelle approche du montage de sons par interpolation.
applications principales : composition, design sonore,
postproduction, cinéma, multimédia, acoustique.
• Segmentation/analyse : pour faciliter la phase d’analyse, Diphone propose une segmentation automatique
du fichier son de départ. Une interface graphique
permet de choisir un plug-in d’analyse et de régler les
paramètres de cette analyse ;
• Éditeur de dictionnaires : cet outil permet de naviguer entre les différents dictionnaires, de sélectionner
des diphones, de constituer de nouveaux dictionnaires
et de les sauvegarder ;
• Éditeur de séquences : construction de séquences
de diphones dans le temps et modification des propriétés des objets de connexion (durée de connexion,
connexion linéaire, etc.) ;
61
• Éditeur de courbes BPF (Break Point Functions) :
création ou modification de l’évolution de l’amplitude,
de la fréquence fondamentale ou de l’amplitude des
partiels du son.
Diphone Studio permet de contrôler différentes
méthodes de synthèse implémentées sous forme de
plugins :
• Synthèse additive et son programme d’analyse
(addan). Un nouveau module par chaîne de Markov
(HMM) permet l’analyse de sons inharmoniques ;
• Chant (Synthèse Source-Filtre) et l’analyse par
Modèles de résonance (Resan) ;
• Enveloppes spectrales pour l’analyse de la voix ;
• analyse et synthèse Psola ;
Configuration : MacOSX
Format de fichiers son : aIFF et Sound Designer II ;
format des fichiers d’analyse : SDIF.
modALYs
équipe Acoustique instrumentale
Modalys est utilisé pour créer des instruments virtuels à partir d’objets physiques simples comme des
cordes, des plaques, des tubes, des membranes, des
plectres, des archets et des marteaux. Il permet également de construire des résonateurs de forme quelconque à partir de techniques numériques de calcul
par éléments finis, de structure et fluide. L’utilisateur
construit ainsi un instrument et décide ensuite comment il va en jouer.
Fonctions principales :
Pour créer un instrument virtuel, l’utilisateur suit les
quatre étapes suivantes pour définir :
• Les objets physiques qui vont constituer l’instrument
(tube, corde, membrane, plaque, forme complexe
inexistante, plectre, archet, marteau). Ces objets sont
simulés dans l’ordinateur selon des paramètres par
défaut que l’utilisateur peut modifier ;
• Les accès aux objets (les positions des objets où sont
appliqués les modes de jeu) ;
• Les connexions qui permettent de définir les interactions physiques entre objets ;
• Les contrôleurs qui permettent de changer les paramètres d’un mode de jeu dans le temps et donc de
jouer de l’instrument .
Dans Modalys, on utilise un langage textuel Lisp qui
pilote ensuite le modèle physique d’instrument. On
peut utiliser notamment un ensemble de fonctions
de construction d’instruments et de contrôles intégrés sous forme de bibliothèque dans l’environnement
OpenMusic. L’utilisateur écrit et exécute le programme
pour obtenir le résultat musical désiré. Modalys comporte également un mode de fonctionnement en temps
réel interfacé ou pas avec le logiciel Max/MSP. Depuis
peu, dans le cadre du projet VoxStruments (voir page
26), des copies virtuelles d’instruments complets, pour
tous les registres et pour toutes les techniques de jeu,
ont été réalisées pour la famille des bois (saxophone,
hautbois, basson, clarinette, flûte).
Configuration :
Macintosh sous Mac OSX, Linux.
Formats de fichiers audio : aIFF.
application de la synthèse par éléments finis dans Modalys : premier mode
de vibration d’un bol tibétain modélisé par un maillage tridimensionnel.
62
openmusic
équipe Représentations musicales
OpenMusic (OM) est un environnement de programmation visuelle pour la création d’applications de
composition et d’analyse musicale assistées par ordinateur.
OpenMusic offre à l’utilisateur de nombreux modules
qui peuvent être associés à des fonctions mathématiques ou musicales, représentées par des icônes. L’utilisateur peut relier ces modules entre eux et créer un
programme appelé « patch » qui va générer ou transformer des structures musicales. Les patchs peuvent
s’emboîter les uns dans les autres pour constituer des
programmes et créer des structures de plus en plus
élaborées. OpenMusic est aujourd’hui utilisé par un
grand nombre de compositeurs et de musicologues.
Il est enseigné dans les principaux centres d’informatique musicale ainsi que plusieurs universités en
Europe et aux États-Unis.
• Éditeurs graphiques : partitions en notation musicale traditionnelle et proportionnelle (avec import
et export vers le logiciel de gravure professionnelle
Finale), fichiers MIDI (représentation de type « pianoroll »), fichiers audio (forme d’onde du son), fichiers
d’analyses et de descriptions sonores SDIF (éditeur
3D), courbes et break-point functions ;
• Fonctions de haut niveau pour la création et la transformation des structures musicales (hauteurs, rythmes,
etc.) ;
• Manipulation algorithmique des données aux formats MIDI, audio (WaV, aIFF), SDIF. Communication
OSC ;
• Outils mathématiques pour l’analyse et la composition ;
• Outils pour le contrôle de la synthèse (environnement OMChroma, interfaces avec les synthétiseurs
Csound, CHaNT, SuperVP) ;
• Éditeur de « Maquettes » permettant de donner une
forme temporelle et hiérarchique aux « patchs » et de
définir des « programmes temporels ». Outils de programmation avancés : programmation par objets et
programmation par contraintes.
63
Bibliothèques spécialisées
LZ : analyse statistique et génération d’improvisations
musicales ;
OMKant : quantification rythmique et segmentation ;
OMRC : programmation de contraintes rythmiques ;
OMCS : programmation par contrainte généralisée ;
Repmus : fonctions de l’équipe Représentations musicales ;
Profile : manipulation de profils harmoniques et de
contour ;
Morphologie : analyse de séquences de nombres et de
symboles ;
OMChaos : utilisation des fonctions fractales ;
OMalea : fonctions aléatoires ;
Esquisse : fonctions spectrales ;
OMPitchField : manipulation des hauteurs ;
OMTimePack : manipulation des durées ;
OM2Csound : génération de partitions et d’instruments Csound ;
OM_aS : génération de fichiers de paramètres pour
audioSculpt et SuperVP ;
OM-SuperVP : outils pour l’analyse, le traitement et la
synthèse sonore avec SuperVP et PM2 ;
OM-Diph : création de dictionnaires et de scripts pour
le synthétiseur Diphone ;
Caractéristiques techniques et configuration
Programmation basée sur le langage Common Lisp /
CLOS (MCL sur Macintosh et aCL sur Windows).
Compatible Macintosh OSX PPC et Windows XP.
Technologies et partenaires
MCL de Digitool (www.digitool.com)
allegro CL de Franz (www.franz.com)
MidiShare et LibaudioStream de Grame (www.grame.fr)
Finale de MakeMusic ! (www.makemusic.com)
openmusic
64
spAt~
équipe Acoustique des salles
Spat~, le Spatialisateur de l’Ircam, est un logiciel dédié
à la spatialisation du son en temps réel. Conçu sous
forme d’une bibliothèque, il permet au musicien ou à
l’ingénieur du son de contrôler la spatialisation du son
pour divers systèmes de restitution. Les applications
s’étendent de la reproduction en contexte domestique
(casque d’écoute, système stéréophonique ou 5.1) aux
situations de concert (distribution de haut-parleurs) ou
aux installations sonores holophoniques et interactives.
• Concerts et spatialisation du son en temps réel : le
compositeur peut associer à chaque événement sonore
de la partition un effet de salle ou une donnée de localisation dans l’espace. Le Spat~ peut être contrôlé à
partir d’un séquenceur d’un système de suivi de partition, ou à partir de processus de contrôle de haut
niveau dédiés à l’écriture musicale (ListenSpace,
OpenMusic…).
• Postproduction sonore : on peut connecter un Spatialisateur à chaque canal d’une table de mixage ou
d’un environnement de mixage logiciel pour disposer
d’un contrôle intuitif et global des positions de chaque
source et de leur effet de salle associé.
• Simulation et réalité virtuelle : sur casque, l’effet
d’immersion obtenu avec le Spat~ repose sur l’utilisation de techniques binaurales, d’autant plus convaincantes si le système est associé à un dispositif de suivi
de la position ou de l’orientation de la tête. Les sources
sonores gardent ainsi leurs positions spatiales en fonction des commandes de navigation de l’utilisateur.
65
Restitution holophonique
Le Spatialisateur a été adapté pour le mode de restitution holophonique qui permet de reconstruire un
champ sonore préservant les qualités de restitution
spatiale pour un auditoire étendu. Pour les installations
sonores interactives ce mode de restitution permet de
retrouver les sensations spatiales naturelles au cours
de l’exploration de la scène sonore.
• Contrôles perceptifs : azimut et élévation, distance,
présence de la source, présence de la salle, réverbérance précoce et tardive, enveloppement, balances
fréquentielles.
• Contrôles DSP de bas niveau : égalisation, effet Doppler, absorption de l’air, réverbération multicanal,
direction de la source en fonction du dispositif de diffusion (binaural, transaural, stéréo, stéréo 3/2, multicanal 4 à 8 HP, VBaP pour un agencement tridimensionnel des haut-parleurs, Wave Field Synthesis).
Configuration
Le Spat~ est une bibliothèque d’objets pour les environnements Max/MSP (IRCaM/Opcode/Cycling’74)
sous logiciel d’exploitation Mac OSX ou Windows XP.
Le Spat~ est également disponible sous forme d’un
ensemble de plugins insérables dans les principaux
logiciels d’édition ou séquenceurs musicaux (Protools,
Logicaudio, DigitalPerformer, etc.)
Technologies et partenaires
France Télécom, Cycling’74
mAX/msp
Le standard mondial pour l’interactivité sonore
temps réel
Max/MSP est un environnement visuel pour la programmation d’applications interactives temps réel.
C’est actuellement la référence mondiale pour la création d’installations sonores interactives. Max/MSP est
la combinaison du logiciel Max (Ircam/Cycling’74)
pour le contrôle temps réel d’applications musicales
et multimédia interactives par MIDI, et de MSP, une
bibliothèque d’objets pour l’analyse, la synthèse et le
traitement du signal audio en temps réel. Max/MSP
est conçu pour les musiciens, les designers sonores,
les enseignants et les chercheurs qui souhaitent développer des programmes interactifs temps réel. Max/
MSP est développé et édité par la société Cycling’74
(USa) sous licence exclusive de l’Ircam.
Composition
Génération de structures musicales au moyen de
modèles mathématiques et aléatoires.
Accompagnement Live
Production d’œuvres mixtes où la partie électronique
réagit au jeu de l’instrumentiste (par captation du jeu
instrumental par microphone ou par MIDI) ou bien par
modification directe du son de l’instrument. Max/MSP
se comporte comme un séquenceur en contrôlant la
diffusion de sons ou de fichiers audio dans le temps.
Le contrôle dynamique de programmes complexes
pilotant de la musique, de la vidéo ou des effets de
lumière est aussi possible.
66
Postproduction audio et pilotage
de périphériques
Contrôle possible de périphériques extérieurs tels que
tables de mixage, systèmes « direct-to-disk », synthétiseurs, etc.
Traitement vidéo temps réel.
Une bibliothèque d’objets pour le traitement vidéo
(Jitter) est proposée en option avec le logiciel. Elle
permet un contrôle de très bas niveau et la programmation de nombreuses applications.
Enseignement
Max/MSP est un outil pédagogique largement répandu
dans les universités, les écoles de musique et les
conservatoires. La documentation comprend plus de
vingt tutoriels interactifs pour la compréhension du
signal audio ou du système MIDI.
Recherche
Max/MSP est utilisé en recherche pour prototyper des
algorithmes de synthèse ou de traitement du signal en
temps réel. De nouveaux objets externes peuvent être
programmés en langage C et sont ensuite dynamiquement liés au programme.
Caractéristiques techniques
Plusieurs centaines d’objets pour la synthèse, le
contrôle, le traitement, l’échantillonnage ou l’analyse.
Compatibilité avec plusieurs cartes audio : Digidesign
audiomedia III, Digi 001, Project II, ProTools IV & Protools Mix, Korg 1212, Lucid PCI24, Sonorus StudI/O,
OTU 2408, Emagic audioWerk 8. Courtes latences sur
la plupart de ces cartes (6,5 ms à 47 ms).
Ftm
équipe Interactions musicales temps réel
La bibliothèque FTM, développée comme extension
de l’environnement Max/MSP, représente la plateforme principale d’intégration des travaux de l’équipe
Interactions musicales temps réel. FTM permet la
manipulation graphique et algorithmique de données musicales complexes (séquences, descriptions de
timbre, graphes) intégrées dans le paradigme de programmation de Max. Les bibliothèques de modules
Max/MSP Gabor et MnM, basées sur FTM, intègrent
des fonctionnalités de traitement de signal et diverses
techniques utilisées dans la reconnaissance de forme
et l’apprentissage automatique. L’ensemble FTM & Co
67
est une boîte à outil complète pour le prototypage et
l’expérimentation des paradigmes d’interaction entre
interprète et informatique musicale ainsi que des
méthodes avancées développées pour ce contexte.
Gabor est une boîte à outils pour le traitement de
timbre intégrant de multiples représentations sonores
et techniques d’analyse/synthèse (granulaire, additive,
Psola, FOF, vocodeur de phase). La bibliothèque MnM
fournit des outils pour l’analyse et la reconnaissance
de formes.
Configuration
Max/MSP sous Mac OSX, Windows.
musiQue LAB 1
applications musicales interactives pour l’enseignement musical dans l’éducation nationale
Équipes concernées : département Pédagogie, Système
temps réel puis Interactions musicales temps réel, Représentations musicales, Analyse des pratiques musicales,
bureau Études et méthodes, direction des Relations extérieures
Les Musique Lab sont six applications réalisées conjointement par l’Ircam et le ministère de l’Éducation nationale. Élaborées dans le cadre du dispositif de soutien
aux ressources multimédia piloté par la direction de
la Technologie du ministère de l’Éducation nationale,
elles sont destinées à l’enseignement musical dans
l’éducation nationale, et seront librement diffusables dans ce seul cadre et prochainement éditées sur
cédérom. Chacune des cinq premières applications
explore un domaine particulier de la création sonore
en s’appuyant sur des notions fondamentales des langages musicaux d’aujourd’hui et d’hier :
• Hauteurs et intensité : exploration de la hauteur et
de l’intensité sous la forme de continuums évolutifs et
de variations dynamiques ;
• Polycycles : exploration des jeux de cycles, de la polyrythmie, des systèmes répétitifs, de l’isorythmie et des
jeux de décalages ;
68
• Nuages : fabrication de textures diverses ou trames
évolutives grâce à divers procédés de type granulaires ;
• Échelles et modes : découverte du monde des
échelles, des gammes et des modes anciens, contemporains, tempérés, non égaux ou inégaux, des gammes
orientales ou non-octaviantes (hauteur, intensité,
durée, rythme, temps, couleur, etc.) ;
• Construction rythmique : création de modèles rythmiques sur 4 voies.
accompagné d’un sixième logiciel dédié au montage
des créations réalisées dans les cinq autres, l’ensemble
propose un champ d’investigation large et coordonné.
Ces programmes seront prolongés dès 2005 par une
nouvelle génération d’outils pour l’écriture musicale développée à partir du concept de la Maquette
d’OpenMusic, pour le traitement de l’audio (modules
Max/MSP) et pour l’annotation et la synchronisation
de partitions. Ce nouveau projet, coordonné par la
direction des Relations extérieures, s’inscrit dans le
cadre d’une convention triennale (2004-2006) signée
entre l’Ircam, le ministère de l’Éducation nationale et
le ministère de la Culture (représentant les conservatoires).
musiQue LAB 2
Équipes concernées : Représentations Musicales, Analyse
des pratiques musicales, Interactions musicales temps
réel, direction de la Pédagogie et de l’action culturelle.
Musique Lab 2 est un environnement d’aide à l’éducation musicale développé par l’Ircam suivant les prescriptions du ministère de l’Éducation nationale et du
ministère de la Culture - direction de la Musique et
de la danse. Il est destiné aux professeurs et élèves
de collèges, de lycées et de conservatoires. Cet environnement doit pouvoir s’adapter à des pédagogies
diverses. Pour cela, deux groupes de travail ont été
mis en place au début de l’année 2004 (un groupe de
professeurs de l’Éducation nationale constitué à l’initiative de l’Inspection Générale et de la direction de
la Technologie et un groupe de professeurs de conservatoires constitué à l’initiative de la DMDTS et de
l’Ircam). Musique Lab 2 est maintenant en phase de
test auprès des enseignants et élèves de l’Éducation
nationale.
69
Objectifs/roadmap
Les démarches pédagogiques sont la prérogative des
professeurs et varient considérablement du collège au
conservatoire. Cependant, quelques principes généraux se dégagent pour
l’utilisation des Musique Lab 2 :
• Partir de l’expérience de l’écoute du répertoire
musical le plus varié, notamment les œuvres choisies
pour le baccalauréat ;
• Pouvoir interagir en temps réel avec les structures
musicales utilisées par les compositeurs à la fois dans
les domaines audio et symbolique ;
• Introduire des notions d’interprétation dans la pratique sur ordinateur par l’utilisation de métaphores
instrumentales, la manipulation de la lutherie informatique et l’utilisation de contrôleurs externes ;
• Favoriser de multiples ponts entre le domaine du son
et celui de la note ;
• Introduire le concept de guides d’écoute instrumentée « Écoutes Signées » combinant contenus multimédia et outils pour les manipuler (cf. N. Donin, article
in Organised Sound n° 9) ;
• Développer des contenus dans le cadre de collections
réalisées à la demande des collectivités territoriales ;
• Prolonger les capacités de l’outil vers l’interprétation
et notamment le suivi automatique d’interprètes dans
le cadre du projet européen i-Maestro.
Modules logiciels
Trois modules accompagnent trois démarches pédagogiques principales : Écoute/analyse, Écriture, Interprétation. Ces trois logiciels échangent des données aux
formats audio, MIDI ou XML selon les cas :
• ML-annotation : cet environnement permet d’annoter et de synchroniser des sons et des images (enregistrements et partitions par exemple) et de lire des
données provenant des deux environnements précédents et de les articuler autour d’un scénario. Le professeur peut mettre en valeur certains constituants d’une
œuvre en privilégiant certaines représentations ;
• ML-Maquette : basé sur les maquettes d’OpenMusic,
cet environnement permet d’opérer des manipulations
symboliques. Il permet de placer sur un espace de travail des opérateurs simulant des processus musicaux
pour recréer une œuvre. Ces processus sont paramétrés par les élèves qui peuvent ainsi aller au-delà
de la version du compositeur pour explorer l’espace
musical autour d’un ou plusieurs principes fondateurs
de l’œuvre étudiée ;
• ML-audio : cet environnement est dédié à l’interaction temps réel. Il permet aux élèves d’enregistrer
des sons, d’en représenter le sonagramme, d’agir sur
leur contenu spectral, d’exporter ces données vers les
deux autres logiciels. Il est basé sur une architecture
permettant aux professeurs de développer leur propre
application audio, l’Ircam en fournissant un certain
nombre. L’interaction peut se faire sur l’ordinateur
ou au moyen d’interfaces MIDI et vidéo (mouvement
capté par une caméra).
Contenus pédagogiques et documentaires
De nombreux exemples pédagogiques et guides
d’écoutes à partir d’œuvres du répertoire sont le
moteur du développement des modules logiciels.
Parmi ces œuvres, on peut citer :
• Chaconne pour violon de J. S. Bach transcrite pour
piano par F. Busoni
• Partiels de G. Grisey
• Miserere d’Ä. Part
• Atem de M. Kagel
• Voi(Re)x de P. Leroux
• Avis de tempête de G. aperghis
• Comparaison d’interprétation appliquée au Prélude
du clavier bien tempéré de Bach
• Achorripsis de I. Xenakis
• Goldberg variations, Bach
• Offrande Musicale, Bach
• Quatuor pour la Fin du Temps, O. Messiaen
• La Rousserolle Effarvatte, Messiaen
• Forbidden Planet de FredWilcox (1956), musique
de Louis & Bebe Baron
• Opus d’a. Webern
• Boucle techno du groupe aphex Twin
70
L’équipe recherche et développement
L’éQuipe recHercHe et déveLoppement
(2008-2009)
Directeur
Hugues Vinet, directeur scientifique,
directeur de l’UMR STMS Ircam-CNRS.
Techniciens
Youcef Bensaid, Gérard Bertrand, Maxence Riffault,
Jean-François Rousse, Sassé Séri, alain Terrier.
Administration
Sylvie Benoit, Ghislaine Montagne, Didier Perini,
Carole Tan.
Doctorants
Yun-Kang ahn, antoine allombert, Grégory Beller,
Stéphanie Bertet, Tommaso Bianco, Julien Bloit,
Baptiste Caramiaux, Grégoire Carpentier,
Ivan Cohen, Gilles Degottex, Maël Derio,
Marcello Freitas Caetano, aurélie Frère, Marco Liuni,
Fivos Maniatakos, Rémi Mignot, Khoa-Van Nguyen,
Nicolas Obin, Hélène Papadopoulos, Lise Régnier,
David Roze, Joseph Sanson, Stephan Schaub,
Damien Tardieu, Fernando Villavicencio Marquez,
Chunghsin Yeh.
Responsables d’équipes
Gérard assayag, Jérôme Barthélémy,
Frédéric Bevilacqua, René Caussé, Nicolas Donin,
Laurent Ghys, Xavier Rodet, Frederick Rousseau,
Patrick Susini, Olivier Warusfel.
Chercheurs et ingénieurs
Carlos a. agon amado, Moreno andreatta,
Joël Bensoam, Julien Bloit, Niels Bogaards,
alain Bonardi, Riccardo Borghesi, Guillaume Boutard,
Jean Bresson, Juan-José Burred, Thibaut Carpentier,
Christophe Charbuillet, Raffaele Ciavarella,
arshia Cont, Frédéric Cornu, Emmanuel Deruty,
Nicholas Ellis, Snorre Farner,
David Fenech Saint Genieys, Laurent Feneyrou,
Emmanuel Fléty, Samuel Goldszmidt, arnaud Gomes,
Thomas Hélie, Olivier Houix, Olivier Labat,
Pierre Lanchantin, Guillaume Lemaitre, Grace Leslie,
Nicolas Misdariis, Markus Noisternig,
Geoffroy Peeters, Lorenzo Picinali,
Nicolas Rasamimanana, axel Roebel,
Francis Rousseaux, Norbert Schnell, Diemo Schwarz,
Leigh Smith, Christophe Veaux,
Isabelle Viaud-Delmon, Chunghsin Yeh.
72
Chercheurs invités
Mondher ayari, Stephen Barrass, Georges Bloch,
Guillaume Dechambenoit, Shlomo Dubnov,
Wei-Chen Chang, Christopher Dobrian,
Jonathan Goldman, Suguru Goto, Fabrice Guédy,
David Rizo, Camilo Rueda, Clara Suied,
Peter Van Roy, Feryel Znaidi.
Stagiaires
Matthieu aussal, Raphaël Barani, Baptiste Bohelay,
Eric Boyer, Javier Conteras, arnaud Dessein,
Philippe Esling, ashleigh Gonzales, Thomas Hézard,
Benjamin Lévy, Pierre Machart, Lucie Malecka,
John Mandereau, Roman Miletich, Simon Mitchell,
Julien Moumné, Bernard Pratz,
Mauricio Toro-Bermudez, Baptiste Véricel,
Rebecca Wheatley.
p L’iRCAM
LES CHIFFRES-CLÉS DE LA RECHERCHE À L’IRCAM
iNSTiTUT DE RECHERCHE
ET COORDiNATiON
ACOUSTiQUE/MUSiQUE
Chercher, créer, transmettre,
telles sont les missions poursuivies
par l’Ircam (Institut de recherche
et coordination acoustique/
musique), organisme associé
au Centre Pompidou, placé sous
la tutelle du ministère de la culture
et de la communication.
Avec ses 150 collaborateurs
compositeurs, interprètes,
administratifs et techniciens),
l’Ircam reste, depuis sa fondation
en 1977 par Pierre Boulez, le plus
grand centre de recherche publique
dans le monde dédié à la création
musicale.
p
8 ÉQUiPES DE RECHERCHE
menant des travaux dans
les différentes disciplines
scientifiques en rapport avec
la musique : acoustique, traitement
du signal, informatique,
psychologie, musicologie.
p
90 COLLABORATiONS ANNUELLES
dont 60 avec des laboratoires
et organismes publics et 30 avec
des sociétés privées.
p
100 PUBLiCATiONS PAR AN
dont 40 dans des revues
et chapitres d’ouvrages.
DiRECTiON SCiENTiFiQUE
SCiENTiFiC DiRECTiON
s
VALORiSATiON SCiENTiFiQUE
ET iNDUSTRiELLE
SCiENTiFiC AND iNDUSTRiAL
DEVELOPMENT
s
Hugues Vinet
[email protected]
90 COLLABORATEURS
techniciens, administratifs)
& 20 stagiaires par an.
p
p
p CONTACTS
p
30% DE COLLABORATEURS
DE NATiONALiTÉ ÉTRANGÈRE
issus d’un recrutement
international.
Frederick Rousseau
[email protected]
développés et diffusés auprès de
ADMiNiSTRATiON
1300 UTiLiSATEURS
PROFESSiONNELS DANS LE MONDE
s
à travers le Forum Ircam
(groupe d’utilisateurs).
DiRECTiON SCiENTiFiQUE | SCiENTiFiC DiRECTiON
Sylvie Benoit
[email protected]
Carole Tan
[email protected]
(personnel inclus) issu de projets
européens, nationaux et de
collaborations industrielles.
MÉDiATiONS
RECHERCHE/CRÉATiON
SCiENTiFiC AND MUSiCAL RESEARCH
s
Andrew Gerzso
[email protected]
Didier Perini
[email protected]
Florence Quilliard-Monjal
[email protected]
FORUM LOGiCiELS iRCAM | iRCAM SOFTWARE FORUM
Ghislaine Montagne
[email protected]
iNSTiTUT FOR RESEARCH
AND COORDiNATiON
iNTO ACOUSTiCS/MUSiC
Music research, creation,
dissemination such are the goals
set down by IRCAM (Institute for
research and coordination into
acoustics/music), an organization
linked to the Pompidou Centre and
under the charge of the Ministry of
culture and communication.
IRCAM brings together around
150 contributors (researchers,
engineers, composers, performers,
coordinators and technicians) and
has remained, since its establishment
in 1977 by Pierre Boulez, the largest
public centre worldwide for research
into musical creation.
www.ircam.fr/instr.html
[email protected]
PERCEPTiON ET DESiGN SONORES |
SOUND PERCEPTiON AND DESiGN
www.ircam.fr/pds.html
[email protected]
ANALYSE/SYNTHÈSE DES SONS |
SOUND ANALYSiS/SYNTHESiS
www.ircam.fr/anasyn.html
[email protected]
ADMiNiSTRATiON | ADMiNiSTRATiON
UMR STMS iRCAM-CNRS | iRCAM-CNRS JOiNT LAB
iNFORMATiQUE | COMPUTER SERViCE
p iRCAM
ACOUSTiQUE iNSTRUMENTALE |
iNSTRUMENTAL ACOUSTiCS
www.ircam.fr/salles.html
[email protected]
60% DE FiNANCEMENT EXTÉRiEUR
s
ACOUSTiQUE DES SALLES | ROOM ACOUSTiCS
7 ENViRONNEMENTS LOGiCiELS
ÉQUiPES SCiENTiFiQUES | SCiENTiFiC TEAMS
p
RESPONSABLE | MANAGER
ÉQUiPES SCiENTiFiQUES
SCiENTiFiC TEAMS
[email protected]
REPRÉSENTATiONS MUSiCALES |
MUSiCAL REPRESENTATiONS
www.ircam.fr/repmus.html
[email protected]
ANALYSE DES PRATiQUES MUSiCALES |
ANALYSiS OF MUSiCAL PRACTiCES
www.ircam.fr/apm.html
[email protected]
iNTERACTiONS MUSiCALES TEMPS RÉEL |
REAL-TiME MUSiCAL iNTERACTiONS
KEY FIGURES IN IRCAM’S R&D
www.ircam.fr/imtr.html
[email protected]
SERViCES EN LiGNE | ONLiNE SERViCES
p 8 RESEARCH TEAMS
working in various scientific fields
related to music: acoustics, signal
processing, computer science,
psychology, musicology.
p
with 60 labs and public organizations
and 30 with private companies.
p iNTERNATiONAL RECRUiTMENT
30% of staff are of foreign
nationality.
p 60% EXTERNAL FUNDiNG
(staff included) from national,
European and industrial projects.
SERViCE iNFORMATiQUE | COMPUTER SERViCE
[email protected]
p
100 PUBLiCATiONS PER YEAR
40 of which appear in scientific
journals or as chapters in books.
p 90 CONTRiBUTORS
(researchers, engineers,
technicians, coordinators),
& 20 internships per year.
www.ircam.fr/sel.html
[email protected]
90 YEARLY PARTNERSHiPS
DiRECTEUR DE LA PUBLiCATiON | PUBLiCATiON DiRECTOR | FRANK MADLENER
p
7 SOFTWARE ENViRONMENTS
developed and distributed to
RESPONSABLE DE LA PUBLiCATiON | PUBLiCATiON EDiTOR | HUGUES ViNET
TRADUCTiONS | TRANSLATiON | DEBORAH LOPATiN
1300 PROFESSiONAL USERS
WORLDWiDE
MiSE EN PAGE | PAGE LAYOUT | OLiViER UMECKER
through IRCAM Forum
(Users’ Group).
COUVERTURE | COVER | BELLEViLLE © PHOTOGRAPHiE SOPHiE STEiNBERGER
REPROGRAPHiE | PHOTOCOPYiNG | JEAN-PAUL RODRiGUES
iRCAM | DÉPARTEMENT RECHERCHE ET DÉVELOPPEMENT | R&D DEPARTMENT
1, PLACE iGOR-STRAViNSKY | 75004 PARiS | FRANCE
STANDARD | +33 (0)1 44 78 48 43
http://www.ircam.fr/recherche.html
RECHERCHE ET
DÉVELOPPEMENT
RESEARCH AND DEVELOPMENT
www.ircam.fr

RECHERCHE ET DÉVELOPPEMENT

Transcription

Documents pareils

Ircam LA LETTRE D`INFORMATION

A la Découverte de la Voix par sa physiologie

L`atelier « Musique et Cinéma »

Et pourquoi pas l`italien en LV3 au lycée SENGHOR de Magnanville

IN VIVO THÉÂTRE IN VIVO THÉÂTRE

Caractéristique Taille Haie Perche STIHL

Bilan semaine au point 22 rue Segurane

L`option facultative musique au BAC

peut-on envisager une organologie des instruments virtuels de l