cosmos

COSMOS
« COntrôle perceptif des processus d’analyse-Synthèse de signaux Musicaux
et sOnoreS »
« Perceptual COntrol of analysis-Synthesis processes of Musical and sOund
Signals »
Membres :
Permanents:
- Mitsuko Aramaki (CR1)
- Olivier Derrien (MdC)
- Antoine Gonot (MdC)
- Richard Kronland-Martinet (DR2)
- Thierry Scotti (IR1)
- Thierry Voinier (IR1)
- Sølvi Ystad (DR2)
Doctorants et CDD:
- Adrien Sirdey
- Etienne Thoret
- Simon Conan
- Sébastien Denjean
- Charles Gondre
- Charles Verron (09-2012)
Collaborations actuelles liées au thème :
- neurosciences cognitives (LNC-Marseille),
- psychoacoustique (LMA-Marseille, ARI-Autriche),
- traitement du signal (LMA-Marseille, Télécom-ParisTech, Université McGill-Canada,
Esbjerg-Danemark, Newcastle-Australie)
- mathématiques (LATP-Marseille, ARI-Autriche)
- musique et arts (Conservatoire National de Région, CNR, P. Gobin ; UBRIS Studio
Marseille, J. Diennet ; école d’arts-Aix-en-Provence, P. Sinclair)
- application automobile (PSA - Peugeot Citroën-Vélizy-Villacoublay ; ISM-Marseille)
- perception (IRCAM-Paris, Université d’Aalborg, Esbjerg – Danemark)
- spatialisation (LIMSI-Orsay)
- modèles numériques (Université d’Edimbourg)
Projets actuels liés au thème :
- METASON (ANR CONTINT 2010)
- PEPS INSIS « Images de l’invisible » 2010
- PHYSIS (ANR CONTINT 2012)
- DEFISENS (mission interdisciplinaire du CNRS 2012)
- Conventions d’études (PSA)
Présentation succincte du thème :
La synthèse numérique des sons a connu ces dernières années une évolution significative
qui permet aujourd’hui de reproduire des percepts sonores complexes de façon réaliste en
s’appuyant sur des modèles physiques ou de signaux, et ce, en interaction temps-réel. Les
enjeux scientifiques générés par de telles avancées méthodologiques se situent désormais
au niveau du contrôle intuitif de ces percepts et de la prise en compte du ressenti de
l’utilisateur dans les processus de synthèse.
Le thème COSMOS s’inscrit directement dans ce contexte puisqu’il vise d’une part à la
conception d’outils interactifs de création sonore et d’autre part à la mise en œuvre de
stratégies de contrôle intuitif basées sur le concept d’invariants morphologiques. L’originalité
méthodologique majeure du thème réside dans le fait que l’on aborde le problème du
contenu informationnel des sons à partir de l’outil de synthèse numérique. Il pose de fait un
ensemble de questions fondamentales visant à:
- Décrire la morphologie des sons et en particulier la dynamique liée au timbre et au
ressenti par la mise au point de méthodes mathématiques et d’algorithmes de
décomposition, de représentation et d’estimation de ces morphologies
- Concevoir un modèle générique de synthèse des sons basé à la fois sur des
concepts perceptifs, cognitifs et physiques
- Construire des outils de manipulation sonore associés à des contrôles de haut
niveau axés sur le ressenti
- Engendrer des métaphores sonores adaptées à différents types d’applications.
Les problématiques abordées dans ce thème exigent une approche fortement
pluridisciplinaire. La mise en correspondance des paramètres de synthèse et des attributs
subjectifs liés au ressenti nécessitera de prendre en compte la perception des sons dans son
aspect le plus large en incluant le point de vue cognitif. Les relations entre le ressenti et les
corrélats acoustiques seront déduites d’études portant sur la sémiotique des sons. Cette
étape permettra de définir une véritable signature acoustique associée à une catégorie
perceptive. La stratégie d’approche se basera également sur le concept d’analyse-synthèse
consistant à extraire les paramètres de synthèse bas-niveau à partir de l’analyse de sons
naturels. Il s’agira notamment de développer des d’outils d’analyse et de représentations
adéquates de la dynamique des signaux s’appuyant, lorsque cela est possible, sur l’inversion
de modèles physiques.
On s’intéressera enfin à la création de métaphores sonores à partir de textures sonores
prédéfinies ou générées par synthèse. Cette problématique sera abordée sous un aspect
fondamental afin de définir des modèles et des règles correspondant à une grande palette
de timbres et de dynamiques.
Les résultats acquis seront déclinés au sein d’une plateforme de synthèse spatialisée temps
réel qui devra répondre à des contraintes techniques fortes (performance, polyvalence,
modularité, interactivité…).
Les applications concernent les domaines liés aux environnements multimédia (son
interactif, jeux vidéo, films d’animations), à la musique et à la réalité virtuelle et augmentée,
où l'expérience sensorielle du sujet est enrichie de nouveaux signaux (en l'occurrence
acoustiques), afin de lui permettre de mieux appréhender son interaction avec
l'environnement. Les projets actuels portent sur l'aide à l'apprentissage de l'écriture par le
son, mais aussi l'assistance aux conducteurs de véhicules dans des circonstances
défavorables (véhicules silencieux, conditions de circulation dangereuses...), ainsi que
« l’augmentation » d’instruments de musique traditionnels, tant du point de vue du timbre et
de la dynamique sonore que de celui l’interprétation musicale.
Enfin, l’étude des interactions multimodales, notamment liées au geste et à la vision, sera
abordée dans le cadre de collaborations multidisciplinaires.