Mesure de la Qualité d`Expérience du son spatialisé
Transcription
Mesure de la Qualité d`Expérience du son spatialisé
Mesure de la Qualité d’Expérience du son spatialisé : exemple du son binaural avec le projet FUI « BiLi » Orange Labs Rozenn Nicol, Laetitia Gros, Cathy Colomes, Pierre-Yohan Michaud Recherche & Développement 28/05/2015, JISFA diffusion libre Contexte: le Projet « BiLi » § Principaux objectifs ü développer des outils de binauralisation personnalisée de contenus audio multicanaux – "binauralisation" = créer des haut-parleurs virtuels pour une écoute sur casque § permet d'adapter un contenu 5.1 (ou 7.1/ 10.2/ 22.2/ HOA) à une écoute sur casque § pour faciliter la démocratisation de l'audio multicanal § car ne nécessite pas d'équipement supplémentaire – "personnalisée" = utiliser les HRTF individuelles de l'auditeur § pour une immersion optimale ü proposer un standard de format d'échange des données HRTF – pour faciliter la percée industrielle/ professionnelle du binaural 2 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Contexte: le Projet « BiLi » § Partenaires du projet ü France TV (lead) ü RF ü IRCAM ü CNSMDP ü LIMSI ü A-Volute ü Arkamys ü Trinnov 3 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Contexte: le Projet « BiLi » § 6 Sous-Projets – SP1: Méthodologie & évaluation de la qualité d’expérience binaurale – SP2: Production de contenus de référence – SP3: Standardisation des fichiers de caractérisation des HRTF – SP4: Acquisition/Génération des HRTF individualisées – SP5: Démonstrateurs de restitution binaurale personnalisable – SP6: Valorisation et dissémination 4 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé 5 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Qualité d’Expérience (QoE) du son spatialisé? § évaluer la perception par un auditeur de la reproduction audio 3D d’une scène § 2 questions à résoudre 1) identifier les dimensions perceptives représentatives de la perception – par ex, 2 dimensions sont bien connues: – la restitution du timbre – le rendu de la position des sources – mais, potentiellement, il en existe d’autres: – immersion, naturel, émotion … 2) se doter de méthodes pour « mesurer » la perception selon ces différentes dimensions 6 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé: quelles dimensions perceptives? § outils pour identifier les dimensions perceptives – MDS (Multi Dimensional Scaling) – mesure de dissimilarité entre stimuli – exploration verbale pour décrire la perception – par ex: Descriptive Analysis (DA), Repertory Grid Technique (RGT), Free-Choice Profiling (FCP) § de nombreux attributs perceptifs déjà répertoriés – liés à la physique, par ex: – timbre – position de la source – coordonnées sphériques, facilité à localiser, externalisation – étendue spatiale de la source – effet de salle – mais aussi liés aux processus cognitifs et affectifs, par ex: – naturel, lisibilité, émotion 7 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé: quelles dimensions perceptives? § un exemple: SAQI (Spatial Audio Quality Inventory, Projet SEACEN) – « a consensus vocabulary for the perceptual assessment of virtual acoustic environments (VAEs), or of Spatial Audio technology in general » – « to allow qualitatively differentiated assessments of unimodal or supramodal auditory differences between technically generated acoustic environments (VAES) as well as with respect to a presented or imagined acoustic reality » – liste de 48 descripteurs verbaux d’attributs perceptifs – 8 catégories: timbre, tonalness, geometry, room, time behavior, dynamics, artifacts, general impressions – initié en allemand – traduit en anglais Lindau et al., 2014 – traduction en français en cours 8 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé: quelles méthodes de mesure? § mesure directe d’un attribut perceptif sans référence – choix de l’échelle d’évaluation et de sa graduation – exemples – caractérisation de la qualité acoustique d’une salle (par ex: presence, room effect, reverberance, …) – test de localisation absolue § mesure directe d’un attribut perceptif avec référence – comparaison du stimulus à évaluer avec une référence – possibilité de compléter avec des ancres – exemples – test AB, ABX, MUSHRA – test de localisation relative (pointeur acoustique) 9 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé: quelles méthodes de mesure? § mesure indirecte – mesure à travers la réalisation d’une tâche – le succès de la tâche renseigne sur la perception – mesures physiologiques – déduire l’état psychologique (cognition, comportement, émotion, …) des réponses physiologiques du sujet – par ex: activité électrodermale, pulsation cardiaque, température de la peau, activité des yeux – observation de l’activité cérébrale – IRM, électroencéphalogramme, magnéto encéphalogramme, … – problème: équipements peu compatibles avec la reproduction/ écoute de sons 10 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé dans BiLi 11 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé dans BiLi § approches « conventionnelles » – validation des bases de données de HRTF individuelles mesurées – test de localisation absolue – choix de la méthode de report du jugement de localisation (H. Bahu & O. Warusfel, IRCAM) – évaluation des HRTF modélisées par les différentes solutions de personnalisation – test de localisation relative 12 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé dans BiLi § approches plus « originales » – évaluation de la qualité de trajectoires spatiales (A. Andreopoulou& B. Katz, LIMSI) – comparer des jeux de HRTF individuelles et non individuelles – évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les HRTF – application de casques cérébraux grand public à la mesure de QoE du son binaural (A. Boisadan, L. Gros & R. Nicol, 2014) – identification des attributs perceptifs relatifs à des HRTF non individuelles – comparaison de sons « binauralisés » par différents jeux de HRTF non individuelles – 2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY. Michaud & R. Nicol, Orange) – comparaison de systèmes de prise de son en vue d’une binauralisation (CNSMDP, RF, Orange) – 2 tests combinant différents protocoles (report graphique de trajectoires, jugement de préférence, évaluation multi critères) 13 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre QoE du son spatialisé dans BiLi § approches plus « originales » – évaluation de la qualité de trajectoires spatiales (A. Morjopoulos & B. Katz, LIMSI) – comparer des jeux de HRTF individuelles et non individuelles – évaluer l’impact de traitements (par ex. modélisation par des filtres) sur les HRTF – application de casques cérébraux grand public à la mesure de QoE du son binaural (A. Boisadan, L. Gros & R. Nicol, 2014) – identification des attributs perceptifs relatifs à des HRTF non individuelles – comparaison de sons « binauralisés » par différents jeux de HRTF non individuelles – 2 études: exploration verbale (L. Simon & B. Katz, LIMSI)/ MDS (PY. Michaud & R. Nicol, Orange) – comparaison de systèmes de prise de son en vue d’une binauralisation (CNSMDP, RF, Orange) – 2 tests combinant différents protocoles (report graphique de trajectoires, jugement de préférence, évaluation multi critères) 14 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Application de casques cérébraux grand public à la mesure de QoE du son binaural 15 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Application de casques cérébraux grand public à la mesure de QoE du son binaural A. Boisadan, L. Gros & R. Nicol, 2014 § casque Mindwave de Neurosky § comparaison de sons monauraux et binauraux (prise de son KU100 Neumann©) – 4 extraits: sèche cheveux, orage, route, pièce dramatique § 15 participants § enregistrement du signal capté par l’électrode – estimation de 2 indicateurs: « Attention » et « Méditation » – questionnaire en complément § résultats – pas d’effet significatif de la version (monaurale/ binaurale) – effet significatif de l’extrait sur l’indicateur « Méditation » 16 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 prochaine étape: capteurs EEG à haute résolution (collaboration avec Univ. Rennes 1) diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 17 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles § PY. Michaud & R. Nicol, 2014 Objectif: – comparer la perception entre HRTF pour une large palette de HRTF non individuelles (46 jeux de HRTF – BDD « Listen » / IRCAM) – recueillir des jugements de dissimilarité entre ces 46 jeux – construire l’espace perceptif associé par une analyse MDS (Multi Dimensional Scaling) – identifier le nombre de dimensions – identifier l’(es) attribut(s) perceptif(s) associé à chaque dimension Matrice de dissimilarité A B C D 18 Espace multidimensionnel A B C D Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 A MDS C D B diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles § stimuli sonores – extrait d’une émission radio (« Interception ») – format 5.1 – converti au format binaural en synthétisant des hautparleurs virtuels par synthèse binaurale – 46 versions de l’extrait – pré-traitements – pour chaque jeu d’HRTF, l’ITD est remplacée par une ITD moyenne – égalisation en sonie (indicateur « N10 ») des stimuli § 10 participants – de type experts: ingénieurs du son (RF, FTV, CNMSDP), chercheurs en audio 3D (Orange, LIMSI) 19 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles § protocole expérimental – méthode SPPR – Similarity Picking with Permutation of References – au lieu de présenter des paires de stimuli à comparer – pour M = 46 versions: M(M-1)/2 = 1035 paires! – on présente au sujet un ensemble de 4 stimuli (« tétrade ») – 1 stimulus de référence PY. Michaud, 2013 – 3 stimuli à comparer – seulement 3 en raison des limites de la mémoire auditive – le sujet doit choisir parmi les P=3 stimuli, celui qu’il perçoit comme le plus similaire à la référence – nombre de tétrades à évaluer : M(M-1)/3 = 690 – en moyenne 6-7 heures de test pour un sujet – avantage: chaque stimulus sert de référence à tour de rôle 20 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 21 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles § analyse MDS de la matrice moyenne de dissimilarité 4 dimensions identifiées • dim. 1: modification spectrale (quantité d’aigus) • dim. 2: notion d’espace/ volume/ largeur de scène • dim. 3: barycentre spatial • dim. 4: profondeur/ distance des objets 22 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles § analyse MDS de la matrice moyenne de dissimilarité 4 dimensions identifiées lien avec l’étude par exploration verbale (L. Simon & B. Katz, LIMSI), limitée à 7 HRTF • dim. 1: modification spectrale (quantité d’aigus) • dim. 2: notion d’espace/ volume/ largeur de scène • dim. 3: barycentre spatial • dim. 4: profondeur/ distance des objets 23 • 12 attributs Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 • • • • • • • • • • • • Externalisation Immersion Modification spectrale (grave/ aigu) Réalisme Profondeur du champ sonore Précision de la localisation Position latérale Elévation Position avant/ arrière Réverbération Niveau sonore Profondeur diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles § 2nde expérience – réduction par similarité des 46 jeux de HRTF à 19 – durée du test: 1-1h30 – 2 extraits – émission radio (« Interception ») – prise de son 5.1 – création TV (ambiance nature: orage, chien, oiseaux) – mixage binaural de sons monos – auditeurs de type naïf – extrait 1: 12 participants/ extrait 2: 11 participants – résultats: 3 dimensions identifiées 24 extrait 1 extrait 2 • Balance spectrale • Balance spectrale (quantité (quantité d’aigus) d’aigus) • Notion d’espace/ Largeur • Notion d’espace/ Largeur de de scène (frontale) scène (espace supérieur) Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre • Barycentre spatial • Sensation de réverbération /Echo Comparaison de systèmes de prise de son 25 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Comparaison de systèmes de prise de son § enregistrement d’une séquence d’une pièce de R. de Obaldia (« Deux femmes pour un fantôme ») au CNSMDP – 14 systèmes de prise de son (enregistrements séquenciels) – – – – – – – – 26 Tête Neumann KU 100, 2 têtes « fait maison » Eigenmike, Soundfield® stéréo: XY, AB Arbre 5 DP4 4041 (Decca Tree + MMAD) DPA 5100 Arbre 8 MK21 / Arbre 8 MK5 MMAD MK21 / MMAD MK5 croix IRT Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Comparaison de systèmes de prise de son § Objectif – comparer la robustesse des prises de son après binauralisation – les enregistrements Ambisonics / stéréo / multicanaux sont mixés avec la consigne d’obtenir le meilleur rendu § 2 tests – écoute d’une séquence longue (1min40sec) – report graphique des positions et trajectoires des sources sonores – questionnaire court (réalisme, sensation d’espace, distance) – comparaison par paire d’extraits courts (20sec) – choix d’une référence: KU100 – jugement de préférence (échelle à 7 degrés, de -3 à +3) – questionnaire étendu à la fin du test – liste de 10 attributs + informations générales § tests en cours – résultats à venir… 27 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Conclusion 28 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Conclusion § la perception du son binaural, en général et en particulier dans le cadre du Projet BiLi, appelle de nombreuses questions: – comment évaluer les « performances » de HRTF personnalisées? – est-il possible de trouver dans une base de données de HRTF, si elle est suffisamment étendue, un jeu de HRTF non individuelles qui me conviennent aussi bien que mes HRTF individuelles? – peut-on ajuster le niveau de personnalisation en fonction de l’application? – par ex. jeu vidéo vs VOD – quel est l’apport de la personnalisation relativement au head-tracking? – comment en synthèse binaurale peut-on se rapprocher de la qualité d’immersion d’un enregistrement par une tête artificielle? – comment améliorer l’externalisation? – quelle est l’influence de la chaîne technique de reproduction sur la perception? – comment obtenir des mesures objectives corrélées aux attributs perceptifs? 29 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Conclusion § quelques premiers éléments de réponse… – fourniture au consortium d’une « trousse à outils » – pour que chaque partenaire puisse mener ses évaluations avec des méthodes communes – nombre de dimensions de l’espace perceptif – de l’ordre de 4 dimensions – reste à identifier les critères objectifs associés – quelle est la position des HRTF individuelles dans cet espace? – plusieurs propositions de liste d’attributs perceptifs – à homogénéiser 30 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre merci diffusion libre Annexes 32 Orange Labs - Recherche & Développement - titre de la présentation – date diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 33 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 34 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 35 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 36 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre Identification des dimensions de l’espace perceptif associé aux HRTF non individuelles 37 Orange Labs - Recherche & Développement - JISFA– 28-29/05/2015 diffusion libre
Documents pareils
Écoute de contrôle au casque en prise de son multicanal
En ce qui concerne les ambiances multicanales 1 , le fait de reproduire un espace crédible n’est pas forcément une tâche triviale : une scène sonore est toujours constituée d’une multitude de sourc...
Plus en détail