poster

Music Discover
ACI
Masse de Données
Moyens d'analyse, d'indexation, de représentation et de recherche d'informations dans les
enregistrements musicaux, orientés vers le contenu et adaptés à l'utilisateur
http://recherche.ircam.fr/equipes/analyse-synthese/musicdiscover
http://recherche.ircam.fr/equipes/analyse-synthese/musicdiscover
Responsable: Xavier Rodet
Responsable: Gaël Richard
Responsable: Liming Chen
Membres de l'équipe: Y. Grenier, B. David,
Membres de l'équipe: Hadi Harb, Aliaksandr
G. Peeters, A. Livshin, C. Yeh, D. Tardieu
R. Badeau, S. Essid, M. Alonso, O. Gillet, G. Richard
Paradzinets, Emmannuel Déllandréa, Xiao Zhongzhe,
Liming Chen
Bases de données polyphoniques
Méthodes Haute Résolution
Recherche de titres musicaux par la classification en
genre et la similarité acoustique
Membres de l'équipe: X. Rodet, A. Röbel,
• Enregistrements solos pour la reconnaissance des instruments
• Mélanges d’échantillons polyphoniques
• RWC Classical fichiers MIDI alignés aux fichers Audio grâce au
logiciel “Alignement de partition”
• Approches adaptatives, Suivi de sinusoïdes, Application aux
signaux audio
Approche
Transformation en ondelette
Reconnaissance des instruments et indexation
• Comparaison de trois approches permettant la reconnaissance
des instruments monophoniques: utilisation des signaux originaux,
utilisation des sèries harmoniques et utilisation de la partie bruit
• Reconnaissance des
instruments polyphoniques
en utilisant des sons
resynthétisés à partir des
sèries harmoniques estimées
Base de données ENST-Drums
Estimation de F0s multiples
DFT spectrum
colored noise level
0
!20
amp(dB)
• Un modèle du spectre résiduel a été proposé
pour une estimation du niveau de bruit adaptée
localement dans le plan temps-fréquence
• Nous étudions comment
ce modèle du spectre
résiduel peut être intégré
dans l'estimation du nombre de F0s
reclassify
spectral
peaks
cepstrally
smoothed
noise level
Detection de notes (F0-multiples)
Histogramme 3D de succession des notes
Mesures de similarité acoustiques
note 3
Harmonic models
Similarité rythmique
(distance entre les histogrammes)
Wavelet spectrum
f0
Similarité mélodique
(distance entre les histogrammes)
note 1
• Multimodale
• Annotation semi-automatique
• Base partiellement publique
note 2
Évaluation et Résultats
!40
!60
0
Classification en genres
Recherche par similarité
!80
500 1000 1500 2000 2500 3000 3500 4000 4500 5000
freq(Hz)
• Nous considérons l'utilisation de modèles probabilistes
représentant le spectre résiduel qui ne serait pas expliqué par les
F0s trouvés
get
residual
spectrum
Histogramme de beat à 2D
Analyse rythmique
• Participation à l’évaluation internationale
(MIREX 2006)
• Estimation du tempo / Tatum
20
Courbe de probabilité de beats
subband noise peak
amplitude distribution
fit Rayleigh distribution
YES
?
NO
exclude
the largest
outlier
iteration
terminates
Reconnaissance des instruments, Reconnaissance
du genre
• Transcription automatique des signaux percussifs
• Reconnaissance en contexte polyphonique
• Application à la reconnaissance de genre
Séparation de sources
• Séparation de la piste de batterie pour la transcription et remixing
• Séparation de notes en contexte polyphonique
• Une base de données de 1000 titres musicaux variés
• 8 chansons avec plusieurs re-interprétations (de 2 à 6)
injectées
• Composition des playlists par similarité acoustique
• Considérer les positions des titres similaires
Original music
composition
Number of
interpretations
Positions of similar titles in playlists
Chi Mai
3
(1), 2, 3
Listen To Your Heart
3
(1), 3, 12
Wish You Were Here
2
(1), 2
Not Gonna Get Us
2
(1), 2
All the Things She Said
3
(1), 2, 3
30 minutes
2
Cry Me a River (ver. 1)
Cry Me a River (ver. 2)
• Une base de données de 1873
titres de 822 artistes
Sum of
probabilities
Acoustic
Expert
(PGM)
• 6 genres
• Architecture Multi-expert
• Précision moyenne 70.3% de
classification
Musical
title
Rhythmic
Expert
(beat histo)
Textual
expert
P(G1)
P(G2)
P(G3)
P(G4)
P(G5)
P(G6)
Classic
Danse
Jazz
Metal
Rap
Rock
Classic
88
0
14
7
2
7
Danse
2
68
3
5
6
3
Jazz
5
8
67
1
8
12
Metal
3
9
3
68
6
13
(1), 2
Rap
1
7
5
3
72
6
5
(1), 2, 3, 4, 6
Rock
1
8
8
16
6
59
6
(1), 2, 4, 7, 8, -1