Reconnaissance de loi via une estimation de densités par

Reconnaissance de loi via une estimation de densités par histogramme
pour la modélisation de canaux de transmission.
Guilhem C OQ1 , Olivier A LATA2 , Christian O LIVIER2 , Xiang L I2 , Yannis P OUSSET2
1 Laboratoire
de Mathématiques et Applications, UMR CNRS 6086
Téléport 2, BP 30179, 86962 Futuroscope Chasseneuil cedex
2 Laboratoire
Signal, Image et Communications, UMR CNRS 6172
Téléport 2, BP 30179, 86962 Futuroscope Chasseneuil cedex
[email protected], [email protected]
olivier,li,[email protected]
Thème – Représentation des signaux et images. Application aux communications numériques.
Problème traité – Reconnaissance de la loi d’un échantillon parmi une famille de lois données.
Originalité – Les critères d’information sont utilisés pour déterminer, à partir d’un échantillon, un histogramme estimant la loi inconnue,
ici, celle modélisant un canal de propagation radioélectrique. Cet histogramme permet de calculer des distances de type Kullback-Leibler entre
densités de probabilités ; ces distances sont ensuite utilisées pour la reconnaissance de la loi. Cette méthode diffère de l’approche de type
Kolmogorov-Smirnov utilisée habituellement dans ce contexte applicatif, cette dernière utilisant des distances sur les fonctions de répartition
empiriques. Ces fonctions, qui conservent toute l’information donnée par l’échantillon, sont beaucoup plus difficile à manipuler que l’histogramme choisi par critères d’information, qui peut être vu comme un résumé de cette information à un nombre très restreint de classes.
Résultats – Les perfomances de l’outil de reconnaissance de loi par histogramme sont comparées à celles de l’outil classique de KomogorovSmirnov par une étude statistique appliquée aux radiocommunications, cette étude portant sur les taux de reconnaissance, valeur prédictive
positive et précision des tests. Il en ressort que notre méthode donne une meilleure reconnaissance des modèles des canaux radioélectriques.
1 Estimation de densité par histogramme
Soit x = xn = x1 , . . . , xn un n-échantillon d’une densité de probabilité inconnue f dont le support est un intervalle I ⊂ R.
Soit également P = (Ij )j∈[[1,m]] une partition de I en m intervalles. On sait que l’estimée au sens du maximum de vraisemblance
de f par une fonction constante par morceaux sur P est donnée par l’histogramme :
hP =
m
X
nj
n`j
j=1
Ij
(1)
où `j est la longueur de l’intervalle Ij et nj le nombre d’échantillons contenus dans Ij .
Le choix de la partition P sur laquelle est construit cet histogramme est crucial lors d’une telle estimation. Il s’agit d’un problème
de sélection de modèle non-paramétrique que nous nous proposons de résoudre à l’aide d’un critère d’information. Nous appuyant
sur les travaux de Rissanen et al. [5, 6, 1], nous avons proposé dans [3, 2] un critère reposant sur la théorie de l’information.
Chaque partition P de I est utilisée pour encoder les données x. La longueur d’un tel codage est estimée par le critèEn vue de
synthétiser les résultats sur la figure 1, nous moyennons ces taux de reconnaissance sur les trois lois génératrices utilisées. re
CRIT(x, P ) = −
m
X
j=1
nj log
nj
log n
+ (m − 1)
.
n`j
2
(2)
Le principe du Minimum Description Length [1] nous pousse alors à choisir la partition Pb qui minimise ce critère et à estimer f
par hPb comme en (1).
L’intervalle I est découpé en R ∈ N intervalles de longueurs égales r. Nous nous limitons aux partitions de I dont les bornes
des intervalles coïncident avec ce découpage. Un algorithme de programmation dynamique détaillé en annexe A de [2] permet de
minimiser (2) sur les 2R−1 partitions en question en un nombre d’opérations de l’ordre de seulement R2 . La partition obtenue,
dénommée dynamique, présente des intervalles de longueurs variables.
2 Reconnaissance de loi par histogramme
2.1
Position du problème
Donnons nous une famille de densité de probabilités paramétrées. Dans ce travail nous considérons la famille constituée des lois
de Rayleigh, Nakagami et Weibull :
¶
µ
x
x2
Rayleigh : fR,σ (x) = 2 exp − 2
x≥0
σ
2σ
µ
¶
µx2
2µµ x2µ−1
(3)
exp −
Nakagami : fN,µ,Ω (x) =
x≥0
(µ − 1)!Ωµ
Ω
µ k¶
x
kxk−1
exp
− k
Weibull : fW,k,λ (x) =
x≥0
k
λ
λ
où σ, µ, Ω, k, λ sont les paramètres de forme de ces lois. Notons que, pour µ = 1 ou k = 2, les loi de Nakagami ou Weibull
correspondent à celle de Rayleigh.
Ces lois sont classiquement utilisées pour la modélisation des canaux de propagation radio. Nous nous intéresserons aux cas où
les émetteurs et récepteurs sont en position de visibilité (Line Of Sight, LOS) ou de non-visibilité (Non Line Of Sight, NLOS),
voir [7, 8]. Le cas NLOS est le plus délicat. En effet, une simulation de la propagation des ondes radio en configuration NLOS par
un logiciel mis au point par le laboratoire XLIM-SIC [4] montre que les densités candidates (3) sont plus proches visuellement
que dans la configuration LOS.
Nous nous proposons, à partir d’un échantillon xn d’une loi inconnue de ce type, de déterminer si cette loi est du type Rayleigh,
Weibull, ou Nakagami.
2.2
Les différentes méthodes étudiées
Nous utilisons deux procédures de reconnaissance pour définir les lois en compétition.
La procédure à modèle : les paramètres de forme σ, µ, Ω, k, λ dans (3) sont fixés a priori ; fR,σ , fN,µ,Ω et fW,k,λ deviennent les
lois en compétition. On peut considérer que ces lois ont été déterminées au préalable par apprentissage.
b sont estimés par les méthodes du maximum de vraisemblance ou
b b
La procédure aveugle : les paramètres de forme σ
b, µ
b, Ω,
k, λ
des moments, à partir de l’échantillon. Les densités fR,bσ , fN,bµ,Ω
b et fW,b
b sont les lois en compétition.
k,λ
La reconnaissance s’effectue alors par les deux méthodes suivantes :
La méthode de Kolmogorov-Smirnov (KS) : c’est celle classiquement utilisée. La distance de Kolmogorov-Smirnov entre deux
fonctions de répartition F et G est définie par KS(F, G) = supt∈I |F (t) − G(t)|. Notons Fb la fonction de répartition empirique de
l’échantillon. La loi est choisie par minimisation de la distance KS entre Fb et les fonctions de répartition des lois en compétition.
La méthode à histogrammes (KL) : elleR utilise la distance de Kullback-Leibler (KL) symétrisée qui est définie entre deux densités
de probabilités f et g par KL(f, g) = 21 (f − g) log(f /g)dλ. Nous notons hPb l’histogramme dynamique choisi par minimisation
du critère (2). La loi est choisie par minimisation de la distance KL entre hPb et les densités des lois en compétition.
Finalement, nous considérons quatre stratégie de reconnaissance : KS à modèle, KS aveugle, KL à modèle, KL aveugle.
3 Présentation des résultats
Nous travaillons dans un cadre théorique visant à valider les méthodes à histogramme KL et à les comparer avec les méthodes
usuelles KS.
Nous envisageons deux cas. Le cas LOS, où les lois génératrices sont relativement éloignées visuellement, et le cas NLOS où
ces lois sont plus proches. Pour chacun de ces cas et pour n variant de 100 à 1000, nous générons 900 n-échantillons de chaque
loi. Nous appliquons à chacun de ces échantillons les quatre stratégies de reconnaissance étudiées. A titre d’exemple et pour
synthétiser les résultats, nous montrons en figure 1 le taux de reconnaissance moyen (Average True Positive rate) des trois lois
génératrices , ie la proportion d’échantillons dont la loi a été bien reconnue par la méthode.
La méthode à histogramme KL est globalement plus efficace que la méthode classique KS, surtout dans le cas le plus difficile
de notre étude : cas NLOS et procédure aveugle. De plus, cette méthode est plus rapide en temps de calcul (d’un facteur de
l’ordre de 10). Nous présenterons une étude statistique plus poussée de ces résultats de simulation, notamment en termes de
matrices de confusion, valeur prédictive positive et de précision des tests, pour confirmer que la méthode à histogramme amène
une amélioration significative des résultats.
procédure à modèle, cas LOS
procédure aveugle, cas LOS
procédure à modèle, cas NLOS
procédure aveugle, cas NLOS
F IG . 1 – Comparaison des taux de reconnaissance moyen (Average True Positive rate) sur les trois lois génératrices en fonction de
n selon les méthodes utilisées et les cas envisagés (LOS : densités assez distinctes, NLOS : densités plus proches).
Références
[1] A. Barron, J. Rissanen, and B. Yu. The minimum description length principle in coding and modeling. IEEE Trans. Inform.
Theory, 44(6) :2743–2760, 1998.
[2] G. Coq. Utilisation d’approches probabilistes basées sur les critères entropiques pour la recherche d’information sur support
multimédia. Thèse de doctorat, Université de Poitiers, France, Décembre 2008.
[3] G. Coq, C. Olivier, O. Alata, and M. Arnaudon. Information criteria and arithmetic codings : an illustration on raw image. In
15th European Signal Processing Conference proceedings, pages 634–638, Poznan, Poland, 2007.
[4] F. Escarieu, Y. Pousset, R. Vauzelle, and L. Aveneau. Outdoor and indoor channel characterization by a 3d simulation software.
Septembre 2001. PIMRC ’2001, San diego, USA.
[5] J. Rissanen. Stochastic complexity and modeling. Ann. Statist., 14(3) :1080–1100, 1986.
[6] J. Rissanen, T. P. Speed, and B. Yu. Density estimation by stochastic complexity. IEEE Transactions on Information Theory,
38(2) :315–323, 1992.
[7] N. C. Sagias and G. K. Karagiannidis. Gaussian class multivariate Weibull distributions : Theory and applications in fading
channels. IEEE Transactions on Information Theory, 51(10) :3608–3619, Oct 2005.
[8] T.K. Sarkar, Zhong Ji, Kyungjung Kim, A. Medouri, and M. Salazar-Palma. A survey of various propagation models for
mobile communication. Antennas and Propagation Magazine, IEEE, 45(3) :51–82, 2003.