exposé
Transcription
exposé
Les évidences incertaines dans les Réseaux Bayésiens Présenté par : Ali BEN MRAD Auteurs : Ali BEN MRAD, Véronique DELCROIX, Mohamed Amine MAALEJ, Sylvain PIECHOWIAK, Mohamed ABID Kerkennah, Tunisie, 11 mai 2012 Plan I.Introduction i. Contexte ii. Exemple II. Evidence classique III.Evidences incertaines i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations IV. Evidence Floue i. Comparaison entre probabilité et logique floue ii. Evidence Floue (1ère approche) iii.Evidence Floue (2ème approche) V. Conclusion et futurs travaux I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Contexte ii. Exemple Réseaux Bayésiens : représentation des connaissances et inférence sous incertitude. Multiples sources d'informations. Pas toujours parfaites. Observation certaine, incertaine et imprécise Evidence classique (‘Hard Evidence’) Evidence avec incertitude (‘Virtual Evidence’) [Pearl, 1988] Evidence de l’incertitude (‘Soft Evidence’) [Valtorta, 2002] Evidence Floue [Tang et al., 2007], [Ben Mrad et al., 2011] Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 3 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux N i. Contexte ii. Exemple E Fig1. Neige-Embouteillage Table 1. P(N) N1 0 0.6 N2 ]0, 40] 0.22 N3 ]40, 80] 0.14 N4 ]80, 120] 0.04 Fig 2. Probabilité conditionnelle de l’embouteillage sachant la quantité de neige Table 2. P(E/N) N1 N2 N3 N4 Oui 0.3247 0.6058 0.96 0.6058 Non 0.6753 0.3942 0.04 0.3942 Les évidences incertaines dans les Réseaux Bayésiens (60 − N ) 2 P= ( E Oui | = N ) exp(− ) 2 2*( sigma ) JFRB’2012 4 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et travaux futurs Observation certaine : V = v 80 mm (N = N3) Table 3. Probabilité encodant l’évidence classique N ∧ v (v) N1 v 0 P(E = Oui | N = N3) = 0.96 E N2 N3 N4 Oui Non 0 1 0 1 1 Problème lié à la discrétisation 13 états : P(E = Oui | N80) = 0.93 60 états : P(E = Oui | N80) = 0.893 Cas réel: P(E = Oui | N=80mm) = 0.8825 Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 5 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations Evidence avec incertitude (‘Virtual Evidence’) [Pearl, 1988] : généralisation de l’évidence standard Interprétée comme évidence avec incertitude et représenté par des rapports de vraisemblances Augmenter la puissance de modélisation de réseaux bayésiens [Bilmes, 2004] Utile dans les scénarios où on peut raisonner seulement sur des rapports de vraisemblances Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 6 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux N i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations E Table 5. Probabilité encodant ve N-obs Table 4. TPC P(N-obs|N) N N1 N2 N3 N4 N-obs Oui 0 0 0.5 0.5 Non 1 1 0.5 0.5 N v N1 ∧ v (v ) 0 E N2 N3 N4 Oui Non 0 0.5 0.5 1 1 Observation = VE {N1 = 0, N2 = 0, N3 = 0.5, N4 = 0.5} P(E = Oui | ve) = 0.881 P(N1) = 0; P(N2) = 0; P(N3) = 0.778; P(N4) = 0.222; = P( E Oui = | ve) E Oui | N ) ∗ Q( N = ∑ P(= ∑ P( E = e | N ) ∗ Q( N = i i i ,e Les évidences incertaines dans les Réseaux Bayésiens i Ni ) Ni ) JFRB’2012 7 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations Evidence de l’incertitude (‘Soft Evidence’) [Voltora et al., 2002] qui la caractérisé par la distribution de probabilité R(Y), Y ⊆ X Incertitude dans le choix de l’état observé Xi, mais certitude sur la distribution de probabilité Utile lorsqu’on ne peut pas observer l’état précis d’une variable mais plutôt la distribution de probabilité de ses états Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 8 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations Propagation de Soft Evidence : deux cas une ou plusieurs Cas d’une seule SE : Convertir SE à VE [Chan et al., 2005] Définition d’un rapport de vraisemblance : L(N) = R(N) / P(N) P(N) : probabilité à priori de la variable observée (N) R(N) : valeurs de soft evidence L(N) = (0 : 0 : 0.5/0.14 : (0 : 0 : 0.222 : 0.778) (N1 : N2 : N3 : N4) 0.5/0.04) Propager L(N) comme VE, après normalisation Observation = SE {N1 = 0, N2 = 0, N3 = 0.5, N4 = 0.5} P(E = Oui | se) = 0.783 Cas de SE multiples : autres algorithmes (IPFP, Big clique algorithm,...) Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 9 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations Table 8. Différentes appellations de virtual evidence dans les logiciels des RB Logiciel Nom de VE Site Web BNT Soft evidence http://www.cs.ubc.ca/~murphyk/ Software/BNT/bnt.html Bayesialab Likelihood distribution http://www.bayesia.com NETICA Likelihood http://www.norsys.com HUGIN Likelihood findings http://www.hugin.com GeNIe Soft evidence Les évidences incertaines dans les Réseaux Bayésiens http://genie.sis.pitt.edu JFRB’2012 10 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Evidence avec incertitude (‘Virtual Evidence’) ii. Evidence de l’incertitude (‘Soft Evidence’) iii.Evidences Incertaines : Algorithmes et différentes appellations Table 9. Algorithmes traitant les Evidences Incertaines Algorithmes Type d’évidence Références Méthode VE VE [Pearl et al., 1990] Jeffrey’s rule VE et SE unique [Jeffrey, 1983] IPFP (Iterative Proportional Fitting Procedure) SE 1ère apparition [Kruithof, 1937] Etudié dans [Peng et al., 2005] Etendu dans [Bock et al. 1989], [Cramer et al 2000] The big Clique algorithm et extension SE [Valtorta et al. 2002] Algorithme dérivé Combinant la méthode de VE, Jeffrey’s rule et IPFP VE et SE [Peng et al., 2010] Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 11 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Comparaison entre probabilité et logique floue ii. Evidence Floue (1ère approche) [Ben Mrad et al., 2011] iii.Evidence Floue (2ème approche) [Tang et al., 2007] Théorie des probabilités ≠ Théorie de la logique floue Table 10. Comparaison entre la théorie de probabilité et la logique floue Probabilités Logique Floue Incertitude par rapport à l’occurrence Ambiguïté par rapport à la nature d’un d’un événement événement P(A∪ A ) = P(U) = 1 P(A ∩ A ) = P(Ø) = 0 Les évidences incertaines dans les Réseaux Bayésiens µ(A∪ A ) pas nécessairement = µ(U) µ(A∩ A ) pas nécessairement = µ(Ø) JFRB’2012 12 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux N1 f N2 f N3 f N4 f Pas i. Comparaison entre probabilité et logique floue ii. Evidence Floue (1ère approche) [Ben Mrad et al., 2011] iii.Evidence Floue (2ème approche) [Tang et al., 2007] Nf Peu Moyen Beaucoup E Nœud N remplacé par N f : observation floue fonction floue traduisant les valeurs linguistiques observation de 80mm degré d'appartenance à N 3 f et N 4 f Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 13 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Comparaison entre probabilité et logique floue ii. Evidence Floue (1ère approche) [Ben Mrad et al., 2011] iii.Evidence Floue (2ème approche) [Tang et al., 2007] Table 11. Probabilité encodant l’évidence floue N v N1 f N2 f E N3 f N4 f ∧ v (v) µ Pas (80) µ Peu (80) µ Moyen (80) µ Beaucoup (80) Oui Non 1 1 f = P ( E Oui | N ∑ i ) ∗ µi (80) i = P( E Oui = | fe) = 0.792 f P( E e | N i ) ∗ µi (80) ∑ i= ,e Ben Mrad, A., Maalej, M. A., Delcroix, V., Piechowiak,S., Abid, M.: Fuzzy Evidence in Bayesian Networks. Proc. of Soft Computing and Pattern Recognition, Dalian, China, (2011). Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 14 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Comparaison entre probabilité et logique floue ii. Evidence Floue (1ère approche) [Ben Mrad et al., 2011] iii.Evidence Floue (2ème approche) [Tang et al., 2007] Equation Bayesienne Floue [Tang et al., 2007] : P ( N ) = µ ( N ) * P( N ∑= i∈I N i Ni ) µ N : fonction d’appartenance de N µ N ( N i ) : degré d’appartenance de N i à N = P( E Oui= P( E Oui ) / P( N ))∑ µ N ( N i ) * P = Oui ) | N ) (= ( N N= i |E i∈I µ N ( N1 ) 0,= µ N ( N 2 ) 0.0625,= µ N ( N 3 ) 0.9375,= µ N ( N 4 ) 0.0625 N = Moyen = = P( E Oui = | N ) 0.92 Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 15 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Comparaison entre probabilité et logique floue ii. Evidence Floue (1ère approche) [Ben Mrad et al., 2011] iii.Evidence Floue (2ème approche) [Tang et al., 2007] Evénement flou pour E j , exemple : E = ‘peu d’embouteillage’ P( E |= N N= i) ∑µ E ( E j ) * P(= N N i |= E E j ) * P= ( E E j ) / P (= N Ni ) j N et E deux événements flous, exemple : N = ‘quantité de neige moyenne’ et E = ‘peu d’embouteillage’ ) P(= E E | = N N= ∑ ∑µ j∈J i∈I E ( E j ) * µ N ( N j ) * P(= N Ni |= E E j ) * P(= E E j ) / P( N ) Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 16 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Conclusion ii. Futurs Travaux Evidences incertaine : Evidence avec incertitude (Virtual Evidence) Evidence de l’incertitude (Soft Evidence) Evidences floues 1ère approche [Ben Mrad et al., 2011] 2ème approche [Tang et al., 2007] Différents type d’évidences Différents algorithmes de propagation Différentes situations Ben Mrad A., Delcroix V., Maalej M. A., Piechowiak S., Abid M., Uncertain Evidence in Bayesian Network : presentation and comparison on a simple example. Accepted to publish in IPMU’12, Catania, Italy, (2012) Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 17 I. Introduction II.Evidence classique III.Evidences incertaines IV.Evidence Floue V.Conclusion et futurs travaux i. Conclusion ii. Futurs Travaux Implémenter et comparer les algorithmes de propagation d'évidences incertaines. Proposer une architecture distribuée prenant en compte plusieurs types d'évidences incertaines. Application à la décision multicritères. Vers les Réseaux Bayésiens Multi-agents A Q B C N O E D F P M G K L G A I Les évidences incertaines dans les Réseaux Bayésiens J JFRB’2012 18 Recherche en Développement et Contrôle d’Applications Distribuées Merci pour votre attention! Bibliographie [Jensen96] Jensen, F.: An Introduction to Bayesian Networks, Springer, New York, (1996). [Ben Mrad et al., 2011] Ben Mrad, A., Maalej, M. A., Delcroix, V., Piechowiak,S., Abid, M.: Fuzzy Evidence in Bayesian Networks. Proc. of Soft Computing and Pattern Recognition, Dalian, China, (2011). [Valtorta et al., 2002] Valtorta, M., Kim, Y., Vomlel, J.: Soft Evidential Update for Probabilistic Multiagent Systems. International Journal of Approximate Reasoning. 29(1), 71–106, (2002). [Pearl, 1988] Pearl, J.: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufman, San Mateo, CA. (1988). [Pearl et al., 1990] Pearl, J.: Jeffery’s rule, passage of experience, and neoBayesianism. Knowledge Representation and Defeasible Reasoning. eds. H. E. Kyburg, Jr., R. P. Loui and G. N. Carlson, Kluwer Academic Publishers, Boston, 245–265 (1990). [Jeffrey, 1983] Jeffrey, R.: The Logic of Decisions. 2nd Edition, University of Chicago Press, Chicago, (1983). Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 20 Bibliographie [Bilmes04] J. Bilmes. “On soft evidence in Bayesian networks”. Technical Report UWEETR-2004-0016, University of Washington, Dept. of Electrical Engineering. 2004. [Kruithof, 1937] R. Kruithof, R.: Telefoonverkeer Rekening. De Ingenieur, 52, 15–25 (1937). [Bock, 1989] Bock,H. H.: A conditional iterative proportional fitting (CIPF) algorithm with applications in the statistical analysis of discrete spatial data. Bull. ISI, Contributed papers of 47th Session in Paris. 1, 141–142 (1989). [Cramer, 2000] Cramer, E.: Probability measures with given marginals and conditionals: I-projections and conditional iterative proportional fitting. Statistics and Decisions. 18, 311–329 (2000). [Peng et al., 2005] Peng, Y., Ding, Z.: Modifying Bayesian networks by probability constraints. in Proc. 21st Conf. Uncertainty in Artificial Intelligence, Edinburgh, (2005). Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 21 Bibliographie [Peng et al.,2010] Peng,Y., Zhang, S., Pan, R.: Bayesian Network Reasoning with Uncertain Evidences. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. 18(5), 539–564 (2010). [Chan et al., 2005][17] Chan, H. Darwiche, A.: On the revision of probabilistic beliefs using uncertain evidence. Artificial Intelligence. 163, 67–90 (2005). [Tang et al. 2007] Tang, H. and Liu, S.: Basic Theory of Fuzzy Bayesian Networks and Its Application in Machinery Fault Diagnosis. In Proc. of FSKD. 4, 132137 (2007). Les évidences incertaines dans les Réseaux Bayésiens JFRB’2012 22