Deux Approches Alternatives pour la Catégorisation de Signaux

SETIT 2005
3rd International Conference: Sciences of Electronic,
Technologies of Information and Telecommunications
March 27-31, 2005 – TUNISIA
Structures à Multiples Réseaux Neuronaux : Deux
Approches Alternatives pour la Catégorisation de
Signaux Biomédicaux
Véronique Amarger, Saliou Diouf, Mariusz Rybnik, Abdennasser Chebira et
Kurosh Madani
Laboratoire d’Intelligence en Instrumentation et Systèmes (I2S/JE2353) –Institut Universitaire de
Technologie de Sénart- Université Paris 12, Avenue Pierre Point, 77127 Lieusaint, France
[email protected]
[email protected]
[email protected]
Résumé: Dans cet article, nous traitons le problème difficile de catégorisation de signaux biomédicaux. Nous nous
intéressons au système auditif par l’étude des signaux électriques issus d’un examen d’exploration fonctionnelle des
voies auditives : les Potentiels Evoqués Auditifs. Du fait de la nature difficile du problème traité (diagnostic
biomédical), nous avons fait évoluer les algorithmes de traitement de type neuromimétique à structure simple vers une
structure à multiples réseaux de neurones à architecture statique, puis vers une structure neuronale arborescente à
architecture dynamique. Nous présentons, étudions et comparons ces deux approches de catégorisation en fonction des
différents paramètres d’optimisation de chacune d’entre elles en utilisant une base de données expérimentales constituée
de patients classés en deux catégories : malade (atteint d’une pathologie auditive) ou sain (normo-entendant). Nous
comparons les intérêts de chacune et nous montrons, par ailleurs, la pertinence de leur utilisation comparée au recours à
un seul réseau de neurones.
Mots clés: Catégorisation, Réseaux de Neurones Artificiels, Signaux Biomédicaux, Structure Statique, Structure
Dynamique.
1 Introduction
Le domaine de l'aide au diagnostic médical est un
domaine particulièrement attractif et très prometteur.
En effet, même si de nombreuses études dont (Don &
al., 1997, Vuckovic & al., 2002) en font aujourd’hui
l’objet, les difficultés liées à ce sujet reste vastes. On
peut citer l’utilisation par les experts (médecins) de
certains critères de diagnostic intuitif et/ou non
modélisable, ou alors, également la nécessité
d’atteindre une capacité performante de catégorisation
des données. Dans ce domaine, les experts (médecins)
utilisent plusieurs informations, sous des formes
diverses ; données qualitatives ou quantitatives,
signaux, images, pour émettre leur diagnostic. Nous
nous interessons, dans cet article, au domaine
biomédical du système auditif par l’étude de la
catégorisation de signaux électriques issus d’un
examen d’exploration fonctionnelle des voies
auditives : les Potentiels Evoqués Auditifs. Cette étude
constitue une toute première étape vers un outil d’aide
au diagnostic pour les médecins ORL. La difficulté
principale de cette catégorisation réside dans la
ressemblance de signaux correspondant à des
pathologies différentes, mais aussi dans la disparité
des signaux au sein d’une même catégorie. Les
résultats de l’examen médical peuvent, par exemple,
être différents pour deux mesures effectuées sur un
même patient.
Au cours de ces dernières décennies, les
techniques
neuronales
se
sont
montrées
particulièrement attrayantes pour la résolution d’une
large variété de problèmes dans les domaines de l’aide
à la décision, de la catégorisation ou de la
modélisation (Bazoon & al., 1994, Goonatilake & al.,
1995, Jordan & al., 1995, Widrow & al.,1990). Du fait
de la nature difficile du problème traité (diagnostic
biomédical), nous avons fait évoluer les algorithmes
de traitement de type neuromimétique à structure
simple vers une structure statique à multiples réseaux
de neurones, puis vers une structure dynamique
arborescente à multiples réseaux de neurones. Dans
SETIT2005
cet article, nous présentons, étudions et comparons ces
deux approches de catégorisation. Afin de simplifier
la nomenclature dans la suite de l’article, la structure
statique à multiples réseaux de neurones sera désignée
par "SMN" (Structure Multi-Neuronale). De même la
structure dynamique arborescente à multiples réseaux
de neurones sera désignée par "SNA" (Structure
Neuronale Arborescente).
La structure SMN est ici une association linéaire
de deux réseaux de neurones dédiés, qui permettrait
l’amélioration des résultats, comparés aux mêmes
réseaux de neurones utilisés seuls. La mise en œuvre
pratique d’une telle structure et son optimisation
relèvent du pragmatisme et de l’expérience du
concepteur. A travers une approche empirique, nous
tentons d’extraire des critères de choix des valeurs de
certains paramètres pour la mise en œuvre de cette
structure multi-neuronale dédiée à la catégorisation de
signaux issus de tests biomédicaux. Nous étudions
deux des paramètres caractéristiques de la structure
multi-neuronale : la taille de la base d’apprentissage
(étendue des connaissances initiales du système),
d’une part, et le nombre de neurones dans la couche
cachée des réseaux constituant la structure multineuronale proposée
L’idée directrice de la structure SNA est de diviser
un problème complexe en un ensemble de sous
problèmes relativement simples. Nous nous sommes
inspirés pour cela du paradigme de Jules César
« diviser pour régner » (Madani & al., 2003) .Nous
souhaitons améliorer les performances des techniques
de classification neuronales classiques en résolvant
plusieurs problèmes simples au lieu de résoudre un
seul problème difficile. La topologie de la structure
neuronale induite est de forme arborescente. Les
nœuds ainsi que les feuilles de cet arbre neuronale
sont constitués de réseaux de neurones artificiels.
Cette topologie présente plusieurs degrés de liberté :
nombre de nœuds, profondeur de l’arbre, nombre de
branches par nœuds, type de réseau de neurones
artificiels utilisé au niveau des feuilles et des nœuds.
L’amélioration des performances de la SNA se fait à
travers l’optimisation de l’ensemble de ses degrés de
liberté.
La présente communication est organisée en six
sections. La section suivante a pour but de présenter le
cadre général du problème de diagnostic biomédical
traité et les signaux biomédicaux associés. Les
sections 3 et 4 présentent respectivement la Structure
Multi-Neuronale (SMN), et la Structure Neuronale
Arborescente (SNA) mises en œuvre. Dans la section
5, nous expliquons le protocole expérimental utilisé
pour la validation des deux approches proposées.
Dans la section 6, nous donnerons résultats obtenus
pour chaque approche. Nous comparerons les intérêts
de chacune et nous montrerons, par ailleurs, la
pertinence de leur utilisation comparée au recours à un
seul réseau de neurones. Finalement, nous conclurons
et donnerons les perspectives à ce travail.
2 Présentation des signaux biomédicaux
Le problème traité relève du domaine biomédical
et concerne l’aide au diagnostic de certaines
pathologies auditives, telles que les tumeurs du nerf
auditif (neurinome), des atteintes vasculaires ou
tumorales du tronc cérébral ou encore dégénératives
telles que la sclérose en plaque, par exemple (Motsch,
1987). Dans le cadre de notre étude, nous utilisons les
signaux électriques prélevés sur les patients lors d’un
test clinique auditif : les Potentiels Evoqués Auditifs
(PEAs). Cet examen d’exploration fonctionnelle
otoneurologique permet l’étude de la conduction
nerveuse le long des voies auditives. Le processus de
génération d’un Potentiel Evoqué Auditif (PEA)
consiste à stimuler avec un écouteur attaqué par un
clic électrique. Sous l’effet de cette stimulation, les
fibres nerveuses sont excitées et génèrent un potentiel
d’action. La somme de ces potentiels d’action,
synchrones de la stimulation, est recueillie à distance
au moyen d’électrodes et constitue le signal électrique
PEA. La Figure 1 est un schéma de principe qui
résume la génération des PEAs. Un synoptique de la
chaîne d’acquisition des PEAs est présenté Figure 2.
Figure 1 . Principe de génération des PEAs.
Figure 2 . Synoptique de la chaîne clinique de prélèvement
des PEAs.
Les PEAs sont internationalement utilisés par les
médecins ORL depuis le début des années 80. Ces
derniers s’appuient sur une surface de 50 acquisitions
appelées surface de “ Dynamique Temporelle du
Tronc Cérébral” (DTC), associée à d’autres examens
cliniques et auditifs pour établir leurs diagnostics. La
figure 3, extraite de (Motsch, 1987), représente deux
cas typiques de surfaces DTC: le premier est celui
correspondant à un patient sain (3A), entendant
normalement, et l'autre à un patient ayant une
pathologie auditive (3B). La DTC permet également le
calcul du Potentiel Evoqué Moyenné (PEM), moyenne
de ces 50 acquisitions PEA. Les figures 3A et 3B
montrent les PEMs au devant des 50 signaux PEAs
respectifs.
SETIT2005
Figure 3 . (A) Exemple de Surfaces DTC de patient sain,
(B) Exemple de Surfaces DTC de patient Malade.
Les 2 cas typiques de la Figure 3 sont, en fait,
rarement obtenus. En effet, l’interprétation des PEAs
reste une tâche difficile, en raison de la variabilité de
leur morphologie en fonction des conditions
techniques, du type de déficit auditif et de la
pathologie. En effet, en général, pour un patient qui a
une audition normale, le résultat du test produit une
surface DTC régulière. Les résultats du test sur des
patients présentant une pathologie de type
endochochléaire, par exemple, sont très proches de
ceux correspondant aux patients normaux, ce qui rend
la tâche du diagnostic très difficile. Dans ce cas,
l'expert médical utilise alors des paramètres
supplémentaires, tel que le seuil auditif, pour établir
son diagnostic. En plus, pour des sessions de test
différentes et pour le même patient, les résultats
peuvent varier parce qu'ils dépendent de la relaxation
de la personne, du contexte, des conditions du test, du
rapport signal à bruit, etc. Cette difficulté de
diagnostic nous a conduit à étudier la possibilité
d’intégrer l’expertise humaine au sein d’un système
d’aide au diagnostic. Pour cela nous utilisons des
bases de données validées par des experts pour
concevoir le système d’aide au diagnostic médical
basée sur des techniques neuromimétiques.
Dans un premier temps et pour l’étude présentée,
nous nous intéressons à la détection de patient malade,
ce qui revient à définir deux catégories de patients :
patient malade (M) et patient normo-entendant (N).
Nous baserons cette étude sur la catégorisation du seul
signal PEM. La difficulté majeure dans la distinction
des deux catégories (patient malade et patient normoentendant) réside dans la ressemblance des signaux
PEMs correspondant aux deux catégories et dans la
disparité des signaux au sein d’une même catégorie.
La Figure 4 illustre la diversité de ce type de signaux
et la difficulté de discernement de pathologies à partir
de résultats d’examens biomédicaux. Compte tenu de
ces difficultés, nous avons fait évoluer les techniques à
architecture neuronale simple vers deux approches
utilisant plusieurs réseaux de neurones combinés : une
structure Multi Neuronale (SMN) et une structure
Neuronale Arborescente (SNA) que nous décrivons
dans les deux sections suivantes.
Figure 4 . Exemples de signaux PEM (du haut vers le bas):
exemples de la dissemblance entre les PEM de deux
malades et deux sains et la ressemblance entre PEM d’un
malade et d’un sain.
3. Structure Multi-Neuronale
Une structure multi-neuronale peut être vue
comme une structure neuronale incluant plusieurs
réseaux qui peuvent être similaires (architecture
homogène) ou différents (architecture hétérogène).
Dans cet article, nous proposons d’utiliser une struture
multi-neuronal (SMN) hétérogène, composé d’un
réseau de neurones de type Radial Basis Function
(RBF) et d’un réseau de neurones de type Learning
Vector Quantization (LVQ), placés en série (Dujardin
SETIT2005
& al., 1999). La Figure 5 présente l’architecture de
cette SMN. Dans cette configuration, le réseau RBF
fournit « un taux d’appartenance » à la catégorie et le
réseau LVQ constitue l’élément de décision. Pour cette
structure, la phase d’apprentissage s’effectue en deux
étapes. Le réseau RBF est d’abord entraîné, puis le
réseau LVQ accomplit son entraînement en utilisant
une base d’apprentissage constituée des vecteurs
résultats de l’apprentissage du réseau RBF. Le nombre
de neurones de la couche de sortie du réseaux RBF est
identique à celui de la couche d’entrée du réseaux
LVQ (2 neurones, car deux catégories à départager).
RBF
LVQ
Input
Output
80
neurones
x
neurones
2
neurones
2
neurones
y
neurones
2
neurones
Figure 5 . Architecture du Multi-Réseau de Neurones RBFLVQ
Si certains paramètres caractérisant cette SMN
sont bien définis par le problème à traiter comme le
nombre de neurones dans les couches d’entrée et de
sortie des réseaux, par exemple, d’autres restent
souvent choisis arbitrairement.
Concernant le réseau RBF (Broomhead & al.,
1992, Mustawi & al., 1992) le nombre de neurones de
la couche cachée est déterminé par l’apprentissage.
Ces neurones sont utilisés pour mémoriser un exemple
et une activation. Chacun a une activité locale dans
l’espace d’entrée. Ainsi les fonctions noyaux ne
donnent de réponses utiles que dans le cas d’un
domaine restreint dénommé champ récepteur, ou
encore zone d’influence. Ce champ est généralement
circulaire et circonscrit autour d’un point appelé noyau
ou centre. L’étendue de la zone d’influence constitue
un paramètre définissant le fonctionnement du réseau
RBF. Le choix de la valeur de ce paramètre a fait
l’objet d’un certain nombre d’études récentes,
concernant pour la plupart d’entre elles le domaine du
traitement et de l’analyse d’images (De Tremiolles,
1998, Madani & al., 2003-2). Cependant, dans la
majorité des cas de l’utilisation de ce type de réseaux,
ce paramètre est choisi arbitrairement. Le neurone
compare son entrée avec le vecteur codé dans ses
poids et répond par une activation d’autant plus forte
que l’entrée est semblable au vecteur. Le nombre et le
type de vecteurs d’apprentissage caractérisant les
différentes catégories sont donc des paramètres
importants quant à la construction du réseau RBF
pendant sa phase d’apprentissage et donc à son bon
fonctionnement pendant la phase de généralisation.
Concernant le réseau LVQ (Kohonen., 1990,
Kohonen & al., 1992), l’objectif est de déterminer la
valeur optimale de vecteurs représentatifs de données
à traiter, appelés vecteurs prototypes, qui sont codés
dans les poids d’entrée du réseau. L’apprentissage
permet de retrouver les valeurs caractéristiques des
vecteurs prototypes. L’algorithme d’apprentissage est
basé sur la technique de compétition entre les
neurones, appelé « tout au vainqueur » (winner takes
all). Donc, comme pour le réseau RBF, le nombre de
vecteurs d’apprentissage et leurs caractéristiques sont
des paramètres d’optimisation de ce réseau. Le choix
du nombre de neurones de la couche cachée est plus
délicat et souvent choisi par un compromis optimisant
l’apprentissage et la capacité du réseau à généraliser.
Ce paramètre est un des paramètres d’optimisation
d’un réseau LVQ.
Ce bref rappel nous a permis de déterminer
plusieurs paramètres d’optimisation des réseaux
constituant la SMN dont la taille de la zone
d’influence pour le réseau RBF, le pas d’apprentissage
et le nombre de neurones dans la couche cachée du
réseau LVQ et le contenu de la base d’apprentissage
pour les deux réseaux RBF et LVQ. Dans le cadre du
problème défini, nous nous focalisons sur deux de ces
paramètres, pour l’optimisation de la structure SMN :
le nombre de vecteurs appris par la SMN que nous
appellerons taille de la base d’apprentissage (TBA) et
le nombre de neurones dans la couche cachée (Nncc)
du réseau LVQ.
4. Structure Neuronale Arborescente
Le concept que nous proposons pour la résolution
d’une classe de problèmes de classification est basé
sur la construction dynamique, et sans intervention
extérieure d’un opérateur, d’une structure neuronale
arborescente (SNA). L’apprentissage d’une tâche
complexe est simplifié
en procédant à la
décomposition de celle-ci en un ensemble de tâches de
complexités réduites. La réduction de la complexité
est obtenue par une décomposition récursive basée sur
une estimation de la complexité à partir des données
représentatives (base d’apprentissage) du problème.
L’apprentissage de chaque sous-ensemble est ensuite
confié à un réseau neuronal artificiel dédié de
structure plus simple par rapport à celui qui aurait été
nécessaire à l’apprentissage de la tâche initiale
(complexe).
Concrètement, le découpage est confié à un réseau
de neurones à apprentissage non supervisé. Géré par
un agent (algorithme) d’estimation de complexité.
Celui-ci décompose l’espace initial du problème en
plusieurs sous-espaces de tailles plus faibles. Le rôle
de l’estimateur de la complexité est de statuer sur la
nécessité (ou non) d’un découpage. Si l’estimation de
la complexité se prononce pour un découpage, alors,
basé sur une évaluation d’une distance (ressemblance)
entre des données dans l’espace RN du problème, le
réseau neuronal à apprentissage non supervisé procède
au découpage.
L’apprentissage, de l’ensemble des sous-espaces
ainsi obtenus est ensuite confié à un ensemble de
modèles neuronaux conventionnels. Ces réseaux de
SETIT2005
neurones dédiés construisent par la suite, une série de
modèles décrivant les relations qui lient les paramètres
d’entrées et de sorties dans chaque sous-espace (sous
problème). On peut ainsi constater qu’un problème
complexe est décomposé de manière récursive (figure
6) en plusieurs sous problèmes simples : une
décomposition de l’espace initial du problème en K
sous-espaces.
UTI
200), nous décomposons cette sous base, à
son tour, en M sous bases de données.
•
Ce traitement s’arrête, une fois que
toutes les relations entre éléments d’espace
d’entrée et de sortie sont apprises.
BD
Normalisation
UD
Estimation de la complexité
UTI
UD
UTI
Problème Complexe ?
oui
Décomposition de la BD
Non
UD
UTI
Figure 6 . Exemple d’une structure SNA
La figure 7 donne l’organigramme général du
déroulement du processus de la construction de
l’arborescence. Les nœuds de cet arbre, désignés par
Unités de Décomposition (UD), sont constitués de
réseaux de neurones à apprentissage non supervisé du
type « Kohonen » (Kohonen, 1988). Durant la phase
d’apprentissage, les UDs, apprennent la structure de
l’espace d’entrée. Durant la phase de relaxation, les
UDs aiguillent le vecteur d’entrée vers l’Unité de
Traitement de l’Information (UTI), adaptée au
traitement de ces derniers. Les modèles neuronaux
utilisés au niveau des feuilles (les UTIs) sont des
réseaux à apprentissage supervisé, tel que le
perceptron multicouches ou le réseau à base radiale
(Arbib 2003, Widrow & al., 1990), etc.
La construction de la structure neuronale
arborescente se fait conformément aux étapes
suivantes (figure 7) :
•
Normalisation de la base de donnée
d’apprentissage. La moyenne est ramenée à 0
et l’écart type à 1 dans chacune des
dimensions de l’espace d’entrée.
•
Estimation la complexité d’un
problème (sous problème). Un indicateur
numérique, Cplx, code cette complexité. Si
cette valeur est supérieure à un seuil
prédéterminé (de façon empirique), une UD
décompose la base de données en K sous
bases, en mode non supervisé, en fonction de
la répartition des points de la base de données
d’apprentissage dans l’espace concerné.
•
Apprentissage supervisé de chaque
sous-espace issu du découpage. Une UTI
procède à l’apprentissage supervisé de la
relation entre l’espace d’entrée et l’espace de
sortie pour chaque sous base de données i
(i∈1,k). Si l’apprentissage ne réussit pas
(erreur quadratique non atteinte au bout d’un
nombre d’itérations très faible de l’ordre de
Construire un Modèle
Neuronal
Modèle obtenu?
Non
Oui
Fin
Figure 7 . Algorithme de construction de l’arbre neuronal
Un module d’analyse de complexité évalue la
complexité à deux niveaux. Une première analyse est
effectuée avant un découpage résultant à une décision
statuant sur la nécessité (ou non) d’un découpage.
Puis, une seconde analyse intervient après un
découpage au niveau de chaque sous-espace obtenu si
l’apprentissage supervisé de ce dernier ne satisfait pas
le critère relatif à la qualité d’apprentissage. Le critère
mesurant la qualité d’apprentissage est basé sur une
évaluation de l’erreur quadratique d’apprentissage du
réseau neuronal supervisé (UTI). La figure 8 illustre le
processus d’apprentissage dans son ensemble.
Plusieurs paramètres permettent d’optimiser la
structure de l’arbre neuronal ainsi généré. Le premier
paramètre est le seuil utilisé pour qualifier un
problème de complexe ou non. Un autre paramètre
important est celui décidant du choix de la structure
des réseaux de neurones utilisés au niveau des feuilles
de l’arbre (UTI). En effet, l’efficacité de cet arbre
repose en grande partie sur l’efficacité des traitements
aux niveaux des feuilles. Du fait que nous avons
simplifié le problème, définir et faire apprendre à un
réseau de neurones les relations entre les entrées et les
sorties d’un sous espace devient simple. Dans le cas
d’un découpage dichotomique, la structure
arborescente résultante peut être équivalente à un
arbre de décision binaire : dans ce cas les UDs
peuvent être, par exemple, des cartes de Kohonen
(Kohonen, 1988) avec une grille 2x1.
5. Protocole Expérimental
Pour la validation de ces deux approches, nous
avons utilisé une base de données constituée des
PEMs pour 213 patients : dont 120 malades (M), et 93
normo-entendants (N).
SETIT2005
τ1
τ2
τκ
Temps d’apprentissage
Analyse de
complexité
2
1
UD
UTI
UTI
UD
UTI
UTI
Analyse de
complexité
d’apprentissage (TBA). Le nombre de neurones dans
la couche cachée (Nncc), déterminé par la procédure
d’apprentissage augmente avec la taille de la base
d’apprentissage et reste pratiquement égal au nombre
de vecteurs de celle-ci. Seuls deux ou trois vecteurs
semblent redondants.
UTI
Apprentissage supervisé
Taux RBF
Apprentissage supervisé
TBA= 34
Nncc = 32
70,9%
TBA = 70
Nncc = 67
63,8%
TBA = 100
Nncc = 98
72,8%
UD
Μ
UTI
UTI
UTI
UTI
UTI
UTI
Tableau 1 . Résultats de catégorisation pour le réseau RBF
seul
Nombre de UTI générés
Figure 8 . Schéma bloc du processus de la décomposition
et la génération de solutions adaptatives.
Nous nous sommes intéressés aux taux de
catégorisation correcte des PEMs pendant la phase
d’apprentissage et pendant la phase de généralisation
pour la SMN et pour les deux réseaux, le constituant,
seuls. La phase de généralisation correspond à la
présentation des 213 vecteurs de la base de données,
vecteurs appris et non appris par le réseau ou la SMN.
Pour chacune des structures réseaux, la SMN, le LVQ
seul et le RBF seul, nous avons fait varier la taille de
la base d’apprentissage : 34 vecteurs, 70 vecteurs et
100 vecteurs, avec un nombre égal de vecteurs
appartenant aux deux catégories. Simultanément, nous
avons étudié le comportement de la SMN et du réseau
LVQ seul, en fonction du nombre de neurones dans la
couche cachée du réseau LVQ, variant de 10 à 50 par
pas de 10. Le nombre de neurones dans la couche
cachée du réseau RBF est déterminé par son
apprentissage. Le nombre de neurones de la couche
d’entrée du réseau RBF pour la SMN et réseau RBF
seul, ainsi que pour le réseau LVQ seul, correspond au
nombre de composantes du vecteur PEM. Le nombre
de neurones de la couche de sortie du réseau LVQ et
du réseau RBF seuls est 2 neurones, soit 80 (Figure
5). Avec la structure SNA, les UDs correspondent à
des réseaux de neurones compétitifs ayant deux
neurones dans la couche cachée, ce qui conduit à un
arbre de décomposition binaire. Les UTIs
correspondent à des perceptrons multicouches ayant
une seule couche cachée à deux neurones avec des
sigmoïdes comme fonction d’activation.
Figure 9 . Taux de catégorisation pour le LVQ seul et la
SMN (MRN) en apprentissage
6. Résultats et Analyse
Dans le cadre de ce protocole expérimental, nous
comparons les résultats obtenus par chacune des deux
structures SMN et SNA, à ceux obtenus par les
réseaux RBF et LVQ utilisés seuls. Nous discutons
également de la pertinence de l’utilisation de l’une
et/ou l’autre de ces structures neuronales évoluées.
6.1 Résultats SMN
Le tableau 1 présente les résultats de catégorisation
correcte par le réseau RBF seul en phase de
généralisation pour les différentes tailles de base
Figure 10 . Taux de catégorisation pour le LVQ seul et la
SMN (MRN) en généralisation.
Les Figures 9 et 10 présentent les résultats de
catégorisation correcte pour le LVQ seul et la SMN,
en fonction de la taille de la base d’apprentissage et du
nombre de neurones dans la couche cachée du réseau
LVQ, pour la phase d’apprentissage et celle de la
généralisation, respectivement. La structure multineuronale proposée conduit pratiquement toujours à
un taux de catégorisation en apprentissage plus élevé
comparé au LVQ seul. Par ailleurs, il est important de
SETIT2005
généralisation, nous avons utilisé toute la base de test
précédemment définis comprenant les 213 signaux.
Techni
que
utilisée
Malades
(121 vecteurs)
Normales
(92 vecteurs)
Global
(213 vecteurs)
RBF
LVQ
SNA
64,2%
54,2%
84,6%
83,9%
82,8%
77%
72,8%
66,7%
81,2%
Tableau 2 . taux de classification de RBF, LVQ et SNA
respectivement
85,0%
70,0
80,0%
60,0
75,0%
50,0
70,0%
40,0
65,0%
30,0
60,0%
20,0
55,0%
10,0
50,0%
0,0
0,37
6. 2 Résultats SNA
Avec la structure SNA, les UDs correspondent à
des réseaux de neurones compétitifs ayant deux
neurones dans la couche cachée, ce qui conduit à un
arbre de décomposition binaire. Les UTIs
correspondent à des perceptrons multicouches ayant
une seule couche cachée à deux neurones avec des
sigmoïdes comme fonction d'activation. Les vecteurs
d’entrée et de sortie sont identiques à ceux utilisés
pour
les
techniques
classiques.
La
base
d'apprentissage se compose de 106 signaux, avec 53
d'entre eux correspondant aux patients de type malade
et 53 aux patients de type normal. Pour la
0,19
0,17
0,15
Seuil de décomposition
0,13
Nombre de feuilles
La figure 11 représente les valeurs minimales,
moyennes et maximales du taux de généralisation et le
nombre de modèles au niveau des feuilles pour
différentes architectures SNA. On peut remarquer en
examinant la figure que quand le seuil de
décomposition baisse, le nombre de feuilles augmente
(ligne du bas, axe de droite). Cela conduit à
l'amélioration du taux de classification. La
décomposition facilite ainsi la tâche de modélisation et
permet de réaliser la meilleure performance en terme
de taux de classification. Un des meilleurs résultats a
été obtenu pour la valeur de seuil égale à 0.13, ce qui
correspond à la décomposition du problème initiale en
37 sous problèmes. La base d'apprentissage a été
apprise avec le taux de classification de 97,2 %. En
généralisation, nous obtenons un taux de classification
moyen de 81,2 %. Les résultats obtenus par la
structure SNA sont meilleurs que ceux obtenus par les
réseaux de neurones classiques (Tableau 2). Ce qui
correspond à une amélioration du taux de
classification d'environ 15 %. On peut aussi remarquer
que contrairement aux résultats obtenus avec les
réseaux neuronaux conventionnels (RBF et LVQ), les
taux de classification pour les deux classes (malade et
normal) sont mieux répartis par la structure SNA.
Taux de classification
noter qu’il existe une corrélation entre le nombre de
neurones dans la couche cachée (LVQ) et la taille de la
base d’apprentissage évitant des phénomènes de sousapprentissage ou de sur-apprentissage.
Pour Nncc<25, à la généralisation, la SMN et le
LVQ donnent quasiment le même taux de réussite de
catégorisation globale. Au delà de 25 neurones dans la
couche cachée du LVQ, la SMN donne un bien
meilleur taux de réussite de catégorisation globale
(figure 10). On remarque, pour le RBF et la SMN, que
le maximum du taux de réussite à l’apprentissage ne
correspond pas au maximum du taux de réussite à la
généralisation. (figures 9 et 10). Ce qui conduit à la
nécessité de compromis entre les capacités de
généralisation et celles d’apprentissage. A la
généralisation la surface associée au taux de
catégorisation de la SMN, passe par un maximum
correspondant à un taux Trcgmax de l’ordre de 72%.
Ce taux est obtenu pour un nombre de neurones entre
30 et 40 neurones dans la couche cachée. Cependant la
zone de la stabilité de ce taux de catégorisation dépend
de la taille de la base d’apprentissage. La stabilité est
obtenue pour une base d’apprentissage contenant un
nombre de vecteurs prototypes entre 50 et 70.
Le taux de catégorisation correcte maximum
obtenu, en généralisation pour le réseau RBF et la
SMN est du même ordre, environ 72%. Par contre, ce
taux est obtenu pour un nombre de prototypes appris
plus faible pour la SMN. La SMN a donc une plus
grande capacité d’apprentissage que le réseau RBF
seul.
Deux
des
paramètres
caractérisant
le
fonctionnement de cette SMN ont été étudiés : le
nombre de prototypes appris et le nombre de neurones
dans la couche cachée du réseau LVQ. Au regard des
résultats, le choix des valeurs de ces paramètres doit
tenir compte de leur corrélation, garantissant un
entraînement suffisant du système et du compromis
entre capacité de généralisation et capacité
d’apprentissage. Cette SMN permet d’acquérir un
meilleur taux de généralisation correcte que le réseau
LVQ seul. Comparé au réseau RBF seul, la SMN
permet d’obtenir un taux de catégorisation correcte
maximum du même ordre de grandeur, mais avec un
nombre de prototypes appris plus faible (50 comparé à
100).
Maximal %
Moyenne %
Minimal %
Nombre de models
Figure 11 . Les taux des généralisations et le nombre de
modèles en fonction du seuil de décomposition.
6. 3 Comparaison
Les expérimentations que nous avons menées
montrent que les structures neuronales linéaire ou
arborescente conduisent à de meilleures performances.
L’avantage principale amenée par la structure SMN
est l’obtention d’un taux de généralisation supérieur à
celui obtenu avec une structure simple LVQ et
équivalent à celui obtenu avec une structure simple
SETIT2005
RBF, en utilisant une quantité d’informations plus
faible (taille de la base d’apprentissage plus faible). La
structure arborescente, quant à elle, permet
d’améliorer le taux de généralisation d’un facteur de
l’ordre de 15%. Le nombre de degrés de liberté de la
structure linéaire est plus faible que celui de la
structure arborescente. L’optimisation des paramètres
de la structure linéaire est plus simple à résoudre que
celle de la structure arborescente.
Comme constat général, nous pouvons conclure
que, confrontés à un problème de catégorisation à
quantité
d’informations
disponibles
réduite,
l’utilisation d’une structure multi-neuronale linéaire
permet d’améliorer les performances à moindre coût
(optimisation de la structure plus aisée) . Si le but
recherché est l’amélioration du taux de généralisation,
les structures neuronales arborescentes sont les plus
performantes. En contrepartie, le problème
d’optimisation des paramètres de cette structure est
plus complexe et nécessite une expérience plus
importante de la part du concepteur.
Conclusion
Cet article a été focalisé sur la catégorisation de
signaux électriques issus d’un examen auditif : les
Potentiels Evoqués Auditifs. Cette étude constitue une
toute première étape dans l’élaboration d’un système
d’aide au diagnostic biomédical pour les médecins
ORL. Du fait de la nature difficile du problème traité,
nous avons fait évoluer les algorithmes de traitement
de type neuromimétique à structure simple vers une
structure statique à multiples réseaux de neurones
(SMN), puis vers une structure dynamique
arborescente à multiples réseaux de neurones (SNA).
Ces deux approches sont construites à partir d’un
même support, l’utilisation de plusieurs réseaux de
neurones, mais organisées en topologies différentes.
La struture SMN est composé d’un réseau de neurones
de type Radial Basis Function (RBF) et d’un réseau de
neurones de type Learning Vector Quantization
(LVQ), placés en série. Dans cette configuration, le
réseau RBF fournit « un taux d’appartenance » à la
catégorie et le réseau LVQ constitue l’élément de
décision. L’idée directrice de la structure SNA, quant
à elle, est de diviser un problème complexe en un
ensemble de sous problèmes relativement simples. La
topologie de la structure neuronale induite est de
forme arborescente. Les nœuds ainsi que les feuilles
de cet arbre neuronal sont constitués de réseaux de
neurones artificiels. Nous avons présenté, étudié et
comparé ces deux approches de catégorisation en
fonction des différents paramètres d’optimisation de
chacune d’entre elles.
Pour la validation de cette étude, nous avons utilisé
une base de données expérimentales constituée de 213
patients classés en deux catégories : malade (atteint
d’une pathologie auditive) ou sain (normo-entendant).
Nous avons mis en œuvre les deux structures SMN et
SNA, ainsi que les deux structures neuronales à réseau
de neurones uniques, LVQ et RBF. Les structures
SMN et SNA conduisent à de meilleurs taux de
généralisation que le LVQ seul. Comparé au réseau
RBF seul, la SMN permet d’obtenir un taux de
catégorisation correcte maximum du même ordre de
grandeur 72%, mais avec un nombre de prototypes
appris plus faible. La structure SNA permet
d’améliorer ce taux global de catégorisation correcte
d'environ 15 %, soit un taux de 81,2%, mais le nombre
de paramètres à optimiser est plus important. Un
problème de catégorisation à quantité d’informations
disponibles réduite, pourra donc être traité par une
structure SMN linéaire, permettant l’amélioration des
performances à moindre coût (optimisation de la
structure plus simple). Si le but recherché est
l’amélioration du taux de généralisation, les structures
neuronales arborescentes sont les plus performantes.
En contrepartie, le problème d’optimisation des
paramètres de cette structure est plus complexe, avec
un nombre de degrés de liberté plus important.
D’autres études doivent complétées celle présentée
dans cette article, notamment l’étude de l’influence
des autres paramètres d’optimisation des structures,
choisis de manière empirique, ici. De plus, au regard
du travail des experts (médecins ORL), d’autres
informations émanant d’autres tests auditifs pourront
être pris en compte pour une amélioration du taux de
catégorisation.
Références
ARBIB M.A. (2003). Handbook of Brain Theory a and
Neural Networks, 2ed., M.I.T. Press.
BAZOON M., A. STACEY D., CUI C. (1994). “A Hierarchical
Artificial Neural Network System for the Classification
of Cervical Cells “, IEEE International Conference on
Neural Networks, Orlando.
BROOMHEAD D. S., LOWER D. (1992). "Multivariable
Functional Interpolation and Adaptative Network",
Complex systems, Vol 2, pp321-335.
DON M., MASUDA A., NELSON R., BRACKMANN D. (1997).
“Sucessful detection of small acoustic tunour using the
stacked derived-banded auditory brainstem response
auditory”, The American Journal of Otology, 18:608621.
DE TREMIOLLES G., (5 Février 1998). " Contribution à l'étude
théorique des modèles neuromimétiques et à la
validation expérimentale de ces modèles à travers des
problèmes de taille et de complexité réelles : mise en
œuvre d'applications industrielles", Thèse de Doctorat,
Université PARIS XII - Val de Marne,.
DUJARDIN A.S., AMARGER V. MADANI K. (7 Mai 1999).
“Multi-Neuronal Networks Approaches for biomedical
Applications : Classification of Brainstem Auditory
Evoked Potentials”, IJCNN’99.
GOONATILAKE S., KHEBBAL S. (1995) Issues, Classification
and Future Directions, Intelligent Hybrid Systems. John
Wiley & Sons, ISBN 0 471 94242 1, p. 1-20.
SETIT2005
JORDAN M. I. AND XU L. (1995). Convergence Results for the
EM Approach to Mixture of Experts Architectures ,
Neural Networks, Vol. 8, N° 9, Pergamon, Elsevier, p.
1409-1431.
KOHONEN T. (1988). Self-Organization and Associative
Memory, Second Edition, Springer-Verlag, New York.
KOHONEN T. (1990).”Learning Vector quantization “, IJCNN
San Diego, pp. 223-226.
KOHONEN T., KANGAS J., LAAKSONEN J., TORKKOLA K.
(1992). LVQ_PAK, Learning Vector quantization, User
manual, Helsinki University of Technology.
MADANI K., CHEBIRA A., RYBNIK M. (2003). Data Driven
Multiple Neural Network Models Generator Based on a
Tree-like Scheduler. Lecture Notes in Computer Science.
Ed Jose Mira, Jose R. Alvarez, Springer Verlag Berlin
Heidelberg, ISBN 3-540-40210-1, p. 382-389.
MADANI K., DE TREMIOLLES G., TANHOFF P., (2003-2).
“Image processing using RBF like neural networks : A
ZISC-036 based fully parallel implementation solving
real world and real complexity industrial problems”,
Journal of Applied Intelligence N°18, Kluwer Academic
Publishers, pp. 195-231.
MUSTAWI M. T. & al. (1992). “On the training of Radial
Basis Function Classifiers”. Neural Networks, Vol. 5,
pp.595-603.
VUCKOVIC A., RADIVOJEVIC V., CHEN A.C.N., POPOVIC D.,
(Juin 2002). "Automatic recognition of alertness and
drowsiness from EEG by an artificial neural network",
Medical Engineering & Physics, Volume 24, Issue 5,
pp. 349-360.
WIDROW B., LEHR M.A. (1990). 30 years of adaptative
Neural Networks: Perceptron, Madaline, and
Backpropagation , Proceeding of the IEEE, Vol.78, p.
1415-1441.