Etude d`algorithmes d`une SVD de matrice partitionnée 1 Introduction

Etude d’algorithmes d’une SVD de matrice
partitionnée
Lafosse Roger
Lab. de Statistique et Probabilités, Université P. Sabatier, Toulouse.
[email protected]
Résumé
Une récente extension de la décomposition en valeurs singulières a été introduite pour
découper, à l’aide de solutions successives, l’ensemble des liens particuliers créés par les
blocs d’une matrice partitionnée. On use de la première solution pour comparer dans
une optique reconnaissance de formes l’efficacité de plusieurs variantes algorithmiques, en
association avec des tailles et des nombres de blocs différents.
Mots clés : Décomposition en valeurs singulières (DVS), Algorithmes.
Abstract
One recalls a recent extension of the singular values decomposition introduced for splitting with successive solutions the set of the links caused by the blocks of a partitionned
matrice. The first solution is used for comparing the efficiency of algorithms with different
dimensions and numbers of blocs, in a pattern recognition aim.
Key words : Singular values decomposition (SVD), Algorithms.
1
Introduction
Dans un contexte analyse factorielle (analyse CONCOR), Lafosse & Hanafi (1997) ont proposé une extension de la SVD d’une matrice, à N matrices ayant toutes le même nombre
p de lignes, et pouvant correspondre à des applications linéaires d’un même sous-espace
de Rp engendré par les lignes dans N sous-espaces de dimensions différentes engendrés respectivement par les colonnes. La première solution consiste à déterminer les N vecteurs
des espaces respectifs qui s’associent le mieux à un vecteur de R p , au sens d’un critère
généralisant la notion de valeur singulière. Les N matrices peuvent être concaténées pour
n’en former qu’une seule et la première solution est issue des deux vecteurs singuliers
associés à la plus grande valeur singulière de cette matrice.
La démarche précédente a été reprise et prolongée dans une analyse nommée concorGM
(Kissita & coll., 2004). Cette fois M sous-espaces sont associés à N sous-espaces depuis
1
la donnée de M × N matrices de dimensions quelconques. Une première solution calculée
revient à définir M vecteurs et N vecteurs qui résument l’association multiple au sens
d’un critère généralisant le critère précédent.
On dispose de deux algorithmes pour ce faire, l’un d’eux se trouvant dans Kissita
(2003). Leur convergence peut être locale et une comparaison de ce point de vue est
souhaitable, pour vérifier si l’un maximise le critère plus que l’autre plus souvent, selon
les conditions. Par ailleurs beaucoup de variantes sont possibles dans l’écriture de ces
algorithmes ce qui complique la comparaison de leur vitesse de calcul.
Dans la section suivante on rappelle les deux extensions successives de la SVD. Dans la
section 3 on indique rapidement la façon simplifiée dont les simulations ont été réalisées,
orientée vers une ”reconnaissance de formes” pour juger de l’efficacité de la première
solution.
2
2.1
Deux extensions successives de la notion de SVD
SVD d’une matrice
Les propriétés du premier couple de vecteurs singuliers de la SVD usuelle d’une matrice
sont ici rappelées. Dans la mesure où ces propriétés se retrouvent par la suite, les extensions proposées peuvent apparaı̂tre comme des extensions de la SVD usuelle.
Soit A, une matrice p × q, considérée comme celle d’une application linéaire entre les
espaces métriques (Rp , Ip ) et (Rq , Iq ), plus précisément entre le sous-espace engendré par
les colonnes de A et celui engendré par les lignes. Quand on écrit, pour un vecteur normé
uRp et vRq ,
(Ip − uu0 )Av = 0,
cela signifie que v est relié à u par A puisqu’alors et de façon équivalente, avec sR,
Av = su.
(1)
Mais cela signifie aussi que le lien de v avec le sous-espace orthogonal à u est nul. Le
vecteur u apparaı̂t donc comme isolé dans sa relation par A avec v, le vecteur v n’étant
relié qu’à u dans le sens indiqué. Un couple (u, v) de Rp × Rq est alors dit couple de
vecteurs singuliers quand il vérifie à la fois (1) et
A0 su = s2 v.
(2)
Celui qui est associé à la plus grande valeur possible de s2 est dit premier couple
singulier et s est alors la plus grande valeur singulière de A. Un couple solution (u, v)
correspond alors à la maximisation sous contraintes de norme du critère
f (u, v) = (u0 Av)2 ,
2
(3)
l’optimum valant s2 .
On peut remarquer que les autres couples singuliers, associés à des valeurs singulières
plus faibles, ne peuvent être recherchés depuis ce critère qu’en se plaçant dans l’orthogonal
de u et dans l’orthogonal de v.
2.2
SVD d’une matrice partitionnée selon les colonnes
On considère maintenant N matrices Ah , p × qh , h = 1, ..., N , qui correspondent à N
applications linéaires entre un espace métrique Rp et des espaces métriques Rqh .
On note A = [A1 A2 · · · AN ] la matrice p × q obtenue par concaténation des matrices
Ah . On peut dire aussi que la matrice A est partitionnée en blocs colonne.
Un (N+1)-uple de N + 1 vecteurs normés (u, v1 , v2 , ..., vN ) est dit ici (N+1)-uple
singulier de la partition de A en blocs {Ah } s’il vérifie les N + 1 égalités
A0h u = sh vh ∀h,



A


s1 v1
s2 v2
..
.
sN vN
(4)






= s2 u,
(5)
avec s2 = s2h .
P
Rechercher une première solution en maximisant s2h , revient à considérer sous N + 1
contraintes de norme respectives la maximisation du critère
P
f (u, v1 , v2 , ..., vN ) =
N
X
(u0 Ah vh )2 .
(6)
h=1
La solution a été apportée par Lafosse & Hanafi (1997) dans un contexte analyse
factorielle nommée analyse Concor.
On note (u, v) le premier couple singulier de A associée à la plus grande valeur singulière s, et bh les N vecteurs-bloc de v ayant pour dimensions respectives qh .
Une première solution globale est obtenue pour u et vh = |bbhh | , ∀h, chaque terme de la
somme (6) vérifiant
(u0 Ah vh )2 = s2 |bh |2 , ∀h.
Le vecteur u est alors aussi le premier vecteur singulier à gauche de la matrice p × N
[A1 v1 A2 v2 ... AN vN ].
(7)
En référence à ce qui est indiqué en section 2.1, on peut remarquer que les autres
(N+1)-uples singuliers, associés à des valeurs singulières plus faibles, ne peuvent être
3
recherchés depuis le critère (6) qu’en se plaçant dans l’orthogonal de u et,∀h, dans
l’orthogonal de vh .
2.3
SVD d’une matrice bi-partitionnée
La présente définition est une extension de la précédente, la matrice étant partitionnée
selon les colonnes et aussi selon les lignes. Elle a été introduite par Kissita & al. (2004),
dans un contexte analyse factorielle nommée concorGM. L’association multiple de N espaces métriques Rqh avec M espaces métriques Rpk correspond à la donnée de N × M
matrices de dimensions quelconques Akh , k = 1, ..., M, h = 1, ..., N.. Ces matrices constituent les blocs d’une
A partitionnée selon les lignes et selon les colonnes.
n matrice
o
Pour k fixé, on note A(k) la ligne bloc des N matrices Akh , h = 1, ..., N, ayant donc une
dimension commune. En référence à la section 2.2, on pourrait alorsn définir
o M premiers
(N+1)-uples singuliers respectivement associés aux M lignes bloc A(k) k = 1, ..., M .
On définirait ainsi en particulier M respectifs N -uples de vecteurs normés (v1 , v2 , ..., vN ),
les vecteurs appartenant respectivement aux mêmes espaces, mais étant tous différents.
En fait ici on veut en définir un seul N -uple (v1 , v2 , ..., vN ), commun à tous les blocs ligne,
constituant de fait un compromis des N -uples qui auraient pu être calculés.
Un raisonnement analogue est tenu après échange des indices h et k.
Finalement, un (M +N )-uple (u1 , u2 , ..., uM , v1 , v2 , ..., vN ) est dit ici premier (M +N )uple singulier de la partition de A en M × N blocs Akh , s’il est solution du critère à
maximiser sous M + N contraintes de norme
f (u1 , u2 , ..., uM , v1 , v2 , ..., vN ) =
M X
N
X
(u0k Akh vh )2 .
(8)
k=1 h=1
Chaque vecteur solution uk est alors premier vecteur singulier à gauche de la matrice
pk × N
[Ak1 v1 Ak2 v2 ... AkN vN ],
(9)
alors même que chaque vecteur solution vh est premier vecteur singulier à gauche de
la matrice qh × M
[A01h u1 A02h u2 ... A0M h uM ].
(10)
3
Simulations
Deux algorithmes localement convergents existent pour calculer les solutions de concorGM. Dans un premier temps on a fait des simulations pour vérifier si l’un des deux
était supérieur à l’autre, donnant plus souvent une valeur du critère (8) plus élevée et cela
pour des nombres de blocs et des tailles de matrice croissants. Pour les grandes tailles
4
et/ou les grands nombres, on s’est intéressé dans le même temps à la vitesse d’exécution
des programmes.
On a choisi des jeux de données très simplifiés.
On génère au hasard deux séries de M matrices n × p de p variables gaussiennes
centrées. La première série constitue les ”formes” à reconnaı̂tre par la suite. Toutes
les variables de la première série ont pour variance 1 pour tous les tableaux, alors que
toutes celles de la deuxième série ont pour variance σ 2 , un nombre variable à fixer. Cette
deuxième série de M matrices sert à bruiter la première : on ajoute respectivement aux
M premières matrices les secondes de façon à obtenir M formes bruitées. On calcule
alors les M 2 matrices Akh , p × p, de covariations entre les variables de la première série
et les variables de la seconde bruitée. On a ainsi M 2 matrices de liens entre une forme à
reconnaı̂tre et une forme bruitée. Quand le bruit est nul, par construction les associations
les plus fortes parmi toutes les associations Akh possibles, sont contenues dans les matrices
Akk , k=1, ..., M, qui ont croisé deux formes identiques.
En faisant varier 1 des 3 paramètres M, p, et σ 2 , on génère chaque fois un même
grand nombre de jeux de données. Il s’agit alors par exemple de voir, avec le critère (8)
et seulement avec la première solution locale calculée, dans quelle mesure les associations
sont toutes dominantes malgré un bruit croissant, et cela pour différentes valeurs de M
et p.
Je remercie Lucille Cazaux et Eléonore Gravier étudiantes INSA 5ème année pour
leur aide apportée dans ce travail de simulations.
Bibliographie
[1] Kissita G., Cazes P., Hanafi M., Lafosse R. (2004) Deux méthodes d’analyse factorielle
du lien entre deux tableaux de variables partitionnés. A paraı̂tre dans Rev. Stat. Appliquée, vol 3.
[2] Kissita G. (2003) Les analyses canoniques généralisées avec tableau de référence généralisé : éléments théoriques et appliqués. Thèse Paris 9.
[3] Lafosse R. et Hanafi M. (1997) Concordance d’un tableau avec K tableaux : définition
de K+1 uples synthétiques. Rev. Stat. Appliquée, 45, 4, 111-126.
5