Cours de Théorie de l`Information

Transcription

Introduction
à la
Théorie de l'Information
if
G.Beuchot
1
Introduction à la Théorie de l'Information
Sommaire
á Définitions : Information et Entropie
3
FApplication : le canal binaire symétrique (BSC)
á Le canal de transmission
16
FDéfinitions, Capacité du Canal, Théorème Fondamental de Shannon
FLe Canal continu
á Codage
33
FDéfinitions, codes à longueur fixe, code à longueur variable
FApplication à la compression de données (exemple: MPEG)
á Codes correcteurs d’erreur
52
FDistance de Hamming, typologie des codes correcteurs
FCodes cycliques
FCodes de convolution
if
G.Beuchot
2
Définition de l'information
á Une information est un couple constitué:
d'une représentation matérielle, qui en constitue le formant
et d'un ensemble d'interprétations, qui en constitue le formé
dont la nature, événementielle, consiste en un changement d'état qui, par
l'occurence de cette représentation matérielle, provoque l'activation du champ
interprétatif correspondant, selon les règles fixées par un code préétabli.
Georges Ifrah - Histoire universelle des chiffres
FSeule la composante matérielle (formant) d'une information fait l'objet d'une
communication: ce n'est pas le sens (formé) que l'on transmet
F L'information est la troisième dimension universelle après la matière et l'énergie.
L'information n'est autre que la néguentropie (structure ordonnée)
F Etymologie: informare= donner une forme....
á Quantité d'information
Mesure quantitative de l'incertitude d'un message en fonction du degré de
probabilité de chaque signal composant ce message
if
G.Beuchot
3
Messages et signaux
á Information (suite...)
F Séquence de signaux, correspondant à des règles de combinaisons précises, transmise entre
une source et un collecteur par l'intermédiaire d'un canal
F Ecrit, fait, notion ou instruction susceptible d’être traitée en tout ou partie par des moyens
automatiques.
F Renseignements obtenus de quelqu'un ou sur quelqu'un ou quelque chose, en particulier
nouvelle communiquée par la presse, la radio,...
á Message
F Lot d'information formant un tout intelligible ou exploitable et transmis en une seule fois
F Séquence de signaux qui correspondent à des règles de combinaisons précises et qu'une
source transmet à un collecteur par l'intermédiaire d'un canal
á Signal
F Phénomène physique porteur d'une information et pouvant représenter des données
F Variation d'une grandeur de nature quelconque grâce à laquelle, dans un équipement, un
élément en influence un autre
F Signe convenu pour avertir, annoncer, donner un ordre.
if
G.Beuchot
4
L’Information, Grandeur mesurable: Approche empirique
áOn ne s'intéresse ici qu'à l'aspect QUANTITATIF
áL'aspect qualitatif de l'information, son "intérêt" est subjectif
áMesure basée sur la probabilité d'occurrence d'un événement, du message
Source
Message
áL'attitude du collecteur de l'information est probabiliste
FLa communication n'a d'objet que si le contenu du message est inconnu
áPour un événement X de probabilité P(X)
FI(X) = f ( 1 / P(X) ) pour que I(X) croît quand P(X) décroît
FIl faut que I(X) soit toujours POSITIVE et ADDITIVE
ß on choisit donc f= log
1
I ( X ) = log
ß si loge
ß si log10
ß si log2
if
G.Beuchot
P( X )
= − log( P( X ))
unité : Nat
unité : Hartley
unité: bit
5
L'information, grandeur mesurable: Notations
áX
áY
á P(xk)
á P(xk/ yj)
Y= yj
á P(xk; yj)
Symbole émis par une source
Symbole reçu par l'observateur au collecteur
Probabilité queX= xk
Probabilité d'avoir émis X= xk si on a reçu
Probabilité émettre X= xk et de recevoir Y= yj
I (xk) = - log2 P (xk) bits
if
G.Beuchot
6
Définitions
á Alphabet: Ensemble fini de symboles appelés lettres
F ex :
F
a b c d e ...
alphabet binaire :
0 1
á Message: Suite finie de symboles ou lettres
F ex : Beuchot, 0110100110
á Source de messages: Ensemble de TOUS les messages
susceptibles d'être formés à partir d'un alphabet
F Source discrète ou continue
F ex :
dictionnaire
F
alphabet N° 5 (AI5) à 7 bits (0000000 à 1111111)
á Extension d’une source
F Soit une source codée par un alphabet de taille k par exemple k = 2 [0,1]
Une séquence de longueur l de lettres de cet alphabet constitue une nouvelle source
appelée
l ème extension de k
F ex : Le code binaire correspondant à l'alphabet AI5 est une extension de taille 7 de
l'alphabet binaire.
if
G.Beuchot
7
Information moyenne: Approche axiomatique
á Source X de messages x1,x2,...xi....xn de probabilité p1,p2.....pi.....pn
n
pi > 0 ∀ i
et
∑p
i =1
i
= 1
n
Information moyenne H =
∑ p I(x )
i =1
i
i
á Axiomes de Fadeev et Fenstein
Fsi p1=p2.=..pi..=.pn= 1/n, H est fonction monotone croissante de n
FSoit 2 ensembles X(x i) et Y(yj) sources de messages indépendantes
et p(xi) = 1/n ∀ i et p(yj) = 1/m ∀ j
H(...,1/mn, ...) = H(...,1/n, ...) + H(...,1/m, ...)
F(voir polycop) . On n'apporte pas plus d'information en fractionnant les
expériences ....
FPour un alphabet binaire, H(p, 1-p) est une fonction continue de p sur [0,1]
if
G.Beuchot
8
Information moyenne: Approche axiomatique (suite)
á La seule fonction vérifiant ces 4 axiomes est :
n
H( p1,...p i ,...p n ) = - C∑ p i log a p i
i=1
n
Information moyenne H =
∑ p I(x )
i
i
i=1
FC constante arbitraire > 0 et a base du logarithme
I(pi) = - C loga pi
FI : information moyenne associée au résultat d'un épreuve
FH : information moyenne, espérance mathématique de I
ß ENTROPIE (Shannon, 1948)
if
G.Beuchot
9
Exemples
á Alphabet + séparateur: 27 symboles
Fsi équiprobables H = 1 ∑ log 1 = log 27 = 4, 7549
27
27
e 1
i=1
2
bit par lettre
27
Fen réalité, les lettres ne sont pas équiprobables et H = 3,98 bit par lettre
ß cette inégalité fait perdre 770 bits pour 1000 lettres
á Source binaire
Fquelconque
ß si p = 0,6 pour X 0 et p = 0,4 pour X1
$ I(X0) = log2 0,6 = 0,73
$I(X1) = log2 0,4 = 1,32
soit H = 0,97 bit
Fsymétrique
ß p = 0,5 pour X 0 et X1
$I(X0) = log2 0,5 = 1 = I(X 1)
soit H = 1 bit
á dé équiprobable H = 2,585 bits
if
G.Beuchot
10
Propriétés de l’ENTROPIE
á l'entropie est maximale si les
messages sont équiprobables
1
0,8
0,6
á Loi composée
n
0,4
H(X,Y) = -
m
∑ ∑ p(x , y )log (p(x
i
j
i,
y j ))
i=1 j=1
0,2
F généralisable à N sources
0
0 0, 0, 0, 0, 0, 0, 0, 0, 0, 1
1 2 3 4 5 6 7 8 9
H(X,Y) ≤ H(X) + H(Y)
ß avec égalité si indépendance des sources
ß généralisé par
H(X1 ,.. X n ) ≤
n
∑ H(X )
i
i=1
if
G.Beuchot
11
Propriétés de l’ENTROPIE (suite)
á Loi conditionnelle
p(
Y = yj
H(Y
FL'entropie conditionnelle de Y
relativement à X = xi est l'information
moyenne apportée par Y si la source X
a émis xi
X = xi )
k
X = x ) = −∑ p(
i
yj
j =1
n
m
i =1
j=1
xi )log p(
yj
xi )
y
y
H (Y X) = −∑ p(xi )∑ p( j x )log p( j x )
n
H (Y X) = −∑
i =1
i
m
i
∑ p(x y )log p(
j =1
i,
j
yj
xi )
H(X, Y) = H(Y) + H( X Y) = H(X) + H(Y X)
H(Y X ) ≤ H(Y) égalité si indépendance
if
G.Beuchot
FSi X et Y sont indépendantes, la
connaissance de X n'apporte aucune
information au sujet de Y. L'entropie
conjointe H(X,Y) est alors la somme des
entropies des sources indépendantes.
FSi les sources sont liées, la connaissance
de l'une apporte des information sur l'autre
et l'entropie conjointe est inférieure à la
somme des entropies de chaque source.
12
INFORMATION TRANSMISE - Equivocation
I(X,Y) = H(X) - H( X Y )
= H(Y) - H( Y X )
I(X,Y) = I(Y, X)
if
G.Beuchot
FNotations
ß H(X) = entropie de la source
ß H(Y) = entropie du collecteur
ß H(X/Y) = partie de l'information source
récupérée au vu de la sortie ou
équivocation
ß H(Y/X) = bruit ou erreur sur le canal
FI(X,Y) est l'incertitude à priori sur X moins
l'incertitude sur X lorsque Y a été réalisée
ß Pour un canal sans bruit I(X;Y) = H(X) =
H(Y)
ß L'incertitude sur X décroît par la
connaissance de Y
ß I(X,Y) est l'apport d'information de Y au
sujet de X
ß 0 ≤ I(X,Y) . I(X,Y) = 0 si les sources sont
indépendantes; Y ne dit rien de X
13
Application: CANAL de COMMUNICATION
Source
Collecteur
Canal
Codage
Décodage
á Au collecteur on observe Y qui est une conséquence de
X
FStockage
FTransmission
á Dans le canal l'information peut être perturbée, modifiée
....
if
G.Beuchot
14
Exemple: CANAL BINAIRE SYMETRIQUE
á py = p0px + (1-p 1)(1-px)
Fsi px = 0,5 py = 0,5 (1 + p0 - p1 )
á Le canal est symétrique si p0
= p1 alors py = 0,5
X
px
2
H(Y X ) = −∑ p(xi )∑ p(
i =1
j =1
yj
xi )log p(
yj
0
0
p
y
1
1- py
p(y=1/x=0)
p(y=0/x=1)
1- px
2
Y
p(y=0/x=0) = p0
1
p(y=1/x=1) = p
1
xi )
 p(x = 0)( p( 0 0 )log p( 0 0 ) + p( 10 )log p( 10 )) + 

H( X ) = −
 p(x = 1)( p( 11 )log p( 11 ) + p( 01 )log p( 01 )) 
Y
si p(x) = 0,5 et p( 0 0 ) = p( 11 ) = p
H(Y X ) = p log (p) + (1- p) log (1- p)
if
G.Beuchot
p
1
0,9999
0,999
0,99
0,9
0,5
H (Y / X)
0
0,001473
0,011408
0,0808
0,4690
1
I (X,Y)
1
0,9985
0,988592
0,9192
0,5310
0
15
Le Canal de Transmission
if
G.Beuchot
16
á Entre source et collecteur caractérisé par :
Falphabets d'entrée et de sortie
Fprobabilités de transition
Fensemble d'états
á si le canal est SANS MEMOIRE les probabilités de
transition sont indépendantes de l'état du canal
FNous ne traiterons que ce cas
FUne "mémoire" est un canal sans mémoire
if
G.Beuchot
17
Canal sans mémoire
Fsans perte (sortie implique l'entrée)
Fdéterministe (entrée détermine la sortie)
Fsans erreur (déterministe et sans perte)
symétrique (matrice de transition symétrique)
á exemple : canal binaire symétrique
F (B.S.C. binary symetric channel)
0 è p
î
1-p
ì
1-q
1 è q
if
G.Beuchot
0
1
0 è 1- ε
î ε
ì ε
1 è 1- ε
0
1
18
Extension du Canal
á Entrée prise dans l'extension de l'alphabet
F ex : p(00/00) = p2 , p(10/00) = qp
FCodage multiniveaux
á exemple:
Fmatrice de probabilité de transition pour BSC
00
01
10
11
00
(1-εε)2
ε(1- ε)
(1- ε)
ε2
01
ε(1- ε) (1- ε)2
ε2
ε(1- ε)
10
ε(1- ε)
ε2
(1- ε)2 ε(1- ε)
11
ε2
ε(1- ε)
ε(1- ε)
(1- ε)2
á CANAL AVEC MEMOIRE
FLa matrice de transition dépend de l'état du canal, donc des transitions
antérieures
FApplication : paquets d'erreurs
if
G.Beuchot
19
Capacité du canal sans mémoire
á I(X,Y) = H(Y) - H(Y/X) = H(X) - H(X/Y)
FCette information dépend
ß de la source
ß de la matrice de transition fixée par le canal
Fcette matrice de transition est imposée.
á On recherche le maximum d'information transmise. Pour cela il faut
jouer sur la source par un codage approprié.
Fanalogie: adaptation d'impédance
FOn utilisera donc un codeur et un décodeur comme interfaces avec le canal
Source
Collecteur
Codeur
Décodeur
CANAL
if
G.Beuchot
20
Capacité du Canal (suite)
H(Y) = -
∑p
yj
log p y j
j




H(Y) = − ∑ ∑ p xi log p y j / xi  log ∑ p xi log p y j / xi 
 i

j  i

H( Y X ) = -
∑∑ p
i
xi
p y j / xi log p y j /xi
j
á C = Max[X,Y]
p(xi)


p
p
log
p
p
log
p
∑i ∑j xi y j/ xi  ∑i xi y j/ xi
yj / xi 

p yj / xi
I(X,Y) = ∑ ∑ p xi p y j / xi log
i
j
∑ p xi p y j / xi
I(X,Y) = -
i
if
G.Beuchot
21
Capacité du Canal Symétrique
á Si L est la taille de l'alphabet B du collecteur
C = Max ( H(Y) - H(Y/X) )
FH(Y) est maximal pour une source équiprobable
p(xi) = 1 / L et
L
C = log L +
 yj
∑ p
j=1
L
∑p
i =1
xi
= 1

yj 
log
p

 x
xi 

i
á Pour un canal binaire symétrique (BSC)
C = 1 + p log p + (1-p) log (1-p) 1
F
F
si p = 0,5 log p = log (1-p) = log 0,5 = - 1
si p = 0,99log p = -0,014495
1-p = 0,01
if
G.Beuchot
log(1-p) -6,643856
C = 0 bit
C = 0,9192 bit
22
Canal Bruité: probabilité d’erreurs
BRUIT
Source
Codeur
CANAL
Décodeur
Collecteur
á La matrice de transition du canal est liée à des perturbations induites
par l'ajout d'une information parasite "le bruit" dans le canal .
á Exemple : Canal binaire
1
F bruit
0
F Collecteur 1
F erreur
F Source
1
0
1
0
0
0
1
1
0
+
1
0
1
0
1
1
+
0
0
0
1
0
1
0
0
0
á Nous observons 2 erreurs de décodage. Nous allons rechercher la
probabilité d'erreur pei sur un mot Xi et la probabilité moyenne
d'erreurs pe.
if
G.Beuchot
23
Canal Bruité: probabilité d’erreurs (suite)
Pei =
∑ p(
Yj
Yj
Pe =
Xi )
M
∑ p(X ) p
i
i=1
ei
á A l'entrée du canal sont placés M mots X i de
longueur N. A chaque mot reçu Yi on assigne un
mot émis Xi. Il y a erreur si on reçoit Yj .
á Le décodeur, placé à la sortie du canal, doit
minimiser cette probabilité d'erreurs en
recherchant :
F
F
le maximum de la loi de probabilité à postériori
ou
le maximum de vraisemblance
á Pour une loi d'émission uniforme ces régles se
confondent.
á Le calcul est en général très difficile. On se
contente d'un majorant.
if
G.Beuchot
24
Canal Binaire Symétrique Bruité: probabilité d’erreurs
á Pour un canal B.S.C.
F avec des probabilités de transition ε et 1-εε
Fdes mots de taille N
(
Pe ≤ 2 ε (1 - ε )
)
N
en réalité
Pe ≈
if
G.Beuchot
(
2
2 ε (1 − ε )
πN
)
N
25
Théorème Fondamental de SHANNON
á Soit une source émettant des mots de taille N
FSon taux est R = H / N bit par lettre
FLa probabilité d'erreur pe î si N ì
mais R î si N ì
á En fait pour avoir une probabilité d'erreur pe = 0 il faut N = ∞ soit R = 0 !
á On cherche à minimiser pe
Fen fonction de R, N et de la capacité C du canal
FShannon a montré que si R ≤ C , il existe une suite de codes de longueur de
mot N qui minimise la probabilité d'erreur.
FLa taille du code est Partie entière [exp (NR)]
FSi R > C il n'existe aucune méthode de codage qui permette de transmettre de
l'information avec un taux d'erreur négligeable.
FCe théorème fournit une condition limite qui permet d'orienter la recherche
des codes les meilleurs ou de les comparer à cette valeur limite.
if
G.Beuchot
26
Le Canal Continu
+∞
∫
H(X) = -
f1 ( x ) log f1( x ) dx
-∞
+∞
∫ f ( y ) log f ( y ) dy
H(Y) = -
2
2
-∞
+∞+ ∞
H(
X
Y
∫ ∫ f ( x, y ) log
) = -
- ∞ -∞
+∞+∞
I(X,Y) = -
∫∫
f ( x , y ) log
-∞ - ∞
f ( x, y )
dxdy
f 2( y)
f ( x, y )
dxdy
f1( x ). f2 ( y )
á Les définitions de l'information,
de l'entropie, etc sont étendues à
des sources ou des collecteurs
ayant des fonctions densité de
probabilité continues (et non plus
discrètes) pour utiliser pleinement
les canaux de communication
analogiques
á Cette quantité d’information
est liée à un symbole unique
Capacité du canal continu
C = Max f
1( x )
if
[I(X,Y)]
G.Beuchot
27
Débit du Canal Continu
FSi T est l'intervalle de temps entre 2 symboles ("Moment")
á le DEBIT d'information vaut
CT = C / T bit/s
á Le taux de la source est RT = H(X) / T
FD'après le second théorème de Shannon,
á si RT
veut.
if
≤
G.Beuchot
CT on peut avoir un taux d'erreurs aussi petit que l'on
28
Théorème de Shannon-Hartley-Tuller
á On suppose que le canal est additif
et qu'il est perturbé par un "bruit"
gaussien.
+∞
H(Z) = -
∫ q( z ) log q( z )dz
-∞
avec, si B est la puissance du bruit
1
 z2 
q( z ) =
exp 
2πB
 2 B
et si S est la puissance du signal
 x2 
1
f1( x ) =
exp 
 2S 
2πS
if
G.Beuchot
á Soit H(Z) l'entropie de cette"
source de bruit" de densité de
probabilité q(z)
á On suppose aussi que le signal utile
issu de la source possède une
densité de probabilité gaussienne
f1(x)
29
Théorème de Shannon-Hartley-Tuller (suite)
FH (X) = log (2π
π eS)
FH (Z) = log (2π
πeB)
á Y = X + Z donc
H (Y) = log (2π
πe(S+B))
á I(X,Y) = H(Y) - H (Z)
I (X,Y) =
1
2
log 2 ( 1 +
= log (2π
πe(S+B)) - log (2π
πeB)
S
B
)
á Si B est minimal et S maximal C =
1
2
log 2 ( 1 +
S
B
FNota : Pour avoir le débit maximal théorique d'information nous devrons
multiplier cette capacité par le nombre de symboles transmis par unité de
temps.
if
G.Beuchot
30
)
Exemple 1 de capacité du canal continu
á Bruit blanc maximum sur canal téléphonique :
48 db au dessous du signal
Fnota : décibel = 10 log10
P2
P1
á soit 10 log10 (S/B) = 48
á C = log2 (1 + S/B) =
ou S/B ≈ 63000
1
2
log10 (1 + BS )
log 10 2
á C = 3,32 log10 (1 + S/B)
F= 3,32 * 4,8 ≈ 7,970 bits par symbole
if
G.Beuchot
31
Exemple 2 de capacité du canal continu
á Signal émis 1mW
Fnota : sur une ligne téléphonique
ß
puissance crête
ß
puissance moyenne
FAtténuation 30 db soit un facteur 1000
0 dbm = 1 mw
-10 dbm = 0,1 mw
á Signal reçu 1W
á Bruit à la réception 10 nW
FS/B = 100 ( 20 db)
Flog2 (1 +S/B) = log2 (101) = 6,658
á C = 3,329 bit par symbole
FEn pratique on pourra espérer transmettre 3 bit par symbole
if
G.Beuchot
32
Codage
if
G.Beuchot
14/03/01
33
33
Définitions
á SOURCES
FIndépendantes
ß xi sont des var. aléatoires indépendantes de même loi , Si M =
x1x2x3
p(M) = p1p2p3
FStationnaires
ß xi sont liées mais les probabilités pour une suite x1x2...xi
ne dépendent pas de l'instant d'émission
Fde Markov
ß Source à mémoire finie
ß loi à priori p(xi) + suite de lois conditionnelles p(x1/ x2),
....,p(x1/ xn)
p(x1/ x2x3)
p(x1/ x1x2x3...xn)
$ On utilise un diagramme d'état pour indiquer les probabilités à prendre
en compte à un instant donné
if
ß exemple : langue naturelle ( ...ait, ...ment, ..)
ß Codage prédictif: images Vidéo
G.Beuchot
14/03/01
34
34
Définitions (suite)
á LONGUEUR MOYENNE
Fni nombre de caractères du mot mi codant un message xi
FLongueur moyenne des messages :
n = E(n i ) =
N
∑ n p(x )
i
i
i=1
Cette grandeur est aussi appelé le coût moyen par message
á TYPES DE CODES
FA longueur de mot fixe
ß tous les mots sont de même longueur
ß exemple : AI5 (7 bit/lettre) , AI2 (5 bit/lette)
FA longueur de mots variable
ß exemple : code Morse, Huffman, ....
if
G.Beuchot
14/03/01
35
35
Autres définitions
á DEBITS, ETC.
Fdébit littéral : nombre de caractères par unité de temps
D lettres/ s
H(X)
FTaux d'émission :
bit/lettre
n
FDébit d'information :
η =
FEfficacité :
FRedondance : ρ
if
G.Beuchot
14/03/01
D
H(X)
n bit/s
n min
n
n min longueur moyenne
pour le code le plus court
=1- η
36
36
Codes à longueur fixe
á Source codée par un alphabet de taille K : a1, a2...ak
F
exemple [0,1] K = 2
á Soit une séquence de longueur l de lettres de cet alphabet
r
Fx1,x2,......xl x= l
FOn peut construire Kl
exemple 2l
FCes Kl séquences constituent une nouvelle source appelée l ème
extension de K
Fexemples : AI2 l = 5 25 = 32 "lettres" de 00000 à 11111
AI5 l = 7 27 = 128 "lettres de 0000000 à 1111111
á Pour coder ces suites par des mots
log de
K taille N à partir d'un alphabet de
N
taille D,
l ≥
log D
on doit avoir
á Exemple : Décimal codé binaire
if
ß
ß
G.Beuchot
=4
14/03/01
D=2
N ≥ 1
K = 10
log 10
= 3,32
log 2
chiffre de l = 1 lettre ( 0 à 9)
37
soit N
37
Codes à longueur variable
á Code caractérisé par :
Flongueur moyenne des mots
Fnon ambiguïté de la lecture
á Code : partie d'un ensemble de suites finies de caractères issus
d'un alphabet
FUn tel code doit être REGULIER et DECHIFFRABLE
Fexemples :
ß
P(xi)
code 1 code 2 code 3
if
G.Beuchot
14/03/01
code 4
x1
0,5
1
0
1
1
x2
0,25
1
1
10
01
x3
0,15
0
11
100
001
x4
0,1
00
01
1000
000
non régulier non déchiffrable non ambigu
38
irréductible
38
pas injectif
préfixé
Classification des codes de longueur variable
á Un code est déchiffrable (conditions suffisantes) si
F
Fou
il a une longueur fixe
il est préfixé
á Code
F
F
ß
ß
singulier
régulier non déchiffrable
déchiffrable
réductible
irréductible (ou instantané)
á un code irréductible est construit à l'aide d'un arbre
1
⇒
01
0
001
00
000
if
G.Beuchot
14/03/01
etc.
39
39
Longueur moyenne d’un code
á Soit un alphabet de taille D (nombre de mots code)
á Code irréductible
H(X)
n ≤
log D
+ 1
á Code déchiffrable
n ≥
H(X)
log D
Si égalité : code optimal
á Pour toute source indépendante, il existe un code irréductible de
longueur moyenne aussi proche que l'on veut de H(X)
F 1er Théorème de Shannon
á Pour un code binaire n
if
G.Beuchot
14/03/01
min
log D
= H(X)
(log D =1)
40
40
Capacité de codage
á Soit k(N) le nombre de textes codés avec N lettres
limN→∞
k(N) ≤ DN
log k(N)
= C ≤ log D
N
N
avec C solution de
∑2
-Cn i
= 1
i=1
á C est la capacité de codage du code
á Exemple : code binaire [0,1] D = 2
F
longueur optimale
log pi
ni = log 2
FSi on classe p1 ≥ p2 ≥ ....... ≥ pi..... ≥ pn alors n1 ≤ n2≤ ..... ≤ ni ... ≤ nn
ß On cherche les plus petits entiers tels que
-ni
pi ≥ 2
if
G.Beuchot
14/03/01
41
41
Code de Shannon-Fano
á A chaque étape on regroupe les messages en 2 sous-ensembles de
probabilité la plus voisine possible. On continue jusqu'à obtenir 2
messages que l'on code.
á exemple 1
Fmes.
code
Fx1
Fx2
10
Fx3
110
Fx4
111
p(xi)
0,51
0,29
0,51
0,08
0,49
0
1
0
0,29
10
0,20
11 0,08
110
0,12
111
0,12
Flongueur moyenne : 0,51 + 0,29 * 2 + (0.08 +0,12) * 3 = 1,69
if
G.Beuchot
14/03/01
42
42
Code de Shannon-Fano (suite)
áExemple 2
mes.
code
x1
10
x2
00
x3
01
x4
110
x5
1110
x6
1111
if
p(xi)
0,4
0,3
0,5
0
0,2
0,05
0,5
0,03
0,4
10
0,3
00
0,2
01
1
0,1
0,05
110
11 0,05
111
0,03
1110
0,02
1111
n min =
0,02
Flongueur moyenne :
G.Beuchot
FH(X)
14/03/01 = 1,994987
ßlog D
=1
(0,4 + 0,3 +0,2) * 2 + 0,05 * 3 + (0,03 +0,02) * 4 = 2,15
43
43
Introduction
à la Théorie de l'Information
1,995
Code de Huffman
áPropriétés
Fsi pi > pj
alors ni nj
Fles 2 mots les moins probables ont même longueur
Fparmi les mots de longueur maximale nm il y en a au moins 2 ayant
les mêmes nm-1 premières lettres
FOn classe les messages et on les regroupe 2 par 2
áexemple 1:
mes. p(xi)
if
x1
x2
x3
0,51
0,29
0,12
x4
0,08
code
0,51
0,29
0,20
0,51
0,49
0
1
10
11
110
0
10
110
111
111
FPour cet exemple même longueur moyenne que Shannon-Fano
G.Beuchot
14/03/01
44
44
Code de Huffman (suite)
áExemple 2
mes. p(xi)
code
x1
0,4
0,4
0,4
0,4
0,4 1
x2
0,3
0,3
0,3
0,3
0,6 0
x3
x4
0,2 0,2
0,05 0,05
0,2
0,1
0,3
x5 0,03 0,05
01110
x6 0,02
01111
if
Flongueur moyenne :
FH(X) = 1,994987
G.Beuchot
14/03/01
ßlog D = 1
1
00
01
00
010
011
0110
0111
n min =
010
0110
01110
01111
0,4 + 0,3 * 2 + 0,2 * 3 + 0,05 *4 + (0,03+0,02) * 5 = 2,05
45
1,995
Introduction
à
η = 0,9732
45
la Théorie de l'Information
ρ = 0,027
Applications
á COMPRESSION DE DONNEES
Si des données sont codées avec des code de longueur fixe on peut les
comprimer
Fen enlevant les caractères inutiles
Fen évitant les répétitions : Code RLE (Run Lenght Encoding)
ß xxxxxxxxxxx
Rx11
Fen utilisant un code de taille variable
ß Huffman
statique ou adaptatif
ß Huffman -Shannon- Fano autosynchronisant ...
ß Ziv et Lempel (codage par dictionnaire)
$certaines séquences de caractères sont considérés comme des messages
valides : extension de l'alphabet
$On applique un code d'Huffman sur cette extension
if
G.Beuchot
14/03/01
46
46
Applications (suite)
FOn peut aussi utiliser
ß
des codes Arithmétiques
ß
des transformations mathématiques etc.
Fnota :
code JPEG (Joint Photographic Expert Group)
ß
CCITT T.83 ou ISO
10917-1
F
code MPEG (Motion Picture Expert Group)
ß
CCITT ?? , ISO ??
$MPEG2 Codage vidéo : prédictif + Code d’Huffman
F
CCITT H.261
á QUESTIONNAIRES DICHOTOMIQUES
FQuestionnaire à réponse par oui ou non à nombre de questions minimal
if
G.Beuchot
14/03/01
47
47
Codage des images vidéo : MPEG
á MPEG : Moving Picture Expert Group
FMPEG-2 : ISO/IEC 13818
FIUT : H26x (H262) , H32x (visioconférence sur ATM)
á Différents formats d'image
FNiveau (résolution)
ß
ß
ß
ß
Low (SIF) :
Main (625l) :
High1440 :
High (TVHD ):
(pel = picture element)
352*288 pels
720*576 pels (aspect 4/3 )
1440*1152 pels (aspect 4/3 )
1920*1152 pels (aspect 16/9)
FProfil (format) : décomposition des macroblocs
ß
ß
ß
ß
ß
if
G.Beuchot
14/03/01
Simple :
Main :
SNR :
Spatial :
High :
4:2:0
4:2:0
4:2:0
4:2:0
4:2:0, 4:2:2
(Main)
(tous niveaux)
(Low, Main)
(High-1440)
(Main, High1440, TVHD)
48
48
Structure des images
á Séquence vidéo
á Images décomposées en trames (entrelacées ou non)
F I : Intra
Indépendante de toute autre (Non Prédite)
F P : Prédites à partir des images I ou P Précédentes)
F B : Bidirectionnelle (prédites par rapport à I ou P voisine)
á trame : ensembles de tranches (slice)
á tranche : un ou plusieurs macroblocs
á macrobloc :
F16*16pels (picture element)
Fluminance (jaune)+ Chrominance (2 couleurs : rouge +bleu)
F6, 8 ou 12 blocs è 4:2:0 , 4:2:2 , 4:4:4
á bloc :
F8*8 pels luminance et 0 ou 8*8 chrominance
if
G.Beuchot
14/03/01
49
49
Codage et transfert des images
á Seuls les blocs différents d'une trame à la suivante sont
transmis
FL'adresse des blocs est codée par un code à longueur variable
á Seules les différences entre les blocs sont transmises
FLa repésentation des blocs est transformée par DCT : Transformation
en Cosinus Discrète
FLes coéfficients de la transformée sont codés sur 12 bits (Signe + 11
bits)
FLa différence entre les coéfficients, pour deux trames successives,
est codée par un code à longueur variable (3 à 17 bits)
á Les types de macroblocs et d'image sont codés par des codes à
longueur variable
if
G.Beuchot
14/03/01
50
50
Codage MPEG pour images vidéo: principe
Images
sources
Réorganisation
des images
tranches /
Macroblocs
Régulation
+
TCD
á TCD:
Transformée
en Cosinus
Discrète
Q
Q-1
CLV
Estimation de
mouvement
Tampon
émission
TCD-1
+
Mémoires
Images
et prédictions
Multiplex
if
G.Beuchot
14/03/01
á Q:
Quantification
Données
á CLV:
Codage à
longueur
variable
(Huffmann)
51
51
Codes détecteurs
et
correcteurs d’erreurs
if
G.Beuchot
14/03/01
52
52
Distance de Hamming
á Pour éviter les erreurs de décodage (dues à des perturbations
dans le canal) les messages doivent le plus "différent"
possible les uns des autres.
á On appelle
DE HAMMING de deux mots codes
r DISTANCE
r
x 2 de chiffres par lequel ils diffèrent.
et
lexnombre
1
F
r = 00111010
x1
r = 10110010
x2
d(
r ,r ) = 2
x1 x 2
á Pour des mots de longueur N
r r
d(x1 , x 2 ) =
N
∑x
1i
⊕ x2i
i=1
á La DISTANCE DE HAMMING d'un code est la plus petite distance
observée entre les mots du code (pris 2 à 2).
if
G.Beuchot
14/03/01
53
53
Distance de Hamming: Propriétés
r r
r r
á d( x1 , x 2) = 0 si et seulement six1 =x 2
r r
r r
r
r
á d( x1 , x 2) = d(x 2 ,x1 ) > 0
si x 2 ≠ x1
r r
r r
r
r
á d( x1 ,x 3 ) + d( x 2 ,x 3 ) ≥ d( x1 , x 2)
FExemples "géométriques"
011
01
11
001
111
101
010
00
10
000
110
100
FSi pour l'espace à 3 dimensions (N=3) on ne garde que des mots codes sur
des sommets opposés (000 et 111 ou 011 et 100 par exemple) leur distance
est d = 3
if
G.Beuchot
14/03/01
54
54
Régles de Décodage
á Pour un canal B.S.C. décoder selon la règle du maximum de
vraisemblance revient à prendre le mot le plus proche, au sens de la
distance de Hamming, d'un mot code.
FPar exemple
si le code choisi est [001,110]
et
si on observe 000 à la sortie du canal,
on décide que 001 a été émis à la source
á Ceci nous conduit à la notion de boule de décodage dans l'espace à
N dimensions
N-1
FDans une boule de rayon r il y a∑ C iN mots code
i=0
FOn pourra corriger une erreur simple ou multiple si le mot code érroné
observé reste dans la boule de rayon r.
FOn pourra détecter une erreur simple ou multiple si le mot code
observé n'est pas un mot du code.
if
G.Beuchot
14/03/01
55
55
Théorèmes de Hamming
á Avec un code de distance de Hamming d on peut
if
d ≥ p +1
d ≥ 2q +1
d ≥ q + p +1
Fdetecter
p erreurs
Fcorriger
q erreurs
Fcorriger q et détecter p erreurs
si
si
si
Fd
F1
F2
Puissance
erreur non détectable
détection d'une erreur simple
F3
correction d'une erreur simple
F4
correction d'une erreur simple
et detection d'une erreur double
F5
correction d'une erreur double
G.Beuchot
14/03/01
56
56
Typologie des codes correcteurs d’erreurs
á Codes à contrôle de parité
FApplication d'un espace à 2k élements dans un espace à 2n éléments
FDans ces codes un ou plusieurs bits de redondance sont ajoutés à une
ensemble de k bits d'information
Fnotation : code (n,k)
á Codes de blocs
Flongueur de bloc (ou de code) n dont k bits d'information
Fcodes linéaires
ß Les bits de redondance sont placés sur des sites particuliers du
bloc de taille n
ß ex : Code de Hamming
$correction d'erreur simple
$n-k bits de "parité"
$n ≤ 2n-k - 1
$code optimal si n = 2n-k - 1
if
G.Beuchot
14/03/01
57
57
Typologie des codes correcteurs d’erreurs (suite)
Fcodes cycliques
ß En général ("codage par division") les bits de redondance sont
placés après les k bits d'information
ß ex : Code de Hamming
Code B.C.H. (Bose-Chaudhuri-Hocquenghem)
á Codes d'arbre ou codes continus
Fcodes convolutionnels
ß des bits de redondance sont placés au fil de l'eau,
réguliérement, dans la séquence de bits d'information et
portent sur les m bits précédents ( qui peuvent être des bits de
redondance ...)
ß Utilisés à l ’origine pour les bandes magnétiques, ils sonr=t
redevenus très importants pour la téléphonie mobile (GSM)
if
G.Beuchot
14/03/01
58
58
Utilisation d’une notation matricielle
á Codes systématiques
1 0 . . 0 a1,k +1
0 1 0 . 0 a
2,k +1
G=
0 . . . 0 a.,k+1

0 0 0 . 1 a k,k +1
 a1,k +1 a1,k +2
a
.
2,k +1

H =
 a.,k +1
.

 ak,k +1 a k,k +2
if
G.Beuchot
14/03/01
.
.
.
.
.
.
.
.
a1,n 
a 2,n 

a .,n 

a k,n 
a1,n 
a 2,n 
a.,n 

a k,n 
FMatrice génératrice G
k lignes , n colonnes
r
FUn mot code x est obtenur à partirr d'une
r
séquence d'information u par x = u G
r
Fsi u r= 00.. 010..0 (1 en ième position)
x est la ième ligne de G
FToute combinaison linéaire de lignes de cette
matrice est un mot du code
Fmatrice de parité: k lignes n-k colonnes
r
FPermet de contrôler la réception par x H = 0
si aucune erreur
59
59
Codes cycliques: Bases
á Ensemble [0,1] muni
F
F
de l'addition ( + est le "ou exclusif" )
de la multiplication
forme le corps de Galois GF(2)
á si ai ∈ GF(2) ( ai = 0 ou1)
an xn + a n-1 xn-1 +
+a0 = P(x)
F P(x) est un polynome de degré n sur GF(2)
F L'ensemble de ces polynomes à une structure d'anneau
ß
pas un groupe pour la multiplication
if
G.Beuchot
14/03/01
60
60
Division de polynômes sur GF(2); Classes résiduelles
FSoit 2 polynomes P1(x) et P2(x) sur GF(2)
∃ deux polynomes Q(x) et R(x) tels que P1(x) = Q(x) P2(x) +
R(x)
F2 polynomes son équivalents modulo Q(x) si les restes de leur division
par Q(x) sont identiques.
FCeci permet de définir une classe d'équivalence. Ces polynômes
peuvent être représenté par leur classe résiduelle de plus bas degré,
soit ce reste R(x)
Fexemple : Q(x) = x 2 ⊕ 1
0,1,x,x+1
classes résiduelles :
FPour un polynome de degré N, il y a 2N classes résiduelles
if
G.Beuchot
14/03/01
61
61
Irréductibilité
FUn polynôme P(x) est réductible sur un corps s'il existe deux
polynômes G(x) et H(x) tels que
P(x) = G(x) H(x)
FSi ce n'est pas le cas P(x) est irréductible
FSi P(x) est irréductible les racines de P(x) = 0 sont des éléments d'une
extension de GF(2)
Fsoit
P(x) =
∏ (x
i
if
G.Beuchot
14/03/01
+ αi )
62
62
Codes cycliques: Définitions
á Classe particulière des codes de groupe obtenu par permutation
circulaire des chiffres
F si
a1a2 ... an C alors a2a3 ... ana1 C, a3a4 ... a2 ∈ C, etc
FOn utilise en général la notation polynomiale définie ci-dessus
Fsi U(x) représente un mot du code, xiU(x) modulo (xn + 1) est aussi
un mot du code
ß Ceci correspond à la ième permutation de U(x)
FToute combinaison linéaire de mots du code est encore un mot du
code
F Il existe un polynôme de plus bas degré qui divise xn + 1
F Ce polynôme U0(x), de degré m, est appelé POLYNOME
GENERATEUR du code C
FIl existe 2 n-m polynômes quotients de xn + 1 par U0(x)
ß Ce code contient donc k = n-m mots
ß
code (n, n-m)
if
G.Beuchot
14/03/01
63
63
Matrice Génératrice et Matrice de Parité d’un Code cyclique
á MATRICE GENERATRICE
a m
0
G= 
0

0
a m -1
am
.
0
.
a m-1
.
0
. a0
. .
. 0
am .
0
a0
.
.
.
.
.
.
FU0 et ses n-m-1 permutés forment
une base du code, notée par la
1 0 1 1 0 0 0 
0  matrice G
 0 1 0 1 1 0 0
0 

FExemple : Code (7,4) engendré par 
0 3
0 0 1 0 1 1 0
 X +x+1


a0 
0
0
0
1
0
1
1


á MATRICE de PARITE
a0
a
1
H = 
.

0
if
0
a0
.
.
0 
. 0 

.
. 

. an- m 
.
G.Beuchot
14/03/01
1
1

1

0
1

0
0

1
1
1
1
0
1
0
0
0
1

1
1

0
1
64
64
Codage par matériel
1
x
Sortie
x2
x4
FOn utilise des registres à décalage et des
"ou exclusif" (addition)
FLa multiplication
ßpar 1 est notée par une connexion
ßpar 0 par l'absence de connexion
FCODEUR A k = n-m ETAGES (ENTREE
PARALLELE)
ß Exemple : codeur (7,4)
ßPolynôme orthogonal à x3 + x + 1 soit
x4 + x2 + x + 1 (voir matrice de parité)
FCODEUR A m ETAGES (ENTREE SERIE)
ßLe registre est initialisé à 0.
L'information est introduite poids forts
en tête
if
G.Beuchot
14/03/01
65
65
Codage par matériel (suite)
1
x
3
x
1
Sortie
F
Codeurs par multiplication.
ß Exemples: Codeurs (7,4)
Entrée
x3
x
1
Sortie
Entrée
1
x
x3
Sortie
FCodeur par division
ß Les m premiers décalages donnent 0
en sortie et ne sont pas utilisés.
ß Exemple: Codeur (7,4)
Entrée
if
G.Beuchot
14/03/01
66
66
Application: Générateur Pseudo-aléatoire
FUne séquence pseudo-aléatoire de taille 2 m-1 - 1 est générée par
2 m − 1 de
un polynôme de degré m
:
G(x) diviseur
x
ß Exemple : m = 8, n = 255
ß G(x) = x8 + x6 + x5 + x33 + 1
1
x
5
x
6
8
x
x
Sortie
FLa séquence de 255 bits comporte 128 bits à 1 et 127 bit à 0
répartis aléatoirement
FSi le circuit génère des bits en continu, la séquence est répétée
périodiquement
FTechnique utilisée pour
ß les générateurs de bruit
ß les séquences de test
if
G.Beuchot
14/03/01
67
67
Détection et Correction d’erreurs par code cyclique
FSoit un polynôme irréductible G(x) de degré m, diviseur ou produit de
diviseurs de x 2 m − 1 + 1
Fet une séquence à protéger M(x) et E(x) un syndrome d'erreurs
ß sans erreur E(x) est une séquence nulle 000000....
á CODAGE PAR MULTIPLICATION
C(x) = M(x) • G(x) est le mot du code transmis
On reçoit C*(x) = C(x) + E(x)
On décode Q(x) = C* (x) / G(x) + R(x)
ß si R(x) = 0
M(x) = Q(x)
ß sinon erreur détectée
FCorrection
ß On peut initialiser une table donnant E(x) en fonction de R(x)
ß On peut alors corriger les erreurs par C(x) = C*(x) + E(x)
F
F
F
if
G.Beuchot
14/03/01
68
68
Détection et Correction d’erreurs par code cyclique (suite)
á CODAGE PAR DIVISION
FOn calcule
ß I(x) = xm • M(x)
$ajout en fin de séquence de m bits à 0
ß r(x) = I(x) - G(x) Q(x)
$reste de la division de I(x) par G(x)
ß C(x) = I(x) + r(x)
$remplacer les m bits à 0 de fin par r(x)
FOn décode
ß Q(x) = C *(x) / G(x) + R(x)
ß Si R(x) = 0
C(x) = C*(x)
$
M(x) = C *(x) / xm
troncature de C(x)
Sinon erreur détectée
Fou correction par C(x) = C* (x) + E(x)
et utilisation d'une table de correction E ( R(x))
if
G.Beuchot
14/03/01
69
69
Tables de Peterson
FConsidérons le polynôme xn-1 + 1
ßSes racines i sont solutions de xn-1 + 1 = 0
n-1
ßAlors xn-1 + 1 = ∏ ( x - αi )
i =1
FOn peut montrer que xn-1 + 1 peut être décomposé en un produit de
polynômes irréductibles fj(x)
L
F
xn-1 + 1 = ∏ f j( x )
j=1
ßfj(x) a pour racines des racines i de xn-1 + 1 soit
(x
fj(x) = ∏
i
- αi )
FSoit P(x) un polynôme de degré n -1
FSi α est racine de p(x) alors α2 ,α4 ,α8 ,..., (2 k modulo n-1) sont racines de
p(x)
FLes polynômes fj(x) sont difficiles à calculer . Plutôt que de donner des règles,
fonctions du degré du polynôme permettant de les déterminer, Peterson en 1961 a fourni
des tables qui les donnent tous jusqu'au degré 16 en partiellement jusqu'au degré 34.
if
G.Beuchot
14/03/01
70
70
Tables de Peterson: Exemple
á On lit dans la table
Fdegré 5
1 45E
3 75G
5 67H
FCeci indique 3 polynômes fj(x) correspondant aux racines de base α 1 , α 3
et α 5
FLa lettre donne les propriétés du polynôme fj(x)
Ê A,B,C,D
non primitif
Ê E,F,G,H
primitif
Ë A,B,E,F
racines dépendantes
Ë C,D,G,H
racines indépendantes
Ì A,C,E,G
racines du réciproque dépendantes
Ì B,D,F,H
racines du réciproque indépendantes
FLa valeur donne le polynôme codé en octal (base 8)
if
G.Beuchot
14/03/01
71
71
Exemple d’utilisation des tables de Peterson
FOn décompose x31 + 1
ß 31 est de la forme 25 -1
ß Il sera décomposé en 6 polynômes de degré 5 et le polynôme (x+1)
FOn recherche ces polynômes dans la table de Peterson
ß Les degrés des racines sont modulo 31
$par exemple α 48 = α 17
ß 45
100101
X5+x2+1
ß 75
111101
X5+x4+x3+x2+1
ß 67
110111
X5+x4+x2+x+1
racines α , α2, α4, α8, α16
racines α3, α6, α12, α24, α17
FLes polynômes réciproques sont obtenus en prenant les bits dans l'ordre inverse
ß soit 100101 101001 = 51
ß
111101 101111
ß
110111 111011
racines α30, α29, α27, α23, α15
= 57
= 73
racines α26, α21, α11, α22, α13
FIls correspondent à la racine α30, α28 et α 26 . Les puissances sont
complémentaires de 31
FOn peut vérifier que x31 + 1 = (x+1) (X5 + x2 + 1) (X5 + x4 + x3 + x2 + 1)
(X5 + x4 + x 2 + x + 1) (X5 + x 3 + 1) (X5 + x3 + x 2 + x + 1) (X5 + x 4 + x 3 + x + 1)
if
G.Beuchot
14/03/01
72
72
Codes de Hamming et Codes B.C.H.
á CODES DE HAMMING
F Codes de distance 3, correcteurs d'une erreur
FCes codes sont optimaux
F Construits à partir d'un seul polynôme irréductible G(x) de degré m
ß génèrent des mots de longueur n = 2m -1
ß exemple pour m = 5 , n = 31
code (31,26)
F G(x) est un polynôme irréductible (normal ou réciproque) quelconque
pris dans la table correspondante de Peterson
ß par exemple
X5 + x2 + 1 ou X5 + x3 + x2 + x + 1
á CODES B.C.H.
FHocquenghem et Bose et Chaudhuri ont donné une condition suffisante
pour qu'un code ai une distance de Hamming donnée :
FLeur polynôme générateur doit être un produit de polynômes
irréductibles ayant au moins s = d - 1 racines αi consécutives
if
G.Beuchot
14/03/01
73
73
Codes de Hamming et Codes B.C.H. (suite)
FCode BCH: Exemple
ß (X5 + x2 + 1)( x5 + x4 + x3 + x2 + 1)
ß a 4 racines consécutives α , α2, α3, α4
F s = 4 , d = 5 . Il est correcteur de 2 erreurs (d = 2q +1)
F taille n = 31, m =10 code (31,21)
á CODES TRONQUES
F On peut n'avoir que l < n bits à protéger (par exemple l = 16)
F On allonge fictivement le mot par n - l zéros et on utilise de code de Hamming
ou B.C.H. correspondant
ß
(31,26) ⇒ (21,16)
Hamming
FMémoires protégées (22,16) avec (x+1)(X5 + x2 + 1)
ß (31,21) ⇒ (26,16)
B.C.H.
⇒ (27,16)
en ajoutant (x+1) à G(x)
if
G.Beuchot
14/03/01
74
74
Codes convolutionnels
á Codes continus, au fil de l’eau…
FAjout de bits de parité en fonctions des x bits précédents
Ftaux de code: k/n
ß k bits d ’information
ß n bits au total
ß en pratique k/n = 1/2 ou 4/5 (Hagelbarger)
á Codes correcteurs d’erreurs
FPeuvent être très performants en théorie mais pas de codes
connus avec un très bon rendement
Fnécessité d’une séquence assez longue au décodage pour
retrouver l’information
ß si blocs, trainée nécessaire pour que tous les bits utiles soient
protégés
FDistance libre= distance de Hamming minimale
ß dfree= capacité de correction
ß si taux = 1/2 , dfree = 7 correction de 3 erreurs
if
G.Beuchot
75
Codes convolutionnels: codage
á Pour un code 1/2:
F Entrée Ui, sortie
F Polynômes
F Décodage
if
G.Beuchot
Ci = ( Ci' , Ci" )
G ' ( X ) et G" ( X )
Si = C + C
'
i
"
i
C ' ( X ) = U ( X )G ' ( X )
C " ( X ) = U ( X )G" ( X )
76
Utilisation dans le GSM
á Codes cycliques
nature
Canal
logique
Taille k
Taille CRC
reXonXance
polynômes
Parole
Classe I.a
TCH/FS
50
3
X 3+X+1
Signalisation
Contrôle
184
40
(X 23+1)( X 17+ X 3 +1)
Accès
SACCH,
FACCH,
BCCH,
PCH, …
RACH
8
6
X 6 + X 5 + X 3+ X 2 +X+1
Synchronis.
SCH
25
10
(X 5+1)( X 7+1)/( X+1)2
á Codes convolutionnels
Fcode principal utilisé pour les données: taux 1/2
Fpolynômes : X4+ X3+ 1 et X4+ X3+X+1
if
G.Beuchot
77

Cours de Théorie de l`Information

Transcription

Documents pareils

• Tournez manège -, représentation. Bout`chou • de Dia danse, au

Protocole de Transfert Hypertexte

Systèmes Transactionnels (en particulier OSI-TP)

Service de messagerie industrielle: MMS if G.Beuchot

d`où log tang-C

Transformateur de log

Diapositives : protocole HDLC

SERVICE et PROTOCOLE de TRANSPORT ISO

Réseaux locaux

RELAIS de TRAMES FRAME RELAY