Théorie de l`Information

Théorie de l’Information
Massih-Reza Amini
Université Joseph Fourier
Laboratoire d’Informatique de Grenoble
[email protected]
2/33
Introduction
Mesure de l’information
Codage de source
Table des matières
1
Introduction
2
Mesure de l’information
3
Codage de source
[email protected]
Théorie de l’Information
3/33
Introduction
Mesure de l’information
Codage de source
Introduction aux systèmes de communication
La théorie des communications s’intéresse aux moyens de transmission
d’une information depuis une source jusqu’à un récepteur à travers un canal.
bruit
source
codeur
canal
décodeur
récepteur
q La nature de la source peut être très variée: un signal électromagnétique, une
séquence de symbole binaire ou une voix;
q Le canal peut être une ligne téléphonique, une liaison radio ou un support
magnétique;
q La transmission peut se faire dans l’espace ou dans le temps ;
q Le codeur représente l’ensemble des opérations effectuées sur la sortie de la
source avant la transmission: modulation, compression, le brouillage (rend
compatible le signal au canal) ;
q Le décodeur restitue à partir de la sortie du canal, l’information fournie par la
source.
[email protected]
Théorie de l’Information
4/33
Introduction
Mesure de l’information
Codage de source
Introduction aux systèmes de communication
q La théorie de l’information a été créée par Claude Shannon dans les
années 40.
q Il s’agit d’une théorie mathématique qui décrit les plus fondamentaux
des systèmes de communications
Elle consiste en l’élaboration et l’étude de modèles pour la source et le
canal qui utilisent différents outils comme les probabilités, les
automates finis, etc.
q Dans ce cours, nous étudierons séparément les modèles de sources et
les modèles de canaux ainsi que leurs codages respectifs.
[email protected]
Théorie de l’Information
5/33
Introduction
Mesure de l’information
Codage de source
Sources et codage et source
q Parmi les classes possibles de modèles de source, nous nous
intéresserons plus particulièrement aux sources discrètes sans
mémoire.
q La sortie d’une telle source est une séquence de lettres tirées
aléatoirement d’après une loi de probabilité p indépendante du temps à
partir d’un alphabet fini
A = {a1 , . . . , an }
q Exemple : Soit une source d’information S travaillant sur l’alphabet suivant A = {a1 , a2 , a3 , a4 }.
Supposons qu’il existe deux codages de source transformant cette information discrète en symboles
binaires :
Codage 1
a1 → 00
a2 → 01
a3 → 10
a4 → 11
Codage 2
a1 → 0
a2 → 10
a3 → 110
a4 → 111
q Si S émet les caractères de l’alphabet avec une distribution de probabilité uniforme, la longueur
moyenne d’un symbole codé par le codage 1 est inférieure à la longueur moyenne d’un symbole
codé par le codage 2.
q Si l’on a une source qui émet les caractères avec la probabilité suivante;
p(a1 ) =
1
2
, p(a2 ) =
1
4
, p(a3 ) = p(a4 ) =
1
8
Le deuxième codage réussit à coder quatre symboles avec moins de deux bits, par rapport au
codage 1 (il réalise ainsi une compression).
[email protected]
Théorie de l’Information
6/33
Introduction
Mesure de l’information
Codage de source
Entropie d’une source discrète
q Avec l’outil des probabilités, on peut aussi établir un lien entre
l’information fournie par une source et la distribution de probabilité de la
sortie de cette source.
On part de l’hypothèse que : l’apparition d’un événement peu probable apporte
beaucoup d’information tandis que l’occurrence d’un événement certain ne
fournit au contraire aucune information.
q Si une lettre a, a une probabilité p(a) d’être tirée, son information
propre est définie par :
I(a) = − log2 p(a)
q La valeur moyenne de l’information propre calculée sur l’ensemble de
l’alphabet, appelée entropie de la source, H(A) revêt une grande
importance dans la théorie de l’information
X
H(A) = −
p(a) × log2 p(a)
a∈A
L’entropie d’une source est parfois donnée en bits/seconde, si l’entropie
d’une source discrète est H et si les lettres sont émises toutes les τs
secondes, son entropie est H/τs bits/s.
[email protected]
Théorie de l’Information
7/33
Introduction
Mesure de l’information
Codage de source
Entropie d’une source discrète
T H ÉOR ÈME .
Soit (A, p) un espace probabilisé discret de cardinal n. Nous avons alors
H(A) ≤ log2 n avec l’égalité ssi la loi de probabilité p est uniforme sur A.
[email protected]
Théorie de l’Information
8/33
Introduction
Mesure de l’information
Codage de source
Canaux et codage de canal
q Pour modéliser un canal de transmission, il est nécessaire de spécifier
l’ensemble des entrées et l’ensemble des sorties possibles.
le cas le plus simple est celui du canal discret sans mémoire.
q L’entrée est une lettre prise dans un alphabet fini A = {a1 , . . . , an } et la
sortie est une lettre prise dans un autre ou même alphabet fini
B = {b1 , . . . , bM }.
Ces lettres sont émises en séquence, et, le canal est sans mémoire si
chaque lettre de la séquence reçue ne dépend que de la lettre de
même position.
q Un canal discret sans mémoire est entièrement décrit par la donnée
des probabilités conditionnelles p(b | a).
q Exemple : Le canal binaire symétrique: A = B = {0, 1}
0
1−p
0
p
p
1
[email protected]
1−p
1
Théorie de l’Information
9/33
Introduction
Mesure de l’information
Codage de source
Capacité du canal
q L’un des paramètres les plus importants pour décrire un canal est sa
capacité.
q On peut montrer que l’on peut transmettre de l’information à travers un
canal à n’importe quel taux de transmission inférieur à sa capacité avec
une probabilité d’erreur arbitrairement faible.
q Le taux de transmission est le nombre de symboles émis en entrée
divisé par le nombre de symboles reçus en sortie.
[email protected]
Théorie de l’Information
10/33
Introduction
Mesure de l’information
Codage de source
Mesure de l’information
q En suivant le modèle probabiliste, fournir une information à un
utilisateur consiste à choisir un événement parmi plusieurs possibles.
Qualitativement fournir une information consiste à lever une incertitude
sur l’issue d’une expérience aléatoire.
q La notion d’information est donc inhérente à celle de probabilité
conditionnelle. Considérons les événements {A = a} et {B = b}, la
probabilité p(a | b) peut être interprétée comme la modification
apportée à la probabilité p(a) de l’événement {A = a} lorsque l’on
reçoit l’information que l’événement {B = b} s’est réalisée. Ainsi
q si p(a | b) ≤ p(a), l’incertitude sur a augmente;
q si p(a | b) ≥ p(a), l’incertitude sur a diminue;
q Ainsi l’information b est réalisée diminue l’incertitude sur a de la
quantité appelée information mutuelle :
I(a; b) = I(a) − I(a | b) = log2
[email protected]
Théorie de l’Information
p(a | b)
p(a)
11/33
Introduction
Mesure de l’information
Codage de source
Information mutuelle
I(a; b) = I(b; a) = log2
p(a, b)
p(a)p(b)
q I(a; b) > 0 signifie que si l’un des deux événements se réalise, alors la
probabilité de l’autre augmente ;
q I(a; b) < 0 signifie que si l’un des deux événements se réalise, alors la
probabilité de l’autre diminue ;
q I(a; b) = 0 signifie que les deux événements sont statistiquement
indépendants.
Exemple : Considérons le canal binaire symétrique de probabilité de transition p avec des entrées notées a1 , a2
équiprobables et des sorites b1 , b2 .
1−p
a1
b1
p
p
a2
b2
1−p
Pour quelles valeurs de p l’observation de b1 (b2 ) à la sortie du canal augmente (diminue) la probabilité d’émission
du symbole a1 ?
[email protected]
Théorie de l’Information
12/33
Introduction
Mesure de l’information
Codage de source
Gain d’information
L’information mutuelle moyenne, ou le gain d’information entre deux
alphabets A et B est l’information mutuelle moyenne définie par
I(A; B) =
X
a∈A,b∈B
p(a, b)I(a; b) =
X
p(a, b) log2
a∈A,b∈B
p(a, b)
p(a)p(b)
P ROPOSITION . Soit AB un espace probabilisé joint. Le gain d’information
I(A; B) de A et B est toujours positive ou nulle. Elle est nulle ssi A et B sont
statistiquement indépendants.
Ce résultat signifie essentiellement que, en moyenne, le fait de connaı̂tre la
valeur de b dans B diminue toujours l’incertitude sur A, sauf si A et B sont
indépendants auquel cas aucune information n’est apportée.
[email protected]
Théorie de l’Information
13/33
Introduction
Mesure de l’information
Codage de source
Code et codage
q Lorsque l’on code une source discrète sans mémoire en une séquence
binaire, le décodage devra permettre de retrouver la séquence des
lettres émises par la source, à partir de la séquence codée binaire.
On peut démontrer que le nombre minimal moyen de symboles binaires par
lettre est égal à l’entropie de la source.
q Exemple : Code Morse. En Morse, la lettre e, très fréquente, est représentée par
le mot ”.”, tandis que la lettre q, moins fréquente est représentée par un mot plus
long ”− − .−”. De tels codes sont dits codes à longueur variable, ou tout
simplement code.
q Si A est un alphabet fini, on note A∗ est l’ensemble des mots sur l’alphabet A.
On appellera codage d’une source discrète une application injective qui associe
à chaque séquence finie de lettres de la source une séquence binaire finie :
c : A∗ → {0, 1}∗
Le codage d’un mot u = u1 . . . un est alors le mot c(u1 ) . . . c(un )
[email protected]
Théorie de l’Information
14/33
Introduction
Mesure de l’information
Codage de source
Code
q On note l’ensemble des codes possibles des lettres
C = {c(a) | a ∈ A}
L’efficacité du code est définie par
E=
Où m̄ =
P
a∈A
H(A)
m̄
p(a)|c(a)|
q Un ensemble de mots finis de C sur un alphabet A est appelé code.
q Un code est à déchiffrage unique ssi que pour tous mots
u1 , . . . , un , v1 , . . . , vm de C,
u1 . . . un = v1 . . . vm
implique n = m et ∀i ∈ {1, . . . , n}; ui = vi .
[email protected]
Théorie de l’Information
15/33
Introduction
Mesure de l’information
Codage de source
Codage avec un code de longueur fixe
q Si une source a pour cardinal n, il est alors possible de la coder avec un
code de longueur fixe m tel que
log2 n ≤ m < log2 n + 1
q L’efficacité E d’un code de longueur m est égale à
H(A) ≤ log2 n on a E ≤ 1 et E = 1 ssi
H(A)
,
m
comme
q H(A) = log2 n, c’est-à-dire les lettres de la source sont
équiprobables
q m = log2 n, c’est-à-dire le cardinal de la source est une
puissance de 2
q Exemple : Soit une source dont l’alphabet est A = {0, 1, . . . , 9} munie
de la loi de probabilité uniforme. On code cette source par une code de
longueur fixe de longueur 4
0
1
2
3
4
5
6
0000
0001
0010
0011
0100
0101
0110
Quelle est l’efficacité de ce code? Peut-on l’améliorer?
[email protected]
Théorie de l’Information
7
0111
8
1000
9
1001
16/33
Introduction
Mesure de l’information
Codage de source
Codes non-ambigus
On dit que le code d’une source discrète est non-ambigu si et seulement si
chaque séquence (de longueur finie) de mots de code ne correspond qu’à un
seul message de la source.
Exemple de code ambigu
Considérons la source avec l’alphabet suivant A = {a, b, c}. Les messages
de cette source peuvent être n’importe quelle séquence de ces symboles ;
par exemple aabca est un message de cette source.
Le codage suivant de cette source: a 7→ 1, b 7→ 00, c 7→ 11 est ambigu.
(il n’y a par exemple pas de moyen de distinguer le message aaaa de cc).
Le codage suivant de cette source : a 7→ 1, b 7→ 00, c 7→ 10 est non-ambigu.
(Par exemple, la séquence 10000 se décode abb et la séquence 1000 se
décode cb.)
[email protected]
Théorie de l’Information
17/33
Introduction
Mesure de l’information
Codage de source
Codes sans préfixe
q Parmi les codes non-ambigus, certains présentent un intérêt particulier.
Ce sont les codes sans préfixe.
q On dit qu’une séquence z de longueur n (n ≥ 1) est un préfixe d’une
autre séquence z 0 si et seulement si les n premiers symboles de z 0
forment exactement la séquence z. Par exemple, abba est un préfixe
de abbabc.
q On dit que le code d’une source discrète est sans préfixe lorsqu’aucun
mot de code n’est le préfixe d’un autre mot de code. Plus formellement,
on dit qu’un code Z dont l’alphabet est Z et dont l’ensemble de mots de
ce code est VZ est sans préfixe si et seulement si
∀z ∈ VZ , ∀y ∈ Z ∗ (zy ∈ VZ ⇒ y = )
représentant la chaı̂ne vide, c’est à dire la chaı̂ne de longueur 0.
[email protected]
Théorie de l’Information
18/33
Introduction
Mesure de l’information
Codage de source
Codes sans préfixe
Exemple de code sans préfixe
Considérons la source avec l’alphabet suivant A = {a, b, c}.
Le codage suivant de cette source: a 7→ 0, b 7→ 10, c 7→ 11 est sans préfixe.
Le codage suivant de cette source : a 7→ 1, b 7→ 00, c 7→ 10 n’est pas sans
préfixe puisque 1 est un préfixe de 10 (alors qu’il est non ambigu).
q Tout code sans préfixe est non-ambigu (alors que l’inverse n’est pas
vraie).
q On dit qu’un code est instantané si et seulement si chaque mot de code
dans tout chaı̂ne de mots de code peut être décodé dès que l’on a
atteint sa fin.
q Un code est instantané si et seulement si il est sans préfixe
Cette définition garantit qu’il n’est ni nécessaire de mémoriser les mots
de code reçus ni d’attendre les suivants pour effectuer le décodage. Un
tel code permet d’économiser du temps et de l’espace dans le
processus de décodage d’un message codé.
[email protected]
Théorie de l’Information
19/33
Introduction
Mesure de l’information
Codage de source
Codes sans préfixe
Exemple
Considérons la source avec l’alphabet suivant A = {1, 2, 3, 4}, avec la
distribution de probabilité suivante :
ei
P(X = ei )
1
0.5
2
0.25
3
0.125
4
0.125
Considérons donc le codage suivant de cette source, (ou zi est le mot de
code pour ei ) :
z1
0
z2
10
z3
110
z4
111
1. Calcule l’entropie de la source.
2. Le code proposé est-il non-ambigu?
3. Codez le message 1234412.
4. Décodez la séquence 1001101010.
5. Quelle est l’efficacité de ce code?
[email protected]
Théorie de l’Information
20/33
Introduction
Mesure de l’information
Codage de source
Codes sans préfixe
Exemple
Considérons la source avec l’alphabet suivant A = {1, 2, 3, 4}, avec la
distribution de probabilité suivante :
ei
P(X = ei )
1
0.5
2
0.25
3
0.125
4
0.125
Considérons donc le codage suivant de cette source, (ou zi est le mot de
code pour ei ) :
z1
0
z2
10
z3
110
z4
111
1. Calcule l’entropie de la source.
2. Le code proposé est-il non-ambigu?
3. Codez le message 1234412.
4. Décodez la séquence 1001101010.
5. Quelle est l’efficacité de ce code?
[email protected]
Théorie de l’Information
21/33
Introduction
Mesure de l’information
Codage de source
Arbres k -aires pour le codage
L’outil le plus utile à l’étude des codes instantanés est sans doute les arbres
k -aires.
nœuds intérieurs
racine
•
◦
◦
•
◦
◦
◦
◦
◦
profondeur, d = 3
◦
feuilles
Un arbre est un graphe (nœuds et arcs) qui commence par un nœud racine
(ou racine). Chaque nœud du graphe est soit une feuille, soit un nœud
intérieur. Un nœud intérieur a un ou plusieurs fils et est appelé le parent de
ses fils. L’arité est le nombre de fils d’un nœud. Un nœud feuille est un
nœud sans fils.
[email protected]
Théorie de l’Information
22/33
Introduction
Mesure de l’information
Codage de source
Arbres k -aires pour le codage
q Un arbre k -aire (k ≥ 1) est un arbre dans lequel chaque nœud
intérieur a comme arité k , c’est à dire qu’il a exactement k fils. Un arbre
k -aire complet est un arbre k -aire dans lequel toutes les feuilles ont la
même profondeur.
•
◦
◦
•
◦
◦
◦
◦
◦
Arbre ternaire (k = 3)
•
◦
◦
•
◦
◦
◦
•
◦
◦
◦
Arbre ternaire complet
Propriété K . Dans l’arbre k -aire complet de profondeur d ≥ 0, chaque nœud
à la profondeur δ(δ ≤ 0 ≤ d) couvre exactement k d−δ feuilles
[email protected]
Théorie de l’Information
◦
23/33
Introduction
Mesure de l’information
Codage de source
Arbres de codage
q Un arbre de codage est un arbre k − aire, dont les arcs sont étiquetés
par des lettres d’un alphabet donné de taille k , de façon à chaque lettre
apparaisse tout au plus une fois à partir d’un nœud donné. Les mots de
code définis par un tel arbre correspondent à des séquences
d’étiquettes le long des chemins menant de la racine à une feuille.
q Exemple : Arbre binaire correspondant au Code Morse
.
E
.
.
I
S
. - .
H V F
[email protected]
.
A
.
U
R
×
-
.
L
×
W
.
N
D
K
. - . - . P J B X C Y
Théorie de l’Information
T
.
M
G
. Z Q
O
×
×
24/33
Introduction
Mesure de l’information
Codage de source
Arbres de codage
q Un code avec un alphabet de taille k est appelé un code k -aire.
q Propriété. Pour tout code instantané k -aire, il existe au moins un arbre
de codage k -aire tel que chaque mot de code corresponde à la
séquence d’étiquettes d’un chemin (unique) de la racine à une feuille.
Inversement, chaque arbre de codage définit un code instantané. Les
mots de code instantané sont définis comme les séquences d’étiquettes
de chaque chemin de la racine à chaque feuille de l’arbre de codage.
q Exemple : L’arbre de codage correspondant au code instantané
{00, 01, 10, 111} est
•
00
•
01
•
10
◦
[email protected]
Théorie de l’Information
111
25/33
Introduction
Mesure de l’information
Codage de source
Inégalité de Kraft
T H ÉOR ÈME : Inégalité de Kraft
Il existe un code instantané k-aire de N mots de code et dont les longueurs
des mots de code sont les entiers positifs l1 , l2 , . . . , lN si et seulement si
N
X
k −li ≤ 1
(1)
i=1
Lorsque l’égalité se réalise, le code instantané correspondant est complet.
Exemple
1. Calculer la somme intervenant dans la partie gauche de l’inégalité de
(Eq. 1); pour le code instantané binaire {00, 01, 10, 111}.
2. D’après l’inégalité de Kraft, existe-il un code instantané ternaire dont les
longueurs de mots de code sont 1, 2, 2 et 4?
3. Un tel code est-il complet?
[email protected]
Théorie de l’Information
26/33
Introduction
Mesure de l’information
Codage de source
Inégalité de Kraft
Piège à éviter
Le piège à éviter avec le théorème précédent est que le théorème nous
apprend uniquement quand un code instantané peut exister, mais il ne
répond absolument pas à la question est-ce qu’un code donné est
instantané?
Par exemple, le code {0, 00, 10} n’est pas instantané mais on a bien
2−1 + 2−2 + 2−2 = 1
Mais le théorème dit bien qu’il existe un code instantané de longueur de
codes respectifs 1,2 et 2 (par exemple {0, 10, 11}).
[email protected]
Théorie de l’Information
27/33
Introduction
Mesure de l’information
Codage de source
Inégalité de Kraft, démonstration
’⇒’ : Supposons tout d’abord qu’il existe un code instantané k -aire dont les
longueurs de mots de code sont l1 , l2 , . . . , lN . Soit L = maxi li + 1,
considérons la construction de l’arbre de codage correspondant de
profondeur d qui consistePà élaguer l’arbre k−aire de profondeur L. On peut
alors montrer facilement Ni=1 k −li ≤ 1 en utilisant la propriété K (p. 22).
L=4
•
•
00
×
01
×
×
•
10
×
×
×
×
111
× × × ×× × × × × × × ×× × × ×
[email protected]
Théorie de l’Information
28/33
Introduction
Mesure de l’information
Codage de source
Inégalité de Kraft, démonstration
’⇐’ : Supposons que l1 , l2 , . . . , lN soient des entiers positifs tel que
l’inéquation (Eq. 1) est vérifiée. Soit L = maxi li , et nj le nombre de ces li qui
sont égaux à j (1 ≤ j ≤ L). On peut alors montrer que pour 0 ≤ i ≤ L − 1
nL−i ≤ k L−i −
L−i−1
X
nj k L−j−i
j=1
Ces inégalités constituent le point-clé de la construction d’un code avec des
longueurs de mots de code l1 , . . . , lN , l’algorithme associé est simple :
Pour i de 1 à L
On assigne chaque mot de code à un nœud de profondeur courante i;
On étend tous les nœuds restants de profondeur courante avec k fils;
Fin Pour
P
Ce faisant, le nombre de nœdus qui sont étendus est k i − j≤i nj k i−j ,
P
menant à k i+1 − j≤i nj k i+1−j nouveaux nœdus pour l’étape suivante.
D’après l’inégalité précédente ce nombre est plus grand que ni+1 laissant
ainsi suffisamment de nœds pour l’étape suivante.
[email protected]
Théorie de l’Information
29/33
Introduction
Mesure de l’information
Codage de source
Inégalité de Kraft
Exemple
1. Existe-t-il un code binaire instantané avec des longueurs de mots de
code l1 = 2, l2 = 2, l3 , l4 = 3, et l5 = 4?
2. Proposer un tel code.
3. Existe-t-il un code binaire instantané avec des longueurs de mots de
code 1, deux fois 2, 3, et 4?
4. Existe-t-il un code ternaire instantané avec des longueurs de mots de
code 1, deux fois 2, 3, et 4?
[email protected]
Théorie de l’Information
30/33
Introduction
Mesure de l’information
Codage de source
Code efficace
q Quand on code une source d’information le but est de minimiser la
longueur moyenne de codage;
q Généralement minimiser la longueur moyenne de code équivaut à
minimiser l’espérance de la longueur de code.
q Rappel : Si on suppose que le symbole-source ai (1 ≤ i ≤ n) a un
probabilité pi d’être émis, et si on dénote li la longueur du mot de code
correspondant, l’espérance de la longueur de code E(L) est :
E(L) = m̄ =
n
X
pi li
i=1
Parmi tous les codes possibles, nous recherchons des codes
instantanés tels que E(L) soit aussi petit que possible.
q Il est ainsi évident que nous devrions assigner les mots de code les
plus courts aux symboles-source les plus probables... mais comment
savoir quelles longueurs de mots de codes utiliser? Quel est le plus
petit E(L) à pouvoir être atteint?
[email protected]
Théorie de l’Information
31/33
Introduction
Mesure de l’information
Codage de source
Théorème de Shannon sur le codage
T H ÉOR ÈME : Théorème de Shannon sur le codage
Pour toute source d’information discrète sans mémoire d’entropie H(A),
l’espérance de la longueur de code E(L) de tout code k-aire instantané pour
cette source satisfait :
H(A)
(2)
E(L) ≥
log2 k
Exemple
Considérons une source d’information d’alphabet A = {1, 2, 3, 4}, avec la
distribution de probabilité suivante :
ei
P(X = ei )
1
0.5
2
0.25
3
0.125
4
0.125
Considérons le codage suivant de cette source
z1
z2
z3
z4
0
10 110 111
1. Quelle est l’espérance de la longueur de ce code?
2. Ce code est-il efficace (optimal du point de vue de l’espérance de la
longueur de code)?
[email protected]
Théorie de l’Information
32/33
Introduction
Mesure de l’information
Codage de source
Codes instantanés de Shannon-Fano
Le code de Shannon-Fano prend pour chaque symbole ei ∈ A, un code de
longueur
log pi
li = b− 2 c
log2 k
Exemple
1. Montre qu’un tel code instantané existe toujours.
2. Montrer E(L) <
H(A)
log2 k
+ 1 (À quel point un tel code est-il bon)?
T H ÉOR ÈME : Théorème de Shannon sur le codage (2ème partie)
Pour toute source d’information discrète sans mémoire d’entropie , il existe
au moins un code instantané k-aire dont l’espérance de la longueur de code
satisfait :
H(A)
E(L) <
+1
log2 k
[email protected]
Théorie de l’Information
33/33
Introduction
Mesure de l’information
Codage de source
Théorème du codage sans bruit de Shannon
Partie 1:
Pour toute source
d’information
sans
mémoire
discrète d’entropie H(A), et pour
tout code k -aire instantané de cette
source, la longueur moyenne du
code E(L) vérifie :
E(L) ≥
H(A)
log2 k
Partie 2:
Pour toute source
d’information
sans
mémoire
discrète d’entropie H(A), il existe
au moins un code k -aire instantané
dont la longueur moyenne E(L)
vérifie :
E(L) <
H(A)
+1
log2 k
q Piège 1: La première partie du théorème vaut pour les codes sans préfixes, des
codes ambigus peuvent descendre en-dessous de la limite. Par exemple
ei
1
2
3
4
P(X = ei )
0.25
0.25
0.25
0.25
zi
0
1
01
001
q Piège 2 : La seconde patrie donne une borne supérieure pour les codes
optimaux, d’autres codes sous optimaux peuvent être plus longs.
ei
1
2
3
4
P(X = ei )
0.25
0.25
0.25
0.25
zi
0011
1010
0111
1111
[email protected]
Théorie de l’Information