Vidéo numérique

Vidéo numérique
Dominique PRESENT
Dépt S.R.C. - I.U.T. de Marne la Vallée
Les applications
• Télévision numérique :
• actuellement diffusée sur le câble et les canaux hertziens
• destinée au grand public
• Vidéo à la demande :
• accès à une banque de données vidéo
• diffusion au moment choisi par le spectateur
• destinée au grand public
• Visioconférence, visiophonie :
• communication temps réel entre personnes ou entre groupes
• destinée au public professionnel, sera étendue au grand public
• DVD :
• stockage sur support individuel
• visualisation en local
• destinée au grand public
IUT Marne la Vallée
vidéo numérique
© D. Présent
1
Numérisation d ’un signal vidéo
Pourquoi numériser ?
• Enregistrement ;
• Manipulation (indexation, stockage) ;
• Montage, modification ;
• Copies, diffusion.
Critères de numérisation.
• Echantillonnage à 13,5MHz ;
• Echantillons par ligne 720 ;
• Dimension d’un échantillon de 8bits à 10bits ;
• Nombre de lignes 525
ou
625.
Remarque :
format de l’image d’un moniteur L/l = 4/3 (ex. : 800x600 en VGA)
Débit brut :
IUT Marne la Vallée
8x3x13,5e6 = 324Mb/s
vidéo numérique
© D. Présent
Image au format 4:2:2 : codage
Recommandation CCIR 601 :
• Echantillonnage luminance à 13,5MHz ;
• Echantillonnage chrominance à 6,75MHz.
Soit par ligne :
• 720 échantillons en luminance ;
• 360 échantillons en chrominance.
Bloc de 6 pixels
sur 6 lignes
luminance
chrominance
• 1 pixel chrominance sur 2
pixels luminance lignes paires
• 1 pixel chrominance sur 2
pixels luminance lignes impaires
IUT Marne la Vallée
vidéo numérique
© D. Présent
2
Image au format 4:2:2 : décodage
Reproduction de l’image 4:2:2 :
• chaque échantillon de chrominance reçu est recopié
pour reproduire le pixel suivant ;
Bloc de 6 pixels
sur 6 lignes
Pixels luminance
Pixels chrominance
reçus
Pixels chrominance
recopiés
IUT Marne la Vallée
vidéo numérique
© D. Présent
Sérialisation de l’image 4:2:2
Suppresion ligne
H-ANC
SAV
1440 éch (Y – Cb – Cr)
EAV
SAV
EAV
H-ANC
EAV : End of Active Video
SAV : Start of Active Video
Données audio
Préamb DID DN DC
DID : identificateur de voie
4canaux de 4 voies
IUT Marne la Vallée
Data
CS
DN : n° du bloc de données
DC : Lg du bloc de données
vidéo numérique
CS : contrôle
© D. Présent
3
Image au format 4:2:0 : codage
ISO 13818 :
• Echantillonnage luminance à 13,5MHz ;
• Echantillonnage chrominance à 6,75MHz ;
• Transmission d’une trame sur 2 en chrominance.
Bloc de 6 pixels
sur 6 lignes
luminance
chrominance
• 1 pixel chrominance sur 2
pixels luminance lignes paires
• 0 pixel chrominance sur les
lignes impaires
Remarques :
• En SECAM, les échantillons Cb et Cr transmis sont une moyenne des échantillons
de 2 lignes successives ;
• Format de base des codages D2MAC et MPEG-2 (MPEG-Main Level MP@ML).
IUT Marne la Vallée
vidéo numérique
© D. Présent
Image au format 4:2:0 : décodage
Reproduction de l’image 4:2:0 :
• chaque échantillon de chrominance reçu est recopié pour
reproduire le pixel suivant ;
• chaque échantillon de chrominance reçu est recopié pour
reproduire les pixels correspondant de la ligne suivante.
Bloc de 6 pixels
sur 6 lignes
Pixels luminance
Pixels chrominance
reçus
Pixels chrominance
recopiés
IUT Marne la Vallée
vidéo numérique
© D. Présent
4
Structure d’une image 4:2:0
Trame 4:2:0
Trame 1- 2:1:0
Trame 2- 2:1:0
Trame
Trame22
(lignes
(lignesimpaires)
impaires)
Trame
Trame11
(lignes
(lignespaires)
paires)
Trame 1 : 288 lignes
de 720 pixels
IUT Marne la Vallée
B-Y
B-Y 144lignes
144lignes
360pixels
360pixels
R-Y
144lignes
R-Y 144lignes
360pixels
360pixels
Luminance
Luminance
288
288lignes
lignes
720
720pixels
pixels
Codage MPEG 1
vidéo numérique
© D. Présent
SIF (Source Intermediate Format)
ISO 11172 (codage des signaux vidéo et audio pour des stockages à 1,5Mb/s) :
• Résolution luminance de 360x240 à une Fimage de 29,97Hz en 525 lignes ;
• Résolution luminance de 360x288 à une Fimage de 25Hz en 625 lignes ;
• Format 4 :2 :0.
Bloc de 6 pixels
sur 6 lignes
luminance
chrominance
• 1 pixel chrominance sur 2
pixels luminance lignes paires
• 0 pixel chrominance sur les
lignes impaires
Remarques :
• Résolution proche de celle d’un magnétoscope VHS ;
•Format de base du codage MPEG-1.
IUT Marne la Vallée
vidéo numérique
© D. Présent
5
Structure d’une image SIF
Trame 4:2:0
Trame 1- 2:1:0
Trame 2- 2:1:0
Trame
Trame22
(lignes
(lignesimpaires)
impaires)
Trame
Trame11
(lignes
(lignespaires)
paires)
Trame 1 : 288 lignes
de 720 pixels
IUT Marne la Vallée
Format SIF :
625 lignes de 360 pixels
B-Y
B-Y 144lignes
144lignes
180pixels
180pixels
R-Y
144lignes
R-Y 144lignes
180pixels
180pixels
Réduction
Réduction
àà352
352pixels
pixels
Codage MPEG 1
vidéo numérique
© D. Présent
CIF (Common Intermediate Format)
Normes H261 et H263 (International Union for Telecommunication).
• Standard de codage des signaux vidéo pour des services audiovisuels
à Px64Kb/s
Format CIF :
• Résolution luminance de 360x288 à Fimage de 29,97Hz ;
• Format 4 :2 :0.
Format QCIF :
• Résolution luminance 180x144 à Fimage sous-multiple de 29,94Hz ;
IUT Marne la Vallée
vidéo numérique
© D. Présent
6
Formats MPEG
Le groupe de l’ISO dénommé MPEG (Moving Pictures Experts Group) à
conduit à 2 normes :
• ISO 11172 (1993)pour le codage et la transmission des signaux audiovidéo pour un stockage sur des supports à environ 1,5Mb/s :
! ISO 11172-1 définit la structure du multiplexage des signaux ;
! ISO 11172-2 définit le codage vidéo MPEG-1 ;
! ISO 11172-3 définit le codage audio MPEG-1.
• ISO 13818 (1995) pour le codage et la transmission des signaux audiovidéo pour la diffusion par satellite, câble ou réseau terrestre :
! ISO 13818-1 définit la structure du multiplexage ;
! ISO 13818-2 définit les résolutions et le codage vidéo MPEG-2 ;
! ISO 13818-3 définit le codage audio MPEG-2.
IUT Marne la Vallée
vidéo numérique
© D. Présent
Traitement d’une image vidéo MPEG
IUT Marne la Vallée
vidéo numérique
© D. Présent
7
Compression MPEG
séquence
groupe d ’images
image
Macrobloc
(4 blocs)
tranche
bloc
(8x8 pixels)
1 image est composée de « n tranches »
1 tranche contient « p macroblocs »
IUT Marne la Vallée
vidéo numérique
© D. Présent
Compression MPEG-1
Construction d ’une image :
• Bloc constitué de 8 x 8 pixels ;
• Macrobloc regroupe 2 x 2 blocs (soit 16 x 16 pixels) ;
• Tranche ensemble de macroblocs (le plus souvent une ligne de
l’image) ;
• Image composée de l’ensemble des lignes de l’écran, est de l’un des 3
types :
! I (Intraframe) codée sans référence à aucune autre image ;
! P (Predicted) codée par rapport à l’image « I » ou « P »
précédente ;
! B (Bidirectionnal interpolation) codée à partir des images « I » ou
« P » et « P » qui l’encadrent ;
• Groupe d’images (Group Of Pictures) regroupe les images codées à
partir d’une même image « I ».
Groupe d’images : défini par 2 paramètres :
• M distance (en nombre d’images) entre 2 images « P » successives ;
• G distance entre 2 images « I » successives.
Le format MPEG-1 utilise un groupe d’images en (3 ;12).
IUT Marne la Vallée
vidéo numérique
© D. Présent
8
Image - Macroblocs - Blocs
Le macrobloc constitue l’unité de surface d’une image,
quelque soit le format utilisé.
Format 4:2:2
Format 4:2:0
luminance
Chrominance Cr
Chrominance Cb
2x2 blocs
« chrominance » par
macrobloc « luminance »
IUT Marne la Vallée
2x2 blocs
« chrominance » par
macrobloc « luminance »
vidéo numérique
© D. Présent
MPEG-2 : le vecteur mouvement
P
P
I
Vecteur mouvement
macrobloc
zone
d ’analyse
Recherche du macrobloc le
plus proche
• une image P est caractérisée par un vecteur mouvement et les différences
des macroblocs des images I et P
IUT Marne la Vallée
vidéo numérique
© D. Présent
9
Estimation de mouvement en MPEG-2
• calcul sur 1 bloc du signal luminance ;
• appliqué aux 4 blocs du macrobloc ;
• appliqué au signaux R-Y et B-Y ;
• si incalculable, bloc codé en image I ;
• vecteur mouvement codé sur 12 bits ;
• un décodeur dispose en permanence de 4 images en mémoire ;
• un codeur dispose en permanence de 8 images en mémoire ;
• un décodeur est paramétré pour un profil donné ;
IUT Marne la Vallée
vidéo numérique
© D. Présent
Compression MPEG : le GOP
groupe d ’images
I
B
B
P
B
B
I
Un groupe d’images (GOP) est défini par 2 valeurs :
• le nb d’images séparant 2 images I ;
• le nb d’images séparant 2 images P ou une image P et une image I ;
Exemple ci-dessus (6 ; 3)
Groupe d’images (8 ; 2)
groupe d ’images
I
IUT Marne la Vallée
B
P
B
P
vidéo numérique
B
P
B
I
© D. Présent
10
Compression MPEG : le GOP
groupe d ’images
I
B
B
P
B
B
I
• l’image P est codée par différence avec l’image I (ou P) qui la précède ;
• l’image B est codée par rapport à l’image I (ou P) qui la précède et
l’image P (ou I) qui la suit
Stockage : dans l’ordre d’arrivée
Codage :
I B B P B B I
Transmission :
I P B B I B B
Stockage/Décodage :
I P B B I B B
Ré-ordonnancement :
IUT Marne la Vallée
vidéo numérique
I B B P B B I
© D. Présent
Codec MPEG-2
IUT Marne la Vallée
vidéo numérique
© D. Présent
11
Profils MPEG-2
La norme permet la définition de la résolution de l’image à
partir de 5 profils et 4 niveaux
100
90
80
70
60
50
40
30
20
10
0
low 352x240x30
TV
high-1440 1440x1080x30
high 1920x1080x30
TVHD
high-1440 1440x1080x30
IUT Marne la Vallée
low 352x240x30
hi
gh
m
pl
e
SN
m
R
ai
n
sc
sp
a
at
la
bl
ia
e
ly
sc
a.
..
profils
1/4 TV
main 720x480x30
si
débits 'Mb/s)
niveaux
Simple : sans image B
Main : codage 4:2:0
SNR scalable : main + train d’info
Spatial scalable : codage TVHD
High : codage 4:2:2
vidéo numérique
© D. Présent
Profils MPEG-2 : options
profils
simple
main
snr
spatial
high
Images
I, P
I, P, B
I, P, B
I, P, B
I, P, B
Formats
4:2:0
4:2:0
4:2:0
4:2:0
4:2:2
High
High
1440
Main
720
576
30
15
Low
IUT Marne la Vallée
1920
1152
60
80
1440
1152
60
60
720
576
30
15
352
288
30
4
1440
1152
60
60
720
576
30
15
352
288
30
4
vidéo numérique
1440
1152
60
100
1440
1152
60
80
720
576
30
15
Éch/ligne
Lignes
Images/s
Mb/s
Éch/ligne
Lignes
Images/s
Mb/s
Éch/ligne
Lignes
Images/s
Mb/s
Éch/ligne
Lignes
Images/s
Mb/s
© D. Présent
12
Standards audio numériques
• Production :
Fe = 48KHz - 16 bits à 24 bits en mono, stéréo ou multicanal
D = 768Kb/s à 3,84Mb/s
• Diffusion :
Fe = 32KHz - 14 bits à 16 bits en mono ou stéréo
D = 896Kb/s
• Téléphone :
Fe = 8KHz - 12 bits en mono
D = 96Kb/
• Compact Disc :
Fe = 44,1KHz - 16 bits en stéréo
D = 1,4Mb/s
• AES :
Débit : Fe x N x nb canaux
Fe = 48KHz – 20 bits
D = 3,1Mb/s
IUT Marne la Vallée
vidéo numérique
© D. Présent
Techniques de compression audio
• Parole G711 (1972) : compression 1:1,5
• diffusion NICAM (1980) : compression 1:1,2
• transmission G722 (1986) MICDA : compression 1:3
• grand public Mini Disc Sony codage ATRAC : compression 1:5
• générique MPEG-1 (1992) : compression 1:6 à 1:12
• multicanaux Dolby AC3 (1994) : compression 1:6 à 1:12
IUT Marne la Vallée
vidéo numérique
© D. Présent
13
Compression audio MPEG-1 : 3 couches
Couche 1 : Compression 1:4
Débit en mono de 192Kb/s
Débit en stéréo de 384Kb/s
Application : Multimédia
Couche 2 : Compression 1:6
Débit en mono de 128Kb/s
Débit en stéréo de 256Kb/s
Application : diffusion
Couche 3 : Compression 1:12
Débit en mono de 64Kb/s
Débit en stéréo de 128Kb/s
Application : multimédia Internet
IUT Marne la Vallée
vidéo numérique
© D. Présent
Compression audio MPEG
Le codage/compression du signal audio utilise :
• Un modèle psycho-acoustique à masque variable ;
• Un banc de 32 filtres dits polyphase ;
• Echantillonnage à 32KHz, 44,1KHz, 48KHz ;
• Quantification du masquage sur une trame de 12x32 échantillons ;
• Quantification sur 16 bits avec facteur d’échelle ;
• Codage multicanal en MPEG-2 (Left, Center, Right, Left Suround,
Right Suround).
32 sous-bandes
IUT Marne la Vallée
vidéo numérique
© D. Présent
14
Codage audio MPEG
128
lo
n
s
96
64
ha
n
til
Facteur d ’échelle : 48
32
Facteur d ’échelle : 16
12
éc
0
IUT Marne la Vallée
vidéo numérique
© D. Présent
Compression audio MPEG : Codec
L0
R0
gauche
centre
droite
matrice T3
Suround G
Suround D
T4
T5
Codeur
MPEG-1
Codeur
MPEG-2
+
• algorithme de codage MUSICAM pour les radio (DAB) et télévision (DVB)
numériques
• débits de 32Kb/s à 192Kb/s par voie (Hi-Fi à partir de 128Kb/s par voie)
• un codage par DCT permet d ’obtenir la qualité Hi-Fi dès 64Kb/s
IUT Marne la Vallée
vidéo numérique
© D. Présent
15
Compression audio MPEG : trames
Trame audio couche 1
en-tête CRC résolution
32
16
Fact Ech
32 * 4
12x32 échantillons
6
Données
auxiliaires
(bits)
• 384 échantillons par trame
• durée (t) du signal audio codé 384/Fe (8ms à 48KHz)
• nombre de bits pour un débit D est D * t (1536 bits pour D=192Kb/s)
Trame audio couche 2
en-tête CRC résolution Info FE FE 3(12x32 échantillons)
32
16
32 * 4
2
6
Données
auxiliaires
(bits)
• 1152 échantillons par trame
• durée (t) du signal audio codé 1152/Fe (24ms à 48KHz)
• nombre de bits pour un débit D est D * t (3072 bits pour D=128Kb/s)
IUT Marne la Vallée
vidéo numérique
© D. Présent
Multiplexage MPEG-1
Le multiplexage permet d’assurer la transmission des signaux audio/vidéo
vers les unités de stockage.
Le multiplexeur :
• Reçoit du CODEC les trains élémentaires de données (Elementary
Streams) ;
• Découpe les trains élémentaires (ES) en paquets (Packetized
Elementary Stream) ;
• Regroupe les paquets en packs dont l’en-tête contient les
informations de temps et de débits.
Chaque pack contient :
• 0 à 16 paquets vidéo ;
• 0 à 32 paquets audio ;
• 0 à 2 paquets de données privées.
Pack 2
Pack 1
En-tête En-tête
Dernier Code En-tête
de pack système 1er paquet paquets suivants paquet de fin de pack
IUT Marne la Vallée
vidéo numérique
© D. Présent
16
Multiplexage MPEG-2
•
•
•
Pour le stockage des données audio/vidéo, la norme MPEG-2 reprend
le multiplexage de la norme MPEG-1.
La norme prévoit un flux de transport (Transport Stream) pour la
transmission sur les média des programmes destinés à la diffusion.
Le multiplexeur :
• Découpe les flux élémentaires (ES) en paquets de 188 octets ;
• constitue des trains de données pouvant combiner plusieurs
programmes.
Paquet de flux élémentaires
E-T
ES
E-T
ES
184 octets
E-T
E-T
E-T
Autre flux E-T
188 octets
E-T En-tête de paquet transport
IUT Marne la Vallée
vidéo numérique
© D. Présent
Image MPEG-4
Objet 1
codec
codage
descriptif
Analyse
de
l ’image fond
codage
descriptif
codage
m
u
l
t
i
p
l
e
x
a
g
e
ES
descriptif
Objet 2
Elementary Streams : flux élémentaires
IUT Marne la Vallée
vidéo numérique
© D. Présent
17
MPEG-4 : maillage des objets
Plus le maillage est fin, plus la forme est précise, plus les calculs sont nombreux
IUT Marne la Vallée
vidéo numérique
© D. Présent
Les standards informatiques
•
Quick Time :
– comprend essentiellement des formats de données standardisés, des
procédés de compression et de décompression, et une interface utilisateur
spécifique.
– L'extension système utilisée est fondée sur le principe du maintien de
l'isochronie des données, et introduit donc le temps comme élément
principal du système d'exploitation.
•
Vidéo pour Windows :
– ensemble logiciel permettant la capture et la restitution de vidéo animée
sur PC. L'exécution de séquences vidéo est possible sans matériel
spécifique, alors que la capture doit être faite au moyen d'une carte de
numérisation.
– offre des API (interfaces de programmation) relativement indépendantes
du matériel.
– utilise des algorithmes de compression propriétaires (Microsoft Vidéo 1,
Microsoft RLE compressor), mais intègre ceux proposés par des sociétés
tierces, comme Indeo d'Intel
IUT Marne la Vallée
vidéo numérique
© D. Présent
18
La vidéo sur Internet
le réseau Internet n'est pas approprié au transport de vidéo temps réel :
• Le réseau doit fournir suffisamment de bande passante.
• La bande passante n ’est pas garantie durant toute la
communication. Il faut prévoir des mécanismes qui assureront la
réservation de bande passante pour les applications temps réel.
• Les paquets sont routés indépendamments les uns des autres. Leur
séquencement n ’est pas assuré (ordre, espacement). Les protocoles
de transport utilisés doivent assurer les exigences temporelles que
demande la vidéo temps réel comme la synchronisation.
IUT Marne la Vallée
vidéo numérique
© D. Présent
Les protocoles temps réel
•
RSVP (Ressource ReSerVation Protocol) :
• utilisé par les applications temps réel pour réserver les ressources
nécessaires au niveau des routeurs situés le long du chemin de
transmission
• Un Contrôle de Police (Policy Control) détermine si l'utilisateur à la
permission administrative de faire de la réservation. Le contrôle
d'admission (Admission Control) détermine si le nœud à suffisamment de
ressource pour fournir la QoS demandée.
•
RTP (Real-time Transport Protocol)
– assure la reconstruction temporelle, la détection de perte, la sécurité et
l'identification du contenu.
– travaille avec le protocole RTCP pour obtenir des feed-back concernant la
qualité de la transmission
– fournit un système d'horloge (timestamping), une numérotation des
séquences et d'autres mécanismes pour prendre garde aux problèmes liés
au temps.
– RTP tourne au-dessus de UDP
En-tête IP En-tête UDP En-tête RTP Données vidéo temps-réel
IUT Marne la Vallée
vidéo numérique
© D. Présent
19
Les protocoles temps réel
RTCP (Real-Time Control Protocol)
– périodiquement des paquets RTCP pour donner des informations
sur la qualité du service délivré. travaille avec RTP. Les
participants envoient
– RTCP offre les services suivants : Contrôle de la congestion et
monitoring de la QoS ; Identification de la source ;
Synchronisation inter-média ; Information de contrôle
RTSP (Real-Time Streaming Protocol)
– initie et commande à distance des flux multimédia stockés sur un
serveur de données à travers un réseau IP.
– offre des fonctionnalités comme l'arrêt, l'avance rapide, la
recherche avancée pour des flux vidéo et audio.
– Les données quant à elles sont transmises séparément en utilisant
le plus souvent RTP.
IUT Marne la Vallée
vidéo numérique
© D. Présent
Session multimédia « temps réel »
des
Serveur « temps réel » 1-réservation
ressources dans les
routeurs à l ’établissement
Application
de la session
«temps réel»
2-transmission des données
dans des paquets RTP
RTP
RTCP
3-contrôle de la qualité de
la session (débit, gigue,
UDP
perte) par des paquets
RTCP
Routeur
RSVP
Client
Application
«temps réel»
RTP
RTCP RSVP
UDP
Routeur
RSVP
Routeur
RSVP
IUT Marne la Vallée
vidéo numérique
© D. Présent
20
off-line et streaming
1 - le fichier est chargé sur l ’ordinateur client
2 - le fichier est visionné localement
2 client
Fichiers vidéo
Routeur
serveur vidéo
off-line
Internet
1
Routeur
RTC
Modem 56Kb/s
1 - test de performance de la liaison
2 - création d ’un buffer pouvant stocker
Versions du fichier
28Kb/s 56Kb/s 512Kb/s « n secondes » de vidéo
3 - transmission des paquets
4 - visualisation « n secondes » après
l ’arrivée du premier paquet
3
Routeur
serveur
"streaming"
IUT Marne la Vallée
Internet
Routeur
4
Buffer
7Ko
2
client
RTC
Modem 56Kb/s
vidéo numérique
© D. Présent
21