Archivage et Transcodage Vidéo

Archivage et Transcodage Vidéo
Nicolas Carel
DSI – ENS de Lyon
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
2
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
3
Genèse
•  1997:Appari3ondeRealVidéo
•  2000:Effetdemodedanslesuniversités
•  Lessolu3onsHélix/RealMediaprennentle
dessus
•  Chaînedeproduc3onar3sanale
4
10ansplustard…Lafusion
900
vidéos
1600
vidéos
1900
vidéos
Situa=onen
janvier2011
4400vidéos
2To
5
Diffuservers
• 
• 
• 
• 
Chercheurs
Etudiants
Enseignants
GrandPublic
ViSA
Moodle
FaSMEd
Corpus Colloques
NÉOPASS@CTION
Coursenligne
Actualités
Mooc
Journéesd’étude
Claroline
Forma=ons
m@gistère
Conférences
6
éduSCOL
CULTURESCIENCES
PHYSIQUE
Probléma3ques
Changement
d’échelle
Systèmes
obsolètes
Pertedes
originaux
Entropie
7
Pertede
diffusion
ATendus
•  Conserva3ondesoriginaux
•  Indépendancedeladiffusion
–  technique
–  canaux
•  Médiasenrichis
•  Contenusiden3fiésetmarqués
•  Autonomiedesusagers
8
Chainedeproduc3on
9
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
10
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
11
Unsupercalculateurvirtuel?
•  Alarecherched’unges3onnairedetravaux
•  Uneinfrastructureexistante
12
L’infrastructureexistante
2serveursenrackdédiésàun
usageinterne:qualifica3on
etdéveloppementWeb
Unvolumede8Tosurune
baiededisqueFiberChannel
U=liserletempsdecalculrésiduel
13
SupercalculateurVirtuel
14
Circula3ondesdonnées
Dépôt
Déposer
15
Collec=ons
Archiver
Des=na=ons
Transcoder
Diffuser
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
16
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
17
Missionarchivage
•  Les4valeursd’unearchive
–  Intègre
–  Imputable
–  Intelligible
–  Pérenne
18
Fiched’indexa=on
Etape1
Titre:
Album:
Date:
Producteur:
Fichieroriginal
Résolu3ondelacaméra
Débithautequalité
Monté
19
Auteurs:
Dépot
Genre:
Langue:
Résumé:
Etape2
Collections
Fiched’indexa=on
JRES_ATV.mp4
actualites
Genre:
Conférence
associations
Langue:
Français
biologie
Résumé:
L’ENS de Lyon produit…
colloques
2014
Dépot
Source:
2015
ife-neopass
JRES_ATV.mp4
Collec=on: Colloques
Année:
uoh
2015
Stockage: 2015-12-09_JRES_ATV.mp4
Annuler
20
Valider
…
L’erreursilencieuse
•  SpécifiqueauxBigData?
•  Indétectableparlesmécanismesclassiques
ORDRE
ACQUITEMENT
Systèmed’exploita=on
Stockagephysique
Probabilité:15/1PetaOctet
21
3typesd’erreursilencieuse
•  L’écritured’unbloccorrompuaubon
endroit,avecCRCvalide
•  L’écritured’unblocvalideaumauvais
endroit
•  Lacorrup3ond’unblocexistantavecCRC
valide
L’erreurdelectureestmiseàpart
carnonpermanente.
22
Pourquoi?
•  Lieux
–  Danslescomposants
•  Changementd’étatd’unecelluleSSD
•  Changementd’étatd’unepar3culemagné3que
–  Danslestransmissions
•  Causes
– 
– 
– 
– 
23
Alimenta3onélectrique:tensioninstable
Instabilitédescomposants
Rayonnementsélectromagné3que
Rayonnementsionisants
Empreintenumérique
Datedemodifica=on
Taille
SommeMD5
Durée
24
•  Crééelanuitaprès
l’archivage
•  Vérifiéetouslesmois
•  2hparnuit
Vérifica3ond’intégrité
Datedel’empreinte
Datedevérifica=ondel’original
Journal
Datedevérifica=ondelacopie
Mail
Statutdelavérifica=on
25
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
26
Plan
1.Genèse
2.Unsupercalculateurvirtuel
3.Missionarchivage
4.Objec=fdiffusion
27
Objec3fdiffusion
•  Définirunformatetunedes3na3on
•  Démarrerletranscodage
•  Transférerversunsystèmedediffusion
28
Format?
Fichiersproduitsavecdescaractéris3quesprécises
conteneur codec résolu=on ra=o
• MP4
• WEBM
• AVI
• MOV
• h264
• vorbis
• aac
• theora
• mp3
• 640x480
• 960x540
• 720p
• 640x360
• na=f
sous-=tres
• Incrusté
• PisteSRT
29
• 4:3
• 16:9
• écran
débit
qualité
logo
• 450kbps
• 800kbps
• CBR
• VBR
• 1passe
• 2passes
• Vecteurs
• GOP
• Posi=on
• Taille
diaporama
• SMIL
• HTML5Timing(INRIA)
• FLASH+XML
Transcodageetdes3na3on
YouTube
Moodle
AAC
Canal-U
NéoPass@ction
Transcodage
Collec3ons
30
Vidéo Podcast
Des3na3ons
Lire Ecrire
…
Tabledesdes3na3ons
ID
31
Libellé
Cheminlocal
Serveurcible
1
Canal-U
Destinations/Canal-U
localhost
2
YouTube
Destinations/YouTube
localhost
3
NéoPass@ction
Destinations/Neopass
vm-web-preprod.pun.ens-lyon.fr:/data
4
Moodle
Destinations/Moodle
localhost
5
Vidéo Podcast
Destinations/Podcast
localhost:/video/podcast-preprod
6
Lire Ecrire
Destinations/LireEcrire
localhost:/video/lire-ecrire-preprod
7
TITA
Destinations/TITA
localhost:/video/tita-preprod
8
Fasmed
Destinations/Fasmed
localhost:/video/fasmed-preprod
Tabledesdes3na3ons
ID
32
Libellé
Cheminlocal
Serveurcible
1
Canal-U
Destinations/Canal-U
localhost
2
YouTube
Destinations/YouTube
localhost
3
NéoPass@ction
Destinations/Neopass
vm-web-preprod.pun.ens-lyon.fr:/data
4
Moodle
Destinations/Moodle
localhost
5
Vidéo Podcast
Destinations/Podcast
localhost:/video/podcast-preprod
6
Lire Ecrire
Destinations/LireEcrire
localhost:/video/lire-ecrire-preprod
7
TITA
Destinations/TITA
localhost:/video/tita-preprod
8
Fasmed
Destinations/Fasmed
localhost:/video/fasmed-preprod
Transfertparl’u3lisateur
Destinations
YouTube
Moodle
Canal-U
2015-12-09_JRES_ATV_bd.mp4
2015-12-09_JRES_ATV_md.mp4
2015-12-09_JRES_ATV_hd.mp4
2015-12-09_JRES_ATV.mp3
2015-12-09_JRES_ATV.lom.xml
2015-12-09_JRES_ATV.smil
33
Tabledesdes3na3ons
ID
34
Libellé
Cheminlocal
Serveurcible
1
Canal-U
Destinations/Canal-U
localhost
2
YouTube
Destinations/YouTube
localhost
3
NéoPass@ction
Destinations/Neopass
vm-web-preprod.pun.ens-lyon.fr:/data
4
Moodle
Destinations/Moodle
localhost
5
Vidéo Podcast
Destinations/Podcast
localhost:/video/podcast-preprod
6
Lire Ecrire
Destinations/LireEcrire
localhost:/video/lire-ecrire-preprod
7
TITA
Destinations/TITA
localhost:/video/tita-preprod
8
Fasmed
Destinations/Fasmed
localhost:/video/fasmed-preprod
Transfertautoma3sépodcast
Des3na3ons
Préprod
transcode-job
move
Canal-U
Podcast
.mp4
.webm
AAC
cron
rsync
2014
2014
2015
2015
.mp4
.webm
.mp3
35
colloques
colloques
.aac
.thumb.jpg
.preview.jpg
/var/www/video
AAC
.aac
.mp3
.thumb.jpg
.preview.jpg
Intégra3ondansunsiteWeb
•  Fourniruncontexteàlavidéo
•  Exempled’intégra3onavecunplayerdansPlone
–  L’u3lisateurposeunlienverslavidéo,sansl’extension,
avecunstylepar3culier
–  Lecodedéveloppéfaitlereste:insèreleplayer(flashou
balisehtm5),faitl’appelàl’imageposter/préview,
appelleenfonc3ondunavigateurle.mp4oule.webm
36
Tabledesdes3na3ons
ID
37
Libellé
Cheminlocal
Serveurcible
1
Canal-U
Destinations/Canal-U
localhost
2
YouTube
Destinations/YouTube
localhost
3
NéoPass@ction
Destinations/Neopass
vm-web-preprod.pun.ens-lyon.fr:/data
4
Moodle
Destinations/Moodle
localhost
5
Vidéo Podcast
Destinations/Podcast
localhost:/video/podcast-preprod
6
Lire Ecrire
Destinations/LireEcrire
localhost:/video/lire-ecrire-preprod
7
TITA
Destinations/TITA
localhost:/video/tita-preprod
8
Fasmed
Destinations/Fasmed
localhost:/video/fasmed-preprod
Casd’uneplateforme
•  ProjetANRenéduca3on
•  Différentsniveauxdevisibilitédesvidéos
–  Réservéeauxchercheurs
–  Pourlesenseignantsdusecondaire
–  Grandpublic
•  SPIP
38
Transfertautoma3séversSPIP
Des=na=ons
preprod-spip
transcode-job
move
cron
rsync
Canal-U
ressources
Fasmed
.mp4
.mp4
.webm
.preview.jpg
.thumb.jpg
39
ServeurWeb
/var/ressources/
spip
.webm
/var/www/spip/
IMG
jpg
IMG
Intégra3ondansSPIP
•  PluginpermeTantd’importerlesvidéos
transcodéesdanslatabledocumentsdeSPIP
•  Lesvidéosprivéessontendehorsde
l’arborescencedeSPIPpour:
–  Garan3rlaconfiden3alité
–  Maîtriserlesespacesdestockage
40
Bilanetques3ons
13 500
Vidéos
41