Syllabus - UFR MIG
Transcription
Syllabus - UFR MIG
MASTER 2 PROFESSIONNEL INFORMATIQUE IMAGE ET MULTIMÉDIA (I&M) Secrétariat Pédagogique Lydie RASSIÉ Bât 1TP1 Porte B9 bis Téléphone : (+33) (0)5 61 55 64 12 Email : [email protected] FINALITE L’objectif de ce Master 2 Professionnel est de former des ingénieurs dans les métiers scientifiques et techniques de l'image numérique, du multimédia interactif, de l'audiovisuel. Ce Master veut couvrir l'ensemble des problèmes pouvant être rencontrés par les entreprises dans le domaine de l'image numérique, en analyse d'image (acquisition et traitement d'image, vision par ordinateur, interprétation d'image et analyse de contenu) ; en synthèse d'image (modélisation, génération d'image, rendu réaliste, réalité virtuelle, animation) ; pour le multimédia et l’audiovisuel (codage, compression, indexation, restitution) et pour les problématiques aux interactions entre ces domaines. Former des ingénieurs d'études et de conception pour : - la conception et le développement de nouveaux outils - l'intégration de modules d'analyse ou de synthèse d'images, multimédia (bibliothèques, environnement de développement...) pour la conception de systèmes spécialisés. - le développement d'applications ORGANISATION Le Master 2 Professionnel « Image et Multimédia » se construit autour d'une solide base théorique commune qui comprend des compléments de formation nécessaires à tout ingénieur en informatique, et particulièrement pour les applications en image numérique et multimédia. Le chiffre entre parenthèses indique le semestre. Tronc commun 1S9MM1M - UE Fondements pour l’Image numérique, 6 ECTS (1) 1S9MM2M - UE Développement et gestion de projets multimédia, Chef d'œuvre, 6 ECTS (1) 1S9MM4M - UE Méthodes numériques et Reconnaissances des formes, 3 ECTS (1) 1S9MM3M - UE Réseaux et bases de données pour l’Image et le Multimédia, 3 ECTS (1) 1SAMM2M - UE Anglais, 3 ECTS (2) 1SAMM1M - UE D’ouverture, 3 ECTS (2) 1SAMM3M - UE Stage, 6 ETCS (2) La formation comprend trois parcours spécifiques orientés vers les aspects métiers, avec chacun 5 UE à 6 ETCS. IIN : Ingénierie de l’Image Numérique 1S9MM5M - UE Traitement et analyse d'images (1) 1S9MM8M - UE Vision par ordinateur (1) 1SAMM4M - UE Synthèse d'images : modélisation, rendu (2) 1SAMM7M - UE Méthodologie de conception de systèmes d'interprétation (2) 1SAMMAM - UE Réalité augmentée, applications industrielles, Imagerie médicale et spatiale (2) IAMI : Ingénierie des Applications Multimédia Interactives 1S9MM6M - UE Modélisation géométrique, animation contrôlée (1) 1S9MM9M - UE Rendu Temps réel (1) 1SAMM5M - UE Interaction Homme machine et environnements sonores (2) 1SAMM8M - UE Entités virtuelles animées intelligentes et jeux en réseaux, mondes virtuels partagés (2) 1SAMMBM - UE Game design (2) 3 TA : Technologies Audiovisuelles 1S9MM7M - UE Reconnaissance des formes avancée et traitement du signal (1) 1S9MMAM -UE Codage compression diffusion de contenus audiovisuels (1) 1SAMM6M - UE Indexation d'objets audiovisuels et recherche d'informations multimédia (2) 1SAMM9M - UE Amélioration et restauration, rendu du contenu audiovisuel (2) 1SAMMCM- UE Traitement automatique de la parole (2) DEBOUCHES A l’issue de cette formation, les étudiants seront capables de mener à bien des projets industriels autours des technologies de l’image numérique et de l’audiovisuel. Ils pourront trouver place dans les services de Recherche et développement des grands groupes de l’Aéronautique, de l’Espace, de la Défense, dans les sociétés de service en Informatique, dans des start-ups spécialisées. Les domaines d’activités visés sont : - Secteurs grand public (multimédia, les jeux vidéo, télévision numérique, diffusion …) - Domaine industriel (contrôle de qualité, conduite des robots mobiles ou d'assemblage, téléopération ou télémanipulation, simulateurs de conduite avec réalité virtuelle, le prototypage virtuel, CAO/CFAO, travail coopératif…) - Constitution et accès aux banques d'images fixes et animées (médical, spatial, bibliothèques numériques), leur codage et leur diffusion (entre sites et sur internet…) - Interprétation des images (recherche par le contenu dans le domaine spatial, médical, ou culturel…) INSCRIPTION EN 3ème ANNEE POUR L’ANNEE 2007-2008 Niveaux de recrutement : Peuvent candidater les étudiants de formation scientifique ayant obtenu un diplôme de maîtrise ou de première année de Master mention Informatique, ou dans un domaine proche de l'Informatique, Admission sur Dossier : Toute admission en Master 2 passe obligatoirement par un dépôt de candidature sur le site Web de l'Université Paul Sabatier : http://www.syspo.ups-tlse.fr/ Sélectionner les rubriques suivantes : Domaine : DMO7 STS (Sciences, Technologies, Santé) Mention : MM012 Informatique S'affiche alors la liste des spécialités proposées parmi lesquelles se trouve la spécialité de Master Professionnel Image et Multimédia (IM), 4 Semestre 9 Durée : 12 semaines RESUME DU S9 MODULES ECTS COURS TD TP Tronc commun 1S9MM1A Fondements pour l’Image numérique 6 40 6 30 3 30 3 30 1S9MM5M Traitement et analyse d'images 6 40 20 1S9MM8M Vision par ordinateur 6 40 20 6 40 20 6 40 20 6 40 20 6 40 20 Développement et gestion de projets multimédia, Chef d'œuvre Réseaux et bases de données pour l’Image et 1S9MM3A le Multimédia Méthodes numériques et Reconnaissances 1S9MM4M des formes 1S9MM2A IIN : Ingénierie de l’Image Numérique IAMI : Ingénierie des Applications Multimédia Interactives 1S9MM6M Modélisation géométrique, animation contrôlée 1S9MM9M Rendu Temps réel TA : Technologies Audiovisuelles Reconnaissance des formes avancée et traitement du signal Codage compression diffusion de contenus 1S9MMAM audiovisuels 1S9MM7M 6 FONDEMENTS POUR L’IMAGE NUMERIQUE 1S9MM1M Responsables : Patrice Dalle / Loïc Barthe Email téléphone ECTS 6 COURS 40 TD TP Objectifs La première partie a pour but de fournir les notions et les outils de base de l'analyse d'images. Il fait naturellement partie de la formation de tout étudiant désireux d'avoir des compétences dans le domaine de l'analyse d'images, mais aussi dans des domaines plus vastes tels que l'image numérique en général et l'analyse de l'information. Les objectifs de la seconde partie sont d’acquérir les notions de base permettant la modélisation d'objets 3D simples, comprendre les modèles plus complexes utilisés dans les modeleurs évolués et les applications industrielles, comprendre et modéliser les phénomènes lumineux devant être pris en compte dans l'opération de calcul d'une image de synthèse et comprendre les différentes approches possibles pour la simulation de l'éclairage. Pré requis Aucun Description 1. Fondements du traitement d'images et de la vision - Analyse d'image fixe : - Segmentation et caractérisation - Modélisation et reconnaissance - Vision par ordinateur : - Problématiques de la vision par ordinateur - Estimation de paramètres en vision par ordinateur - Modélisation et calibrage des caméras - Introduction à la stéréovision binoculaire - Analyse de séquence d'images : - Mouvement et suivi ; segmentation temporelle - Reconnaissance de formes spatio-temporelles 2. Fondements de la Synthèse d'images - Modélisation géométrique - Introduction - Rappels : maillages, primitives simples, CSG, courbes d'Hermite, de Bézier et Bspline - Carreaux paramétriques - Courbes et surfaces de subdivision - Rendu - Radiométrie et colorimétrie : spectre lumineux et perception des couleurs - Introduction à la modélisation de la réflectance et de l'éclairage - Processus de calcul d'une image de synthèse : les différentes approches 8 Semestre 9 - Structuration de scène pour le rendu Ouvrages Conseillés - M. Sonka, V. Hlavac, R. Boyle. Image Processing, Analysis and Machine Vision. Thomson Engineering, seconde édition, 1999. - S. Bres, J.-M. Jolion, F. Lebourgeois. Traitement et analyse des images numériques. Hermès, 2003. - H. Maître. Le traitement des images. Hermès, 2003. - R. Horaud, O. Monga. Vision par ordinateur, outils fondamentaux. Hermès, 1993. - E. Trucco, A. Verri. Introductory Techniques for 3-D Computer Vision. Prentice Hall, 1998. - G. Farin,CAGD a practical guide, Academic Press, 2002 (5ème Edition) - Fundamentals of Computer Graphics, Second Edition, by Peter Shirley, Michael Ashikhmin, Michael Gleicher, Stephen R. Marschner, Erik Reinhard, Kelvin Sung, William B. - Thompson, Peter Willemsen, A K Peters, Ltd., 2005 - Andrew S. Glassner, Principle of Digital Image Synthesis, Morgan Kaufmann, 1995 Semestre 9 9 1S9MM2M DEVELOPPEMENT ET GESTION DE PROJETS MULTIMEDIA, CHEF D'ŒUVRE Responsable : Mathias Paulin Email : [email protected] téléphone : 05 61 55 8329 ECTS 6 COURS 30 TD TP Objectifs La première partie du module reprend les concepts de la modélisation orientée-objets avec UML puis décrit les mécanismes et les notions de classes et d'objets, d'héritage et de polymorphisme, la surcharge des opérateurs et des fonctions, les exceptions et les classes génériques (template) et les schémas de conception (Design Patterns). Les chefs de projets font face à de nombreux problèmes pour effectuer un développement plus rapide et moins coûteux. Pour relever ces défis, ils ont besoin d'une approche de gestion planifiée et conçue pour réussir. La deuxième partie apporte les outils nécessaires pour organiser et sélectionner les bonnes méthodes, créer des plans réalistes et construire et gérer une équipe à travers toutes les étapes du cycle de développement. Pré requis Aucun Description 1. Développement logiciel avancé - Modélisation orientée-objets avec UML - Rappels et approfondissements - Fonctions et données membres, surcharge des fonctions - Mécanismes d'abstraction dans les langages de programmation - Des modules aux types ; types abstraits - Encapsulation ; exceptions - Généricité paramétrique (classe template) - Programmation orientée - objets : héritage et polymorphisme - Constructeurs et conversions définies par l'utilisateur - Surcharge des opérateurs - Fonctions amies - Utilisation des classes dérivées ; conversions implicites d'héritage - Polymorphisme d'héritage, fonctions virtuelles - Classes abstraites et fonctions virtuelles pures - Introduction aux schémas de conception (Design Patterns) 2. Gestion de projet - Le projet dans son contexte - Les facteurs externes pour le succès - L’environnement économique du projet - Répondre aux besoins 10 Semestre 9 - Les clients du projet - Les objectifs du projet - Gérer le projet pour gagner la confiance du client - Choix d'une stratégie de développement - Approche efficace pour les projets logiciels - Gestion : temps, coût, fonction et qualité - Modèles de cycle de vie du développement logiciel - Méthodes pour l’organisation et la planification - Identification des tâches, phases et jalons, estimations réalistes - Relations entre les tâches, diagramme PERT, ressources, tableaux de Gantt - Gestion des risques - Planification intégrée - Suivi et pilotage au quotidien - Auto-analyse du chef de projet Semestre 9 11 1S9MM3M RESEAUX ET BASES DE DONNEES POUR L’IMAGE ET LE MULTIMEDIA Responsable : Florence Sèdes Email : [email protected] téléphone : 05 61 55 7443 ECTS 3 COURS 30 TD TP Objectifs La première partie de ce cours présente les spécifications relatives aux systèmes de gestion de bases de données destinées à stocker et manipuler des documents numériques multimédia, en se focalisant sur l'image, fixe ou animée. De tels systèmes reposent en général sur une analyse préalable des documents à intégrer: les documents doivent être analysés, décomposés automatiquement en composants élémentaires puis indexes et archivés. Du point de vue de la manipulation, les requêtes peuvent mêler des aspects textuels et graphiques, en utilisant dans les deux cas, l'interrogation par le contenu. Pour les images, il s'agit de retrouver les images répondant à certains critères, par exemple sur les textures, les couleurs ou les formes, ou contenant un fragment spécifié par l'utilisateur. Dans ce contexte, beaucoup de systèmes sont basés sur l'interrogation par l'exemple. La seconde partie de ce cours analyse la problématique du transfert de données de type images fixes ou animées et présente les applications réseaux supports de l'imagerie. Pré requis Aucun Description 1. Bases de Données Images - Bases de données numériques multimédia - Dimension spatiale et temporelle, problèmes de synchronisation intra ou intermédia - Modélisation de données multimédia, avec introduction de la notion de présentation multimédia (différentes sources agrégées et éventuellement synchronisées, traitées comme un objet) - Indexation, classification,... - Recherche par le contenu, recherche par similarité, pertinence et distance - Systèmes d'information géographiques - Modèles de stockage pour données cartographiques - Méthodes d'accès pour données cartographiques - Intégration de données cartographiques dans les SGBD - Interfaces des SIG - Les produits 2. Réseaux - Etat de l'Art et Normalisation - Architectures réseaux de référence 12 Semestre 9 - Notion de services, protocoles et entités - Qualité de service: - Paramètres de vitesse (priorité, temps de transit , débit...) - Paramètres de fiabilité (taux d'échec d'établissement, taux d'erreurs résiduelles) - Types de réseaux, qualité acceptable, erreurs signalées inacceptables - Les Infrastructures Réseaux (LAN,MAN,WAN) - Facteurs de développement - Principes de commutation (statique , dynamique ...) - Couches de Liens (Ethernet 10-100 , Gigabit Ethernet , ATM , FDDI , RNIS) - Routage et Interconnexion: Problématique de Transfert (RENATER 1 et 2) - Les applications Multimédia et les Réseaux - Facteurs limitatifs des protocoles des réseaux locaux - Manipulation des objets multimédia - Synchronisation de données multimédia - Coopération de groupe (données, contrôle et algorithmes) - Qualité de service et performances - Exemples: Serveurs Vidéo, Bibliothèques d'images et Interfaces Web - Langages et outils de communications multimédia - Langages et outils de développement: HTML, VRML, JAVAnet - Outils de communication multimédia interactifs - IMM: image/file distribution - VCT: Video Conférence Tools - MBONE Applications Semestre 9 13 1S9MM4M METHODES NUMERIQUES ET RECONNAISSANCES DES FORMES Responsable : Régine André-Obrecht Email : [email protected] téléphone : 05 61 55 6886 ECTS 3 COURS 30 TD TP Objectifs La première partie du cours donne des éléments d’algèbre linéaire et d’analyse numérique qui sont largement utilisés dans la résolution des problèmes susceptibles d’être rencontré en analyse d’image, en vision, en synthèse d’image et en animation. La deuxième partie du cours a pour but de donner les connaissances de base pour aborder un problème de reconnaissance des formes (reconnaissance de visage ou d’écriture manuscrite, identification de locuteur, reconnaissance de parole…). Sont développés les éléments fondamentaux en analyse des données et en classification discriminante Pré requis Aucun Description 1. Méthodes numériques Résolution numérique des systèmes linéaires bien contraints - Méthodes de Gauss - Méthode de Jacobi - Méthode de Gauss-Seidel - Résolution numérique des systèmes linéaires sur-contraints - Résolution au sens des moindres carrés - Matrice pseudo-inverse - Multiplicateurs de Lagrange - Application à l'estimation de paramètres en multimédia - Résolution numérique des équations aux dérivées partielles - Discrétisation par différences finies - Résolution par optimisation - Recherche des courbes de niveau 2. Reconnaissances des formes - Analyse des données - Quantification vectorielle - Analyse en composante principale - Analyse factorielle - Classification discriminante - Surfaces séparatrices linéaires - Réseaux de neurones - Le perceptron multicouche - Les cartes de Kohonen 14 Semestre 9 Ouvrages Conseillés - R.O. Duda, P.E. Hart, D.G. Stork. Pattern Recognition. Ed John Wiley & sons, 2001 Semestre 9 15 1S9MM5M TRAITEMENT ET ANALYSE D'IMAGES Responsable : Patrice Dalle Email : [email protected] téléphone : 05 61 55 6309 ECTS 6 COURS 40 TD TP 20 Objectifs Le cours de traitement d'image décrit d'abord le processus qui permet d'obtenir l'image, sa formation et sa numérisation par un dispositif d'acquisition. Il présente les différentes représentations informatiques qui vont permettre de traiter l'image. Il détaille ensuite les transformations qui peuvent être appliquées à l'image en vue de l'améliorer ou de corriger ses défauts. Il présente les techniques d'analyse, c'est-à-dire d'extraction de primitives et de description, obtenues en segmentant l'image et en caractérisant ses composants afin d'en fournir une description structurée et synthétique. Pré requis Aucun Description 1. Traitement d'images - Présentation générale : traitement, reconstruction et reconnaissance. - Optique et formation de l'image. - Acquisition : capteurs, numérisation, dégradations. Propriétés de l'image. - Amélioration et visualisation. - Restauration et filtrage. 2. Analyse d'images - Segmentation en contours et en régions. Schématisation de la description. - Représentation des frontières et des régions. Hiérarchies. - Mesures : caractérisation des frontières et des régions. Mesures relationnelles. - Étude de la texture. - Intégration analyse et reconnaissance : morphologie. Ouvrages Conseillés - M. Sonka, V. Hlavac, R. Boyle. Image Processing, Analysis and Machine Vision. Thomson Engineering, seconde édition, 1999. - S. Bres, J.-M. Jolion, F. Lebourgeois. Traitement et analyse des images numériques. Hermès, 2003. - H. Maître. Le traitement des images. Hermès, 2003. 16 Semestre 9 1S9MM8M VISION PAR ORDINATEUR Responsable : Alain Crouzil Email : [email protected] téléphone : 05 61 55 6928 ECTS 6 COURS 40 TD TP 20 Objectifs Cet enseignement a pour objectif de permettre d'acquérir les compétences indispensables au futur ingénieur confronté au domaine de la vision par ordinateur, aussi bien pour développer de nouveaux outils que pour utiliser de manière optimale des outils pour réaliser des applications plus générales. La première partie est consacrée à la vision statique et présente les bases théoriques et algorithmiques grâce auxquelles des informations sur le monde 3D peuvent être automatiquement extraites et analysées à partir d'une ou de plusieurs images. La seconde partie concerne la vision dynamique et présente les méthodes permettant d'extraire des informations sur le mouvement relatif entre les capteurs et les objets de la scène à partir de séquences d'images. Pré requis Aucun Description 1. Vision statique - Modèle géométrique et calibrage de la caméra. - Stéréovision binoculaire (calibrage, géométrie épipolaire, reconstruction 3D, ...). - Mise en correspondance stéréoscopique. - Transformation de coordonnées entre 2 images (matrice fondamentale, homographies, .). - Calibrage plan. - Stéréovision trinoculaire. - Détection de points d'intérêt. - Vision multi-vues (autocalibrage, reconstruction 3D, ...). - Introduction à l'utilisation des statistiques robustes en vision par ordinateur. 2. Vision dynamique - Détection du mouvement. - Mouvement dans les images (estimation du flux optique, modèles 2D de mouvement). - Mouvement 3D. - Mouvement du corps humain (signatures temporelles, posture et mouvements de la tête, mouvements faciaux). - Suivi dans les séquences d'images (filtre de Kalman, filtrage particulaire, ...). - Communication visuo - gestuelle (signature gestuelle, gestes de commandes, langages gestuels). Semestre 9 17 Ouvrages Conseillés - R. Horaud, O. Monga. Vision par ordinateur, outils fondamentaux. Hermès, 1993. - O.Faugeras. Three-Dimensional Computer Vision: a Geometric Viewpoint. The MIT Press, 1993. - O.Faugeras, Q.-T.Luong. The Geometry of Multiple Images. The MIT Press, 2001. - R. Hartley, A. Zisserman. Multiple view geometry in computer vision. Cambridge University Press, 2000. - Z. Zhang, O. Faugeras. 3D Dynamic Scene Analysis. Springer-Verlag, 1992. 18 Semestre 9 1S9MM6M MODELISATION GEOMETRIQUE, ANIMATION CONTROLEE Responsable : Loïc Barthe Email : [email protected] téléphone : 05 61 55 7431 ECTS 6 COURS 40 TD TP 20 Objectifs Ce cours doit permettre, dans un premier temps, aux étudiants d’apprendre à manipuler et modifier les objets 3D pour les rendre adaptés aux applications interactives et de se faire une idée de l'utilisation des modeleurs classiques et avoir un aperçu des techniques de modélisations expérimentales allant vers une meilleur adaptation de l'outil informatique pour les artistes et le grand public. Pour la seconde partie, il s’agit de donner les principes généraux de l’animation de synthèse, en particulier de faire le lien avec les modèles mathématiques et physiques du mouvement et avec les modèles géométriques pour la déformation d’objet et la détection des collisions. Pré requis Aucun Description 1. Modélisation Géométrique - Modeleurs classiques - Blobs, arithmétique d'intervalle et Marching-cubes - Maillages - Mise en bandes - Calculs d'erreurs - Champs de distance - Simplification - Normal-mesh, - Re-maillage - Paramétrisation - Représentations multi résolution - Modélisation par esquisse - Modélisation volumique 2. Animation contrôlée - Généralités - Modèles descriptifs - Interpolation de scènes clés - Cinématique directe - Cinématique inverse - Modèles générateurs - Dynamique - Systèmes masses - ressorts Semestre 9 19 - Méthodes d’intégration des lois du mouvement - Objets déformables - Collisions Ouvrages Conseillés - D. Luebke, M. Reddy, J.D. Cohen, A. Varshney, B. Watson and R. Huebner (eds). Level of Detail for 3D Graphics. Morgan Kaufmann, 2003 - G. Farin. CAGD a practical guide. Academic Press, 2002 (5ème Edition) - J. Bloomenthal, C. Bajaj, M.P. Cani, A. Rockwood, B. Wyvill et G. Wyvill (eds). Introduction to Implicit Surfaces. Morgan Kaufmann, 1997 - Alan Watt, Mark Watt. Advanced Animation and Rendering Techniques. Addison Wesley 20 Semestre 9 1S9MM9M RENDU TEMPS REEL Responsable : Mathias Paulin Email : [email protected] téléphone : 05 61 55 8329 ECTS 6 COURS 40 TD TP 20 Objectifs Une première partie, consacrée spécifiquement au rendu temps réel, à pour objectif de présenter les éléments théoriques devant êtres pris en compte pour le développement d'applications de rendu 3D temps réel. L'accent sera mis sur la maîtrise des temps de calcul, sur la maîtrise des données utiles et sur les algorithmes fondamentaux pour le calcul d'images perceptuellement adaptées aux applications visées. La deuxième partie présentera en détails la conception d'un moteur de rendu temps réel. A partir de cette conception, un ensemble d'algorithmes avancés pour le rendu temps réel seront étudiés. Les algorithmes seront étudiés à partir d'une analyse des publications scientifiques récentes traitant des problèmes d'éclairage locaux (textures, BRDF, BTF, ...), des problèmes d'éclairage globaux (PRT, ombres portées, ...) mais aussi des problèmes liés à la dynamique des images et des couleurs (Tone mapping, HDR, ..). L'accent sera mis sur la conception de composants logiciels réutilisables ainsi que sur leur intégration dans un moteur de rendu temps réel. Les TPs seront organisés, à partir du moteur open source Ogre 3D (www.ogre3d.org), par l'ajout de fonctionnalités et d'algorithmes de rendu avancés. Les TPs seront en synchronisation étroite avec l'UE Algorithmes et implantation pour le rendu temps réel. Pré requis Aucun Description 1. Rendu Temps réel - Pipeline 3D pour le rendu temps réel - Problématique du rendu temps réel - Définition du temps réel - Boucle générale de rendu - Principe du pipeline : géométrie, textures, pixels - Spécifications des API OpenGL, OpenGL-ES et DirectX - Objectifs et contraintes - API et architecture - Impact applicatif - Evaluation et contrôle des temps de calcul - Problématique - Bande passante et puissance de traitement - Contrôle du pipeline - Pipeline programmable - Objectifs Semestre 9 21 - Gestion des programmes - Langage de programmation - Passage de paramètres - Entrées-sorties - Notion de passes de rendu - Utilité - Algorithmes multi-passes - Rendu différé - Structuration de scènes - Graphe de scène - Principe et objectifs - Représentation externe - Représentation interne - Structuration hiérarchique - Structuration spatiale - Elimination des parties cachées - Problématique - Elimination par Z-buffer - Frustum culling - Occlusion culling - Effets d'éclairage locaux - Rappel sur les techniques d'ombrage - Ombrage réaliste - Ombrage expressif - Définition fréquentielle des effets d'éclairage locaux - Textures - Définition - Coordonnées de texture et placage - Création, acquisition et synthèse de textures - Utilisation des textures pour le calcul d'ombrage - Généralités - BRDF et BTF - Définition et propriétés - Représentation par des textures - Bump mapping - Displacement mapping - Effets d'éclairage globaux - Définition fréquentielle des effets d'éclairage globaux - Ombres portées - Ombres projetées - Volume d'ombre - Texture d'ombre - Extensions aux ombres douces - Réflexion et transparence - Réflexions plane - Texture de réflexion - Transparence alpha 22 Semestre 9 - Texture d'environnement - Acquisition ou génération - Codage pour le calcul d'éclairement - Occlusion ambiante - GPGPU - Concepts de programmation et GPU - Parallélisme de données - Ressources en calcul des GPU - Modèle de calcul par flot de données - Programmation GPGPU - Algorithmes et structures de données pour le GPU - Algorithmes fondamentaux - Gestion des données en GPGPU - API pour le GPGPU - API graphiques - API générales 2. Algorithmes et implantation pour le rendu temps réel - Conception d'un moteur de rendu temps réel - Présentation et explication de la conception d'un moteur 3D (www.ogre3d.org). - Eclairage local - Etats de surface et Textures - Rendu expressif - Eclairage global - Calcul d'éclairement et d'ombres portées à partir des cartes d'environnement - Calcul d'ombres douces - GPGPU (4h) - Algorithmes de Tone mapping dynamique par GPGPU - Calcul de champs de luminance par GPGPU Ouvrages Conseillés - R Fernando. GPU Gems: Programming Techniques, Tips and Tricks for Real-Time Graphics. Addison Wesley. - M Pharr et R Fernando. GPU Gems 2: Programming Techniques For High-Performance Graphics And General-Purpose Computation. Addison Wesley. - R Fernando et M J Kilgard. The Cg Tutorial: The Definitive Guide to Programmable Real-Time Graphics. Addison Wesley - K Pallister. Game Programming Gems 5. Addison Wesley Semestre 9 23 1S9MM7M RECONNAISSANCE DES FORMES AVANCEE ET TRAITEMENT DU SIGNAL Responsable : Régine André-Obrecht Email : [email protected] téléphone : 05 61 55 6886 ECTS 6 COURS 40 TD TP 20 Objectifs Reconnaître un visage, comprendre une suite de mots parlée, reconnaître des caractères manuscrits, analyser un geste et identifier un locuteur sont des exemples classiques de reconnaissance automatique de formes. La première partie de ce cours aborde le problème de reconnaissance des formes de ce type à travers l’analyse des données élémentaires pour en extraire des données discriminantes, les modèles de classification numérique/symbolique, en mode supervisé ou non supervisé, par approche statistique ou discriminante. Les applications traitées en TP permettent de toucher aux difficultés liées à la variabilité des données, qu’elles soient issues du média audio ou du média vidéo. L’approche discriminante est approfondie et l’approche bayésienne est étudiée. Une attention particulière est apportée sur les problèmes d’apprentissage et d’adaptation. Dans de nombreux cas, ces techniques font appels à une représentation fréquentielle des signaux. La deuxième partie du cours a pour but de donner les connaissances de base pour présenter les principales transformées fréquentielles, ainsi que les procédés d’analyse et de filtrage du signal associés. Description 1. Reconnaissance des formes avancées (20h C – 20h TP) - Classification discriminante (suite) - Méthodes non linéaires pour la réduction de dimension - Surfaces séparatrices à vaste marge (SVM) - Stratégie bayésienne - Cadre général - Méthodes paramétriques (Mélange de lois gaussiennes, Modèles de Markov Cachés) - Méthodes non paramétriques (Noyaux de Parzen, k-ppv) - Apprentissage et adaptation (algorithme EM, algorithme MAP) - Exemple d’applications en image et en audio (musique et parole) 2. Traitement du signal (20h) - Introduction à la transformée de Fourier par les séries trigonométriques - Transformée de Fourier continue - Séries de Fourier et Théorème de l’échantillonnage - Transformée de Fourier Discrète - Signal et système numériques - Synthèse des filtres numériques - Transformée en Ondelettes continue 24 Semestre 9 - Transformée en Ondelettes discrète Ouvrages Conseillés - R.O. Duda, P.E. Hart, D.G. Stork. Pattern Recognition. Ed John Wiley & sons, inc. , 2001 - A. Cornuéjols, L. Miclet. Apprentissage artificiel. Ed Eyrolles, 2002 - Analyse de Fourier et applications (Filtrage, calcul numérique et ondelettes) , C. Gasquet, P. Witomski, Cours et exercices, ed Dunod Semestre 9 25 1S9MMAM CODAGE COMPRESSION DIFFUSION DE CONTENUS AUDIOVISUELS Responsable : Philippe Joly Email : [email protected] téléphone : 05 61 55 6308 ECTS 6 COURS 40 TD TP 20 Objectifs Les supports de stockage et les procédés de diffusion des contenus vidéo ont imposé des formats de codage compact devenus aujourd’hui des standards. Ce cours présente les principaux formats de codage de l’image, de la vidéo et les algorithmes de compression associés. Les techniques de codage et de compression de l’audio ont évoluées ces dernières années de manière à pouvoir répondre à des contraintes d’architectures légères et portables. Ce cours présente les principaux formats de codage de l’audio, ainsi que les algorithmes de compression associés. L’objectif de la seconde partie de ce cours est d’introduire les différents modes de distribution (et de consommation) des contenus audiovisuels. L’accent sera mis sur la diffusion télévisuelle numérique, d’une part, et la distribution sur les réseaux IP, d’autre part. Une ouverture vers les nouveaux usages (nomadisme, interactivité) sera présentée. Une introduction aux différentes normes actuelles jalonnera le propos. Pré requis Aucun Description 1. Codage et compression de l’audio et la vidéo (20hC 16hTP) - Codage et compression de la vidéo - Format d’image fixe Gif/JPEG/JPEG-2000f - Quantification de la couleur - Compression LZW - Transformée fréquentielle DCT - Codage de Huffman - Transformée en ondelettes discrètes - Ondelettes de Daubechie et de Legall - Codage MPEG 1/2/4 - Algorithmes d’appariement de blocs - Concept d’encodage en objets - Graphe de scène BIFS - Codage et compression de l’audio - Le mécanisme de l'audition - Codage en sous-bandes - Couches 1, 2 et 3 MPEG - Codage AC3 - Formats mp3, mp3pro, Wav et Aif 26 Semestre 9 2. Protocoles de diffusion de données audiovisuelles (20hC 4hTP) - Supports et modes de distribution - Contraintes de codage AV induites par les modes de distribution - Echelonnabilités - Robustesse - Sécurisation - Packetisation - Distribution AV sur IP - QoS sur les réseaux IP actuels - Modes de streaming - Protocoles applicatifs (RTP/RTCP, RTSP) - Signalisation (SIP, SDP) - Plates-formes logicielles et matérielles de distribution multimédia - Serveurs de streaming, VoD - Terminaux - Architectures des CDNs - Nomadisme : distribution pour terminaux mobiles - Conception des applications clientes et APIs multimédias (QuickTime, JMF, WindowsMedia) - Apport des normes émergentes (MPEG-21 en particulier) - Cas de la télévision numérique - Couche système de MPEG-2 (multiplexage) - Principes de la transmission d’un signal numérique - Principes de la réception satellite - Normes : DVB-* - TV Haute Définition - Nouveaux modes d’accès interactif - Nouvelles applications à la convergence Web-télévisuelle : contenu rich-media, TV intéractive etc. - Adaptation des accès : personnalisation, recommandation - Protection des œuvres - Aspects techniques (cryptage, tatouage, gestion des droits (DRM)) - Aspects juridiques - Une conférence sur les applications VoIP, WebTV, WebRadio etc. Ouvrages Conseillés - J. Miano. Compressed Image File Formats. ACM Press (1999-2005) - P. Symes. Digital Video Compression. Mc Graw-Hill (2001-2004) - N. Moreau. Techniques de compression des signaux, Masson, 1995 - N. Jayant, P. Noll. Digital coding of waveforms, Prentice-Hall, 1984 - J-F Susbielle. Internet, multimédia et temps réel. Eyrolles, 2000 - W Dabbous et al. Systèmes Multimédias Communicants. Hermes Science, 2001 - D.Sitaram et A.Dan. Multimedia Servers. Morgan Kauffman, 2000 - J.Kurose et K.Ross. Analyse Structurée des réseaux. Pearson 2003 Semestre 9 27 - Semestre 10 Durée : 12 semaines RESUME DU S10 MODULES ECTS COURS TD TP 1SAMM1M D’ouverture 3 20 1SAMM2M Anglais 3 24 1SAMM3M Stage 6 n.a. n.a. n.a. 6 40 20 6 40 20 6 40 20 6 40 20 6 40 20 6 40 20 6 40 20 6 40 20 6 40 20 Tronc commun IIN : Ingénierie de l’Image Numérique 1SAMM4M 1SAMM7M 1SAMMAM 1SAMM5M 1SAMM8M Synthèse d'images : modélisation, rendu Méthodologie de conception de systèmes d'interprétation Réalité augmentée, applications industrielles, Imagerie médicale et spatiale IAMI : Ingénierie des Applications Multimédia Interactives Interaction Homme machine et environnements sonores Entités virtuelles animées intelligentes et jeux en réseaux, mondes virtuels partagés 1SAMMBM Game design TA : Technologies Audiovisuelles Indexation d'objets audiovisuels et recherche d'informations multimédia Amélioration et restauration, rendu du 1SAMM9M contenu audiovisuel 1SAMM6M 1SAMMCM Traitement automatique de la parole 28 Semestre 9 MODULE D’OUVERTURE 1SAMM1M Responsable : Email téléphone ECTS 3 COURS 20 TD TP PROJET Objectifs Acquérir de la culture scientifique Pré requis Aucun Description A choisir parmi les modules proposés. Semestre 10 29 1SAMM2M LANGUES / ANGLAIS Responsable : Email téléphone ECTS 3 COURS 24 TD TP Evaluation Contenu 30 Semestre 10 1SAMM3M STAGE Responsable : Jean-Pierre Jessel Email : [email protected] téléphone : 05 61 55 6311 ECTS 6 COURS TD TP Objectifs Pour les étudiants, le but du stage est de monter qu’ils sont capables de mener à bien des projets industriels autours des technologies de l’image numérique et de l’audiovisuel. Ils pourront trouver place dans les services de Recherche et développement des grands groupes de l’Aéronautique, de l’Espace, de la Défense, dans les sociétés de service en Informatique, dans des start-ups spécialisées. Les domaines d’activités visés sont : - Secteurs grand public (multimédia, les jeux vidéo, télévision numérique, diffusion …) - Domaine industriel (contrôle de qualité, conduite des robots mobiles ou d'assemblage, téléopération ou télémanipulation, simulateurs de conduite avec réalité virtuelle, le prototypage virtuel, CAO/CFAO, travail coopératif…) - Constitution et accès aux banques d'images fixes et animées (médical, spatial, bibliothèques numériques), leur codage et leur diffusion (entre sites et sur internet…) - Interprétation des images (recherche par le contenu dans le domaine spatial, médical, ou culturel…) Pré requis Aucun Semestre 10 31 1SAMM4M SYNTHESE D'IMAGES : MODELISATION, RENDU Responsable : Mathias Paulin Email : [email protected] téléphone : 05 61 55 8329 ECTS 6 COURS 40 TD TP 20 Objectifs La partie traitant de la modélisation géométrique a pour but d’apprendre les différentes représentation d'une géométrie 3D, et de savoir manipuler, reconstruire ou créer une géométrie 3D à partir des sources diverses : scanners surfaciques, scanners volumiques, modèles paramétriques et implicites. Concernant le domaine du rendu en synthèse d'images, cet enseignement à pour objectifs l'acquisition des outils théoriques et logiciels permettant de réaliser une simulation de l'éclairage précise dans les scènes virtuelles. Pré requis Aucun Description 1. Modélisation géométrique - Les surfaces implicites : modèles déformables et rendu - Les représentations volumiques - Les représentations par points - Reconstruction, maillages et paramétrisation - Les représentations multirésolution 2. Rendu - Modélisation de l'apparence : de la mesure à l'exploitation en synthèse d'images - Modélisation de la BRDF et de la texture - Modèles de ciel et d'environnements - Simulation de l'éclairage : Radiosité et méthode de Monte Carlo - Structures de données pour la simulation de l'éclairage Ouvrages Conseillés - G. Farin. CAGD a practical guide, Academic Press, 2002 (5ème Edition) - J. Bloomenthal, C. Bajaj, M.P. Cani, A. Rockwood, B. Wyvill et G. Wyvill. Introduction to Implicit Surfaces. Morgan Kaufmann, 1997 - D. Luebke, M. Reddy, J.D. Cohen, A. Varshney, B. Watson and R. Huebner (eds). Level of Detail for 3D Graphics. Morgan Kaufmann, 2003 - Matt Pharr and Greg Humpreys. Pysically based rendering: from theory to implementation. Morgan Kaufmann, ISBN 0-12-553180-X, 2004 - Ph. Dutre, P. Bekaert, K. Bala, AK Peters. Advanced Global Illumination (2nd Edition), 2006. 32 Semestre 10 1SAMM7M METHODOLOGIE DE CONCEPTION DE SYSTEMES D'INTERPRETATION Responsable : Patrice Dalle Email : [email protected] téléphone : 05 61 55 6309 ECTS 6 COURS 40 TD TP 20 Objectifs L'interprétation d'image consiste à combiner des méthodes agissant à tous les niveaux (traitement du signal, analyse d'image, reconnaissance) pour résoudre un problème d'identification ou de reconnaissance en exploitant des connaissances apprises (modèles d'objets) ou des informations disponibles sur le contexte. Ce cours présente une modélisation de ces traitements et les méthodes pour contrôler leur agencement. Pré requis Aucun Description 1. Traitement du signal (20h C – 10h TP) - Introduction à la transformée de Fourier par les séries trigonométriques - Transformée de Fourier continue - Séries de Fourier et Théorème de l’échantillonnage - Transformée de Fourier Discrète - Signal et système numériques - Synthèse des filtres numériques - Transformée en Ondelettes continue - Transformée en Ondelettes discrète 2. Interprétation d'images (20h C – 10h TP) - Méthodes de reconnaissance des formes appliquées à l'image : spécificités des données spatialisées, indices visuels, méthodes globales, méthodes de fusion. - Interprétation : représentation des modèles d'objet 2D et 3D, mise en correspondance, stratégies de contrôle. - Méthodologie de conception d'un système dédié : modèles et architectures logicielles des systèmes dédiés, environnements de développement et méthodes de conception. Ouvrages Conseillés - C. Gasquet, P. Witomski. Analyse de Fourier et applications (Filtrage, calcul numérique et ondelettes). Cours et exercices, ed Dunod - J.-M. Jolion. Les systèmes de vision. Hermès, 2001. - R. Duda, P. Hart, Pattern Classification. Wiley, 2000. - T. Caelli, W. F. Bischof. Machine Learning and Image Interpretation. Plenum Press, 1997. Semestre 10 33 1SAMMAM REALITE AUGMENTEE, APPLICATIONS INDUSTRIELLES, IMAGERIE MEDICALE ET SPATIALE Responsable : Alain Crouzil Email : [email protected] téléphone : 05 61 55 6928 ECTS 6 COURS 40 TD TP 20 Objectifs Cet enseignement présente des applications spécifiques de l'image, dans différents domaines. Les interventions étant réalisées principalement par des professionnels spécialistes de ces applications, elles rapprochent le futur ingénieur des réalités de l'entreprise. Cela permet de faire une transition importante entre les enseignements académiques et leurs applications dans l'entreprise durant le stage. Pré requis Aucun Description 1. Réalité augmentée - Réalité Virtuelle (RV) Réalité Augmenté (RA) - Problématiques de la RA : mélange réel – virtuel, interaction 3D temps réel, recalage - La réalité augmentée mobile - Applications scientifiques, industrielles et culturelles. 2. Applications industrielles - Robotique : couplage vision - action. - Métrologie. - Surveillance. - Inspection visuelle. - Contrôle de fabrication. - Systèmes temps réel d'analyse d'images. 3. Imagerie médicale - Capteurs et dispositifs d'imagerie médicale. - Traitements d'images adaptés - Reconstruction 3D. - Couplage analyse - synthèse d'images. - Représentation et intégration d'informations (anatomie, ...) et d'expertise. - Architecture des systèmes d'analyse d'images médicales. - Exemples d'applications médicales. 4. Imagerie spatiale - Recalage. - Qualité image. - Classifications. - Imagerie radar. - Analyse de la chaîne de traitements en télédétection. 34 Semestre 10 Ouvrages Conseillés - G Burdea, P Coiffet. Virtual Reality Technology. Wiley & sons - D A Bowman, E Kruijff, J F Laviola Jr, I Poupyrev. 3D User interface, thory and practice. Addison Wesley - O Bimber, R Raskar. Spatial Augmented Reality, Merging Real and Virtual Worlds. AK Peters - A. Criminisi. Accurate Visual Metrology from Single and Multiple Uncalibrated Images. SpringerVerlag, 2001. - W. E. Snyder, H. Qi. Machine Vision. Cambridge University Press, 2004. Semestre 10 35 1SAMM5M INTERACTION HOMME MACHINE ET ENVIRONNEMENTS SONORES Responsable : Philippe Palanque Email : [email protected] téléphone 05 61 55 6965 ECTS 6 COURS 40 TD TP 20 Objectifs Le but de la partie Interaction Homme Machine est de connaître les caractéristiques intrinsèques (perceptive, cognitives et motrices) des utilisateurs dans le but d’accroître l’utilisabilité et la jouabilité des systèmes interactifs et aussi de connaître les caractéristiques intrinsèques des systèmes interactifs et en particulier les contraintes de performances. Le but est d’appréhender les problèmes et les solutions liés à la conception et de spécification de systèmes interactifs et de comprendre les différentes abstractions intervenant dans le développement des systèmes interactifs et leurs interconnexions. Le but de la partie relative aux Environnements sonores est de se concentrer sur un aspect important complémentaire de l’image, le son. Le son sera abordé par le signal audio numérique, puis les outils de conception sonore seront étudiés, dans le but de permettre la spatialisation des sons (techniques donnant l'illusion à un auditeur qu'un son monophonique provient d'une direction donnée dans un espace virtuel 3D) et grâce à cela, de permettre la simulation d’effets sonores liés à des types de salles spécifiques. Ainsi, les étudiants seront capables de concevoir des environnements sonores plus immersifs Pré requis Aucun Description 1. Interaction Homme Machine - Principes de base des systèmes interactifs - Principes et propriétés des systèmes interactifs - Architecture des systèmes interactifs - Différentes architectures pour les jeux vidéo - Emotions et jouabilité - Portfolio de techniques d’interaction dans les jeux vidéo - Processus de conception des systèmes interactifs - Les processus de conception des systèmes interactifs - Modélisation du comportement des systèmes interactifs - Prototypage basse et haute fidélité et conception centrée utilisateur - Evaluation de l’utilisabilté et tests utilisateurs - Analyse et spécification de l'activité et modélisation de scénarios - Technique d'analyse de l'activité - Description du comportement des utilisateurs - Description de scénarios 36 Semestre 10 - Intégration tâches et système - De la spécification à la mise en œuvre - Spécification de techniques d’interaction évoluées (2D, 2D et demi et 3D) - Développement de techniques d’interaction évoluées (2D, 2D et demi et 3D) - Tests et validation 2. Environnements sonores - Le signal audio numérique - Caractéristiques d'un signal audio (parole et musique), perception - Spectrogramme et analyse temps fréquence, filtrage temporel et fréquentiel - Les effets sonores - Les types de codage - Les formats sonores numériques et de diffusion sonore - Panorama des méthodes de synthèse - Système d'analyse - synthèse - Logiciel sonore - Outils de conception sonore (synthèse d'espaces sonores ou Audio 3D) - Spatialisation des sons - Techniques binaurales - Fonction de transfert liée à la tête (HRTF) - Synthèse par fronts d'ondes (WFS) - Cognition spatiale - Effets de salles. - Réponse de salles : direct, réflexion, réverbération - Quelques exemples de salles - Technologie pour les jeux* - Outils, plateformes et programmation - Standards : DirectX, EAX, OpenGL, VRML Audio - Cartes son Ouvrages Conseillés - Alan Dix, Janet Finlay, Gregory Abowd, Russel Beale. Human Computer Interaction. Prentice Hall, 1998 (2nd Edition) - Jacob Nielsen. Usability engineering. Prentice hall, 1993. - Donald Norman. The psychology of everyday things. BasicBooks, 1988 Semestre 10 37 1SAMM8M ENTITES VIRTUELLES ANIMEES INTELLIGENTES ET JEUX EN RESEAUX, MONDES VIRTUELS PARTAGES Responsable : Patrice Torguet Email : [email protected] téléphone : 05 61 55 6313 ECTS 6 COURS 40 TD TP 20 Objectifs La partie concernant les entités intelligentes de ce module a pour but de fournir les notions et les outils de base pour concevoir des animations avec des objets complexes et des personnages, pilotées ou autonomes (non joués, PNJ). Elle doit permettre de connaître les différents algorithmes et techniques de base en simulation comportementale, de connaître les possibilités et les limites des techniques du domaine, de savoir choisir et appliquer les différentes approches en fonction du problème à résoudre. Le but final est de pouvoir développer et intégrer des PNJ dans des simulations 3D Pour la partie Jeux en réseaux, le but de ce cours est de pouvoir concevoir et développer des jeux en réseaux, en précisant : la technique de programmation répartie, l'architecture répartie, la gestion de la cohérence et le protocole applicatif. Après les cours, Les étudiants devront développer complètement le jeu en réseau de type MMORPG conçu en TD. Ils utiliseront pour cela un moteur 3D temps réel comme Ogre 3D. Le développement consistera en la création de la partie 3D du jeu (cette partie sera volontairement sommaire pour pouvoir se concentrer sur les aspects "réseau"), une version client - serveur puis passage au multi - serveurs, et enfin l’utilisation de techniques d'optimisations. Pré requis Aucun Description 1. Entités virtuelles animées intelligentes - Animation de personnage - Représentation d'un personnage - Capture de mouvement - Contrôle du mouvement - Edition de mouvement - Plates-formes d'animation - Humains Virtuels - Animation de groupes ou de foules - Intelligence et comportements - Introduction et concepts fondamentaux - Modélisation d'une entité et de ses moteurs comportementaux - Méthodes procédurales - Machines à états finis - Arbres de décisions 38 Semestre 10 - Systèmes experts - Réseaux de neurones - Méthodes évolutionnistes - Systèmes multi-agents - Algorithmes génétiques - Programmation génétique - Systèmes de classeurs - Interaction entre personnages non joués - Anticipation - Communication - Collaboration - Comportements de groupes ou de foules - Intelligence des personnages non joués - Planification (de tâches, de trajectoire) - Prise de décision - Autonomie - Adaptation - Apprentissage - Mémoire 2. Jeux vidéo en réseaux (mondes virtuels partagés) - Introduction aux jeux vidéos en réseaux - Qu'est-ce qu'un jeu en réseau - Caractéristiques d'un jeu en réseau - Historique des jeux en réseaux et de la simulation - Applications militaires, jeux et démos - Thèmes d'études actuels : - La triche et comment y remédier - Les jeux et les plateformes mobiles - Programmation Répartie - Sockets TCP, UDP, UDP broadcast, UDP multicast - Overlay multicast et Application level multicast - Middlewares généralistes : RMI, CORBA, Web Services - Middlewares spécifiques : Direct Play, HLA et OpenSkies, Unreal Netcode - Middlewares généralistes vs spécifiques : avantages et inconvénients - Architectures des jeux en réseaux - Généralités - Architectures réparties - Gestion de la cohérence de la BD répartie - Optimisation par gestion de l’intérêt - Techniques des MMOG (Jeux massivement multi-joueurs) - Application à l’études de jeux du type : - FPS (jeu de combat à la première personne) sur un réseau local. Exemples : Doom, Quake, Unreal - RTS (jeu de stratégie temps réel) sur Internet. Exemples : Warcraft, Starcraft, Age of Empires - MMORPG (jeu de rôle massivement multi-joueurs) sur Internet. Exemples : Everquest, World of Warcraft Semestre 10 39 Ouvrages Conseillés - N. I. Badler, B. A. Barsky, D. Zelter. Making them move. Morgan Kaufman, 1991 - N. I. Badler, C. B. Philips, B. L. Webber. Simulating humans. Oxford University Press, 1993 - IA et jeux Editions Hermès, 2007 - Jacques Ferber. Les systèmes multi-agents. InterEditions, 1995 - David Goldberg. Algorithmes génétiques. Addison Wesley, 1994 40 Semestre 10 1SAMMBM GAME DESIGN Responsable : Julian Alvarez Email : [email protected] téléphone ECTS 6 COURS 40 TD TP 20 Objectifs Les objectifs sont dans un premier temps de connaître les besoins du marché en matière de développement ludique, et autour du jeu, pour l’entraînement, la formation, l’éducation, la publicité... Le fondement de ce module est de découvrir le Game Design et ses enjeux, qui sont l’esthétisme, la scénarisation, la définition des règles, et donc la construction du jeu dans son ensemble, avec pour résultat la satisfaction du joueur. Les étudiants pourront acquérir une culture ludique et esthétique du jeu vidéo. Pré requis Aucun Description 1. Jeu vidéo : nature, design graphique - Aspects métier du jeu vidéo - Présentation des différents métiers du jeu vidéo - Présentation du marche et contexte économique - La niche du « serious game » - Histoire des jeux vidéos - La naissance du jeu vidéo - Les grands classiques du jeu vidéo - La « French touch » - Les jeux indépendants - Les jeux de demain - Esthétique - Importance de la cohérence - Impact respectifs de la 2D et de la 3D - Importance du cadre 2. Morphologie ; Scénarisation - Morphologie du jeu vidéo - Game play - Game design - Classification morphologique des jeux vidés - Scénario - Rôle du scénario (par rapport au client, à la cible, au contexte, …) - Gameplay « innovant » Semestre 10 41 Ouvrages Conseillés - Chris Crawford. On game design. New Riders, 2003 - Katie Salen, Eric Zimmerman. Rules of play. The MIT press, 2004 - Stéphane Natkin. Jeux vidéo et médias du XXIè siècle. Vuibert, 2004 42 Semestre 10 1SAMM6M INDEXATION D'OBJETS AUDIOVISUELS ET RECHERCHE D'INFORMATIONS MULTIMEDIA Responsable : Julien Pinquier Email : [email protected] téléphone : 05 61 55 7434 ECTS 6 COURS 40 TD TP 20 Objectifs Par définition, un objet audiovisuel peut être représenté par diverses formes : l’image animée, l’écrit, le son d’ambiance, la parole et le son musical. Diverses applications requièrent la détection d’objets spécifiques à travers la mise en œuvre d’un traitement lui-même spécifique. A l’instar du cours sur la parole, la première partie de cette UE présentera des outils de reconnaissance d’objets audio et vidéo, sous leur forme applicative, tels qu’ils sont exploités dans le domaine industriel. Les raisons qui motivent l’accès à une banque d’information audiovisuelle sont extrêmement hétérogènes. Pour rentabiliser les efforts fournis pour mettre à disposition des contenus auprès d’un ensemble fermé d’utilisateur, comme auprès du grand public, différentes stratégies ont été déployées sur la base de la proposition de standards. La deuxième partie de ce cours présente la vocation de certains de ces standards ainsi que leurs grandes lignes. Pré requis Aucun Description 1. Indexation d'objets audiovisuels (20h C + 20h TP) - Caractérisation et détection d’objets audio et vidéo - Descripteurs audio généralistes et métriques associées - Descripteurs vidéo généralistes et métriques associées - Reconnaissances d’objets spécifiques - Objets audio - Détection de jingles (sons clés) - Fingerprint audio - Objets vidéo - Détection de visages, de personnes - Segmentation et suivi d’objets mobiles (surveillance d’un trafic) - Appariement d’un modèle articulé (corps humain) - Fingerprint vidéo - Objets audiovisuels - Comportement humain - Localisation d’une source sonore - Segmentation - Segmentation d’un contenu audio en composantes de base : parole, musique, silence, etc. - Segmentation en plans - Macrosegmentation d’un document audiovisuel Semestre 10 43 2. Recherche d'informations multimédia (20h C) - Normes et formats pour les métadonnées - Typologies, normes - Dublin Core, RDF - IPTC, XMP, MPEG-7 - Syndication - Schéma de filiation - Interrogation et systèmes de gestion de données multimédia - Langages et protocoles d’interrogation - Principales applications - Systèmes et Projets - Outils - Vers le web sémantique Ouvrages Conseillés - A. Mostefaoui, F. Préteux, V. Lecuire, JM. Moureaux. Gestion des données multimédias (Traité IC2 série Informatique et systèmes d'information). Hermès - B.S. Manjunath, P. Salembier, T. Sikora. Introduction to MPEG-7: Multimedia Content Description Interface, Wiley – 9 Juillet 2002. - Y. Li, C.-C. J. Kuo. Video Content Analysis using Multimodal Information (For Movie Content Extraction, Indexing and Representation). Kluwer academic publishers. - M Cox, L Tadic, E Mulder. Descriptive Metadata for Television: An End-to-End Introduction. Focal Press, Mars 2006. - C.J van Rijsbergen. Information Retrieval. Butterworths, London, 1979. 44 Semestre 10 1SAMM9M AMELIORATION ET RESTAURATION, RENDU DU CONTENU AUDIOVISUEL Responsable : Jérôme Farinas Email : [email protected] téléphone : 05 61 55 7434 ECTS 6 COURS 40 TD TP 20 Objectifs La conception de documents audiovisuels est soumise à de nombreuses contraintes sur l'environnement sonore et visuel (luminosité, espaces colorimétriques, bruit...) qui compliquent leur réalisation. D'autre part, le vieillissement des supports audiovisuels entraîne l'apparition de défauts et de détériorations que l'utilisateur souhaiterait réduire ou faire disparaître. Dans ce cours, nous proposons différentes techniques en vue d'améliorer les rendus visuel et sonore et d'effectuer une restauration des contenus. Pré requis Aucun Description 1. Amélioration et restauration du contenu audiovisuel - Bases théoriques de l'audio et de la vidéo - Production - Perception - Aspects technologiques (capteurs, microphones, haut-parleurs, etc.) - Synthèse du son - Introduction/historique - Architecture d'un système de synthèse - La conversion graphème/phonème - L'analyse du texte pour la prosodie - La synthèse de la prosodie - La synthèse du signal acoustique - Evaluation de la synthèse - Illustrations - Filtrages et restauration - Caractéristiques des supports - Techniques de filtrage, de débruitage - Rehaussement de contraste - Interpolation - Principales dégradations et correction - Syndrome du vinaigre - Rayures, craquelures, drop out - Flikering, jittering - Echo - Variation de cadence Semestre 10 45 - Compensation de lumière, de mouvement. 2. Rendu du contenu audiovisuel - Remastering - Colorisation - Normalisation, égalisation - Time stretching et pitch shifting - Séparation de sources - Présentation de différentes techniques - Débruitage - Séparation de composantes primaires - Spatialisation - Conversion entre les différents codages Ouvrages Conseillés - T Dutoit. An introduction to Text-To-Speech synthesis. Kluwer Academic Publishers - Paul Read. Restoration of Motion Picture Film, Butterworth-Heinemann, 2000 46 Semestre 10 1SAMMCM TRAITEMENT AUTOMATIQUE DE LA PAROLE Responsable : Régine André-Obrecht Email : [email protected] téléphone : 05 61 55 6886 ECTS 6 COURS 40 TD TP 20 Objectifs Les technologies vocales ont connu, ces dernières années, un très important développement. Les systèmes automatiques de reconnaissance de parole ont acquis des performances suffisantes pour être intégrés dans des systèmes interactifs et des applications audiovisuelles de type indexation. Ce cours a pour but de donner les connaissances de base du traitement automatique de la parole. Les paramétrisations et les modèles de classification utilisés en reconnaissance de la parole, du locuteur et de la langue sont étudiés, accompagnés d’une présentation de l’état de l’art au niveau technologique. L’application principalement traitée est l’indexation automatique de documents sonores (mot clé, locuteur, langue). Pré requis Aucun Description 1. Analyse du signal de parole pour la reconnaissance - Analyse par Transformées de Fourier - Analyse spectrale - Analyse LPC. - Débruitage en analyse de parole 2. Modélisation statistique pour le traitement automatique de la parole - Mélange de lois gaussiennes - Modèles de Markov Cachés - Modèles de langage (ngram, nclass) - Apprentissage et adaptation Etude d’applications - Segmentation, identification et vérification du locuteur - Reconnaissance de la langue - Transcription automatique de la parole - Recherche de mots clés Etude algorithmique - Algorithme d’alignement temporel - Distance d’édition - Algorithme de Viterbi - Construction d’un système de recherche de mot clé Semestre 10 47 Ouvrages Conseillés - Calliope. La parole et son traitement automatique. Masson, 1989. - L.Rabiner, B.H. Juang. Fundamentals of Speech Recognition. Prentice Hall Signal Processing Series, 1993 - F. Jelinek. Statistical methods for speech recognition. MIT Press, 1999 48 Semestre 10