Monitoring elderly People by Means of Cameras

Nuadu project – Technologies for Personal Hearth
Seminar, June 4th, 2009
Monitoring elderly People
by Means of Cameras
Laurent LUCAT
Laboratory of Embedded Vision Systems
CEA LIST, Saclay, France
1
NUADU
Summary
1. Video system objectives & requirements
2. Results
1. simulations with 0 / 1 people
2. simulations with 0 / 1 / 2 people
3. simulations involving complex scenarios
3. Performances summarization
4. Perspectives
2
NUADU
1. Video system objectives & requirements
Video system description:
3 wide-angle VGA color cameras, calibrated
connected to a standard PC via a switch
Fonctions (output) of the video system:
Presence detection and basic enumeration (0, 1 or more people)
People localization (on the bed, on a chair, armchair…)
Posture detection (standing, sitting, lying)
• suitable for fall detection
video analysis output merged with other sensor data to confirm people fall
Requirements for the processing:
to be robust (e.g. against outdoor illumination changes & occlusions)
to adapt to scene changes (e.g. new people entering or leaving the room)
to be real-time on a standard PC
3
NUADU
2. Results :
1. simulations with 0 / 1 people
Displayed data : posture + location
4
( + 3D bounding box)
NUADU
2. Results :
Displayed data :
5
2. simulations with 0 / 1 / 2 people
people enumeration + posture ( if 1 person, only)
NUADU
2. Results : 3. simulations on high-complex scenario
0 / 1 / 2 / 3 people with multiple occlusions, all people being mooving
Displayed data :
people enumeration + posture ( if 1 person, only)
6
NUADU
3. Performances summarization
A video analyser has been proposed, with
good robustness against
• outdoor illumination changes
• spatial occlusions
• small objects displacements
localization precision sufficient for the application
good basic posture detection, suitable for people fall detection
efficient people tracking up to 2 people inside the room
Real-time performances
can currently process 7 frames/sec on a 3GHz PC with 3 VGA cameras:
• unoptimized research-oriented C++ code
• does not make use of multi-threading / multi-core
could jump to 15 fps with small effort
in an industrial version, several rooms could be managed using one sole PC
7
NUADU
4. Perspectives
Extension of robustness for a « real-life » deployment
indoor illumination changes (light switched on / off, TV on / off…)
large object displacements
improve performances with a large number of people
• involving people discrimination
fusion with other sensor data, such as audio, IR sensors
Extension of the people activity analysis
from posture to gesture analysis…
allowing life-activity suitable monitoring
Improvement of real-time performances
this may include optimization of the number of cameras
Adaptations for other applications, e.g.
power management for smart buildings
other security aspects: intrusions, surveillance for children
8
NUADU
9
NUADU
10
NUADU
Main technical choices
Robustness is more critical than spatial precision…
wide-angle cameras, providing several views of the scene
3D approach, dealing with spatial occlusions and improving localization reliability
Efficiency & real-time capability target
background subtraction using hierarchical approach
• coarse resolution analysis is often sufficient
• iteratively finer analysis in critical areas
people are tracked using a simple
matching 3D rectangular box
people posture is deduced from
the 3D box form factor
11
NUADU
Monitoring Vidéo
Principe
Détection des zones d’activités – modélisation de la scène
Classification des objets détectés après fusion multi-vues
facteur de forme (une classification plus fine serait à développer)
Suivi 3D des personnes
gestion des apparition disparition
gestion multi-personnes
Estimation de la posture
analyse à partir du résultat du suivi
Envoi de la description de la scène
au moteur de corrélation
nombre de personnes
localisation dans la pièce
posture de la personne
état du système
12
NUADU
Monitoring Vidéo
Suivi/Analyse de posture
Vidéo
Performances
Robustesse des algorithmes
• Résultats obtenus sur site (conditions réalistes)
• Pas de non-détection des personnes
Précision
• Localisation suffisamment précise pour l’application
• Imprécision sur la posture acceptable
Puissance de calcul
• actuellement 7 fps sur PC standard
• optimisation en cours
>15 fps
• multi-threading
• algorithmie (enchainement des opérations)
• pour une version industrielle
• optimisation du code pour réduire la puissance de calcul
• étude de l’infrastructure de calcul à mettre en œuvre
13
NUADU
Monitoring Vidéo
Suivi multi-personnes
2 personnes
dénombrement et localisation corrects
postures indéterminées lorsque les deux personnes sont
très proches
3 personnes
concentration trop importante
nécessite d’autres critères de discrimination
14
NUADU
Monitoring Vidéo
Synthèse
Système intégré sur le site pilote français
Mise en œuvre d’un réseau de caméra IP
Calibrage multi-caméra sur site
Connexion au serveur d’application (moteur de corrélation)
Détection de présence / Suivi / Discrimination de posture
Robuste, précis
Multi-personne (cas limités)
Temps-réel
Dissémination
Video Monitoring of Vulnerable People in Home Environment, Q-C Pham,
Y.Dhome, L.Gond, P.Sayd. In 6th Int Conf. On Smart Homes and Health
Telematics (ICOST – 2008), July 2008, Ames, Iowa, USA.
Présentation du monitoring vidéo au Smart Vision Day, Thales, 27 Mars 2009,
Vélizy,
Participation au workshop Nuadu organisé par VTT à Espoo, Juin 2009
15
NUADU
Monitoring Vidéo
Perspectives
Poursuivre l’exploitation de cette technologie dans le domaine de la santé
Améliorer les capacités du monitoring vidéo Nuadu
gérer le multi-personnes (discrimination et identification des individus, fiabilité du suivi,
postures dans un groupe)
aborder des sites plus vastes (appartement, étage) avec optimisation du nombre de
caméras
reconnaissance d’activités (exercice, lecture, cuisine…)
poursuivre la collaboration avec les capteurs domotiques et audio
Une thèse débutera en Septembre 2009 sur le monitoring vidéo d’activité
Etendre l’exploitation de la technologie au bâtiment intelligent
gestion de l’énergie, amélioration du confort
sécurisation des lieux de vie (intrusion, chute, comportement à risque d’enfant…)
16
NUADU