Activity Recognition and Uncertain Knowledge in Video Scenes Applied to Health Care Monitoring
Reconnaissance d'activités et connaissances incertaines dans les scènes vidéos appliquées à la surveillance de personnes âgées.
Résumé
This work deals with the problem of human activity recognition. It is greatly motivated by research in video activity understanding applied to the domain of health care monitoring. Research on activity recognition is receiving an increasing attention from the scientific community today. It is one of the most challenging problem in computer vision and artificial intelligence domains. The main goal of the current activity recognition research consists in recognizing and understanding short-term action and long-term complex activities. In this work, we propose two main contributions. The first contribution consists of an approach for video activity recognition that addresses the uncertainty management issues for accurate event detection. The second contribution consists in defining an ontology and a knowledge base for health care monitoring and in particular Alzheimer monitoring at hospital. The proposed activity recognition approach combines semantic modelling together with a probabilistic reasoning to cope with the errors of low-level detectors and to handle activity recognition uncertainty. The probabilistic recognition of activities is based on Bayesian probability theory which provides a consistent framework for dealing with uncertain knowledge. The proposed probabilistic constraint verification approach based on Gaussian probability model enforces the accuracy of the activity recognition algorithm. We work in close collaboration with clinicians to define an ontology and a knowledge base for Alzheimer monitoring at hospital. The defined ontology contains several concepts useful for health care. We also define a number of criteria which could be observed by camera sensors to allow detection of early symptoms of Alzheimer's disease. We validate the proposed algorithm on real-world videos. The experimental results show that the proposed activity recognition algorithm can successfully recognize activities with a high recognition rate. The obtained results for health care monitoring highlight the advantages of the use of the proposed approach as a support platform for clinicians to objectively measure patient performance and obtain a quantifiable assessment of instrumental activities of daily living and gait analysis.
Cette thèse aborde le problème de la reconnaissance d'activités. Elle est fortement motivée par la recherche dans le domaine de la reconnaissance des activités vidéo appliquée au domaine de la surveillance de personnes âgées. Dans ce travail, nous proposons deux contributions principales. La première contribution consiste en une approche pour la reconnaissance d'activité vidéo avec gestion de l'incertitude pour une détection précise d'événements. La deuxième contribution consiste à définir une ontologie et une base de connaissances pour la surveillance dans le domaine de la santé et en particulier la surveillance à l'hôpital de patients atteints de la maladie d'Alzheimer. L'approche de reconnaissance d'activité proposée combine une modélisation sémantique avec un raisonnement probabiliste pour faire face aux erreurs des détecteurs de bas niveau et pour gérer l'incertitude de la reconnaissance d'activité. La reconnaissance probabiliste des activités est basée sur la théorie des probabilités bayésienne qui fournit un cadre cohérent pour traiter les connaissances incertaines. L'approche proposée pour la vérification probabiliste des contraintes spatiale et temporelle des activités est basée sur le modèle de probabilité gaussienne. Nous avons travaillé en étroite collaboration avec les cliniciens pour définir une ontologie et une base de connaissances pour la surveillance à l'hôpital de patients atteints de la maladie d'Alzheimer. L'ontologie définie contient plusieurs concepts utiles dans le domaine de la santé. Nous avons également défini un certain nombre de critères qui peuvent être observés par les caméras pour permettre la détection des premiers symptômes de la maladie d'Alzheimer. Nous avons validé l'algorithme proposé sur des vidéos réelles. Les résultats expérimentaux montrent que l'algorithme de reconnaissance d'activité proposé a réussi à reconnaitre les activités avec un taux élevé de reconnaissance. Les résultats obtenus pour la surveillance de patients atteints de la maladie d'Alzheimer mettent en évidence les avantages de l'utilisation de l'approche proposée comme une plate-forme de soutien pour les cliniciens pour mesurer objectivement les performances des patients et obtenir une évaluation quantifiable des activités de la vie quotidienne.