Detection and characterization of vocalizations in preterm newborns
Détection et caractérisation de vocalisations chez des nouveaux-nés prématurés
Résumé
The number of premature births is estimated at 15 million per year worldwide and represents 8% of births in France. These babies are cared for in Neonatal Intensive Care Units (NICU) and are subject to special surveillance because of the immaturity of their organs and the complications that may arise. Numerous studies have shown that the analysis of infant crying provides information on their health status and, in the case of premature infants, on their maturation. While early work was based on manual segmentation of often induced crying (usually by pain), current work focuses on spontaneous crying, which requires the development of automatic extraction methods. This non-invasive monitoring approach appears to be extremely relevant given the fragility of the subjects studied. However, the particularly noisy hospital environment where the recordings are made makes the automation of the methods very complex. In this context, and within the framework of the European project Digi-NewB, the objective of this work is to present a complete chain of automatic treatments for the analysis of the cries of premature babies recorded in NICU. This chain gathers: i) a new approach of crying detection composed of a segmentation, realized from the fusion of videos and soundtracks; ii) a classification by deep-learning for the identification of crying among all the segmented sounds (adult voices, alarms...); iii) the estimation of the fundamental frequency of the detected crying by a new approach based on the detection of contours in the spectrogram. The deployment of the processing chain on a database of cries recorded in NICU shows results in agreement with those published in the literature. This validation is encouraging and announces the possibility of automatically observing the evolution of crying in premature babies on large cohorts, in particular in order to characterize their development.
Le nombre de naissances prématurées est estimé à 15 millions par an dans le monde et représente 8% des naissances en France. Ces bébés sont pris en charge en Unités de Soins Intensifs Néonatales (USIN) et font l’objet d’une surveillance particulière du fait de l’immaturité de leurs organes et des complications qui peuvent en découler. De nombreuses études ont montré que l’analyse des pleurs de nourrissons permettait d’obtenir des informations sur leur état de santé et dans le cas des prématurés sur leur maturation. Si les premiers travaux se basaient sur une segmentation manuelle de pleurs souvent induits (généralement par la douleur), les travaux actuels s’intéressent aux pleurs spontanés, ce qui nécessite le développement de méthodes d’extraction automatiques. Cette approche non-invasive de monitoring apparaît comme extrêmement pertinente au vu de la fragilité des sujets étudiés. Cependant, l’environnement hospitalier particulièrement bruité où se déroulent les enregistrements complexifie grandement l’automatisation des méthodes. Dans ce contexte, et dans le cadre du projet européen Digi-NewB, l’objectif de ces travaux est de présenter une chaîne complète de traitements automatiques pour l’analyse des pleurs des prématurés enregistrés en USIN. Cette chaîne regroupe : i) une nouvelle approche de détection des pleurs composée d’une segmentation, réalisée à partir de la fusion de vidéos et de bandes son ; ii) une classification par deep-learning pour l’identification des pleurs parmi tous les sons segmentés (voix d’adultes, alarmes...) ; iii) l’estimation de la fréquence fondamentale des pleurs détectés par une nouvelle approche basée sur la détection de contours dans le spectrogramme. Le déploiement de la chaîne de traitements sur une base de données de pleurs enregistrés en USIN montre des résultats en accord avec ceux publiés dans la littérature. Cette validation est encourageante et annonce la possibilité d’observer automatiquement sur des grandes cohortes l’évolution des pleurs des prématurés, notamment en vue de caractériser leur développement.
| Origine | Version validée par le jury (STAR) |
|---|