3D-hyperspectral imaging and optical analysis of skin for the human face
Imagerie hyperspectrale 3D et analyse optique de la peau pour le visage humain
Résumé
Hyperspectral imaging (HSI), a non-invasive, in vivo imaging method that can be applied to measure skin spectral reflectance, has shown great potential for the analysis of skin optical properties on small, flat areas: by combining a skin model, a model of light-skin interaction and an optimization algorithm, an estimation of skin chromophore concentration in each pixel of the image can be obtained, corresponding to quantities such as melanin and blood. The purpose of this work is to extend this method to large, non-flat areas, in particular the human face. The accurate measurement of complex objects such as the face must account for variances of illumination that result from the 3D geometry of an object, which we call irradiance drifts. Unless they are accounted for, irradiance drifts will lead to errors in the hyperspectral image analysis.In the first part of the work, we propose a measurement setup comprising a wide field HSI camera (with an acquisition range of 400 - 700 nm, in 10 nm width wavebands) and a 3D measurement system using fringe projection. As short acquisition time is crucial for in vivo measurement, a trade-off between resolution and speed has been made so that the acquisition time remains under 5 seconds.To account for irradiance drifts, a correction method using the surface 3D geometry and radiometry principles is proposed. The irradiance received on the face is computed for each pixel of the image, and the resulting data used to suppress the irradiance drifts in the measured hyperspectral image. This acts as a pre-processing step to be applied before image analysis. This method, however, failed to yield satisfactory results on those parts of the face almost perpendicular to the optical axis of the camera, such as the sides of the nose, and was therefore discarded in favor of using an optimization algorithm robust to irradiance drifts in the analysis method.Skin analysis from the measured hyperspectral image is performed using optical models and an optimization method. Skin is modeled as a two-layer translucent material whose absorption and scattering properties are determined by its composition in chromophores. Light-skin interactions are modeled using a two-flux method. An inverse problem is solved by optimization to retrieve information about skin composition from the measured reflectance. The chosen optical models represent a trade-off between accuracy and acceptable computation time, which increases exponentially with the number of parameters in the model. The resulting chromophore maps can be added to the 3D mesh measured using the 3D-HSI camera for display purposes.In the spectral reflectance analysis method, skin scattering properties are assumed to be the same for everyone and on every part of the body, which represents a shortcoming. In the second part of this work, the fringe projector originally intended for measuring 3D geometry is used to acquire skin modulation transfer function (MTF), a quantity that yields information about both skin absorption and scattering coefficients. The MTF is measured using spatial frequency domain imaging (SFDI) and analyzed by an optical model relying on the diffusion equation to estimate skin scattering coefficients. On non-flat objects, retrieving such information independently from irradiance drifts is a significant challenge. The novelty of the proposed method is that it combines HSI and SFDI to obtain skin scattering coefficient maps of the face independently from its shape.We emphasize throughout this dissertation the importance of short acquisition time for in vivo measurement. The HSI analysis method, however, is extremely time-consuming, preventing real time image analysis. A preliminary attempt to address this shortcoming is presented, using neural networks to replace optimization-based analysis. Initial results of the method have been promising, and could drastically reduce calculation time from around an hour to a second.
L’imagerie hyperspectrale (HSI), une méthode non invasive permettant de mesurer in vivo la réflectance spectrale, a démontré son fort potentiel pour l’analyse des propriétés optiques de la peau pour des zones planes et de petite taille : l’association d’un modèle optique de peau, d’une modélisation de ses interactions avec la lumière et d’une méthode d’optimisation permet d’analyser l’image hyperspectrale en chaque pixel et d’estimer des cartographies de concentrations en chromophores, comme la mélanine et le sang. Le but de ce travail est l’extension de la méthode pour la mesure et l’analyse de surfaces larges et non planes, et en particulier du visage humain. Les mesures d’objets complexes comme le visage sont affectées par des variations spatiales d’éclairement, que l’on appelle dérives d’éclairement. A moins d’être prises en compte dans le modèle, celles-ci créent des erreurs dans l’analyse des images.Nous proposons en 1ère partie de ce travail une caméra HSI grand-champ (acquisition de bandes spectrales de 10 nm de largeur entre 400 et 700 nm), combinée avec un système d’acquisition de la géométrie 3D par projection de franges. Une acquisition courte étant cruciale in vivo, un compromis entre résolution et vitesse d’acquisition permet un temps d’acquisition inférieur à 5 secondes.La caméra HSI a été associée avec un scanner 3D afin de corriger les dérives d’éclairement en utilisant la géométrie 3D et des principes de radiométrie. L’éclairement reçu par le visage est calculé en chaque pixel puis utilisé pour supprimer les dérives d’éclairement dans l’image hyperspectrale, un prétraitement à appliquer avant l’analyse. Cependant, cette méthode n’est pas satisfaisante sur les zones du visage pratiquement perpendiculaires à l’axe optique de la caméra, comme les côtés du nez, et a été rejetée en faveur d’un algorithme d’optimisation robuste aux dérives d’éclairement dans la méthode d’analyse.L’analyse de la peau à partir des images hyperspectrales est basée sur l’utilisation de modèles optiques. La peau est modélisée par un matériau translucide à deux couches dont les propriétés d’absorption dépendent de sa composition en chromophores. Les interactions lumière-peau sont modélisées à l’aide d’une approche à deux flux. La résolution d’un problème inverse par optimisation permet d’estimer la composition en chromophores à partir de la réflectance spectrale mesurée. Les modèles optiques choisis sont un bon compromis entre une description fidèle de la peau et un temps de calcul acceptable, qui augmente de manière exponentielle avec le nombre de paramètres du modèle. Les cartes de chromophores estimées peuvent être affichées sous forme 3D grâce à l’information mesurée par la caméra HSI-3D.Un point faible de la méthode est le manque d’information sur les propriétés de diffusion de la peau, considérées identiques d’une personne à l’autre et d’une partie du corps à l’autre. Dans la 2nd partie de ce travail, nous utilisons le projecteur de franges initialement dédié à l’acquisition 3D, pour mesurer la fonction de transfert de modulation (FTM) de la peau, qui fournit de l’information sur l’absorption et la diffusion. La FTM est mesurée par imagerie dans le domaine fréquentiel spatial (SFDI) et analysée avec l’équation de la diffusion pour estimer le coefficient de diffusion de la peau. Sur des objets non-plats, l’extraction d’information indépendamment des dérives d’éclairement est un défi important. L’originalité de la méthode proposée repose sur l’association de la HSI et SFDI dans le but d’estimer des cartes de coefficient de diffusion sur le visage indépendamment de sa forme.Nous insistons sur l’importance d’une acquisition courte pour des mesures in vivo, cependant, l’analyse par optimisation demande plusieurs heures de calcul. L’utilisation des réseaux de neurones comme alternative à l’optimisation nous semble prometteur, des premiers résultats ayant montré une forte réduction du temps de calcul, d’environ 1 heure à 1 seconde.
Domaines
Optique [physics.optics]Origine | Version validée par le jury (STAR) |
---|
Loading...