Stereoscopic computer vision for target detection and tracking applied to automotive
Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile
Résumé
The increasing complexity of the driving environment and the efforts
for improving safety in the roads, explain the interest car
manufacturers put on the development of automatic driver assistance
technology. Many vehicles available on the market are already equipped
with such systems. While we have become proficient in judging the
state of the vehicle (speed, position, etc.), judging the surrounding
environment remains a difficult task. Among all the sensors capable of
perceiving the complexity of an urban environment, stereo-vision
has interesting capabilities, a large spectrum of applications
(pedestrian detection, vehicle tracking, white-line detection, etc.)
and a competitive price. For these reasons, Renault aims to identify
and solve the problems related to the implementation of such a system
in a vehicle series. The first related issue concerns the
development of the stereo-system calibration. Indeed the capability of
the system to provide measurements depends on parameters being
properly estimated, even when the system undergoes extreme conditions
(high temperatures, shock, vibration ...). Therefore, we present an
evaluation methodology that measures the degradation of the system's
performance with respect to the calibration. The second problem deals
with the detection of obstacles. The method we propose uses the
properties of rectification in an original fashion, and segments the
scene in road and obstacles. The last issue relates to the calculation
of the obstacles' speed. A large majority of approaches in the
literature approximate the speed of an obstacle from its successive
positions. In this calculation, the accumulation of uncertainties
makes this estimate extremely noisy. Our approach effectively combines
the strengths of the stereo-vision and optical flows to directly
obtain a robust and precise measure of 3-D speed.
for improving safety in the roads, explain the interest car
manufacturers put on the development of automatic driver assistance
technology. Many vehicles available on the market are already equipped
with such systems. While we have become proficient in judging the
state of the vehicle (speed, position, etc.), judging the surrounding
environment remains a difficult task. Among all the sensors capable of
perceiving the complexity of an urban environment, stereo-vision
has interesting capabilities, a large spectrum of applications
(pedestrian detection, vehicle tracking, white-line detection, etc.)
and a competitive price. For these reasons, Renault aims to identify
and solve the problems related to the implementation of such a system
in a vehicle series. The first related issue concerns the
development of the stereo-system calibration. Indeed the capability of
the system to provide measurements depends on parameters being
properly estimated, even when the system undergoes extreme conditions
(high temperatures, shock, vibration ...). Therefore, we present an
evaluation methodology that measures the degradation of the system's
performance with respect to the calibration. The second problem deals
with the detection of obstacles. The method we propose uses the
properties of rectification in an original fashion, and segments the
scene in road and obstacles. The last issue relates to the calculation
of the obstacles' speed. A large majority of approaches in the
literature approximate the speed of an obstacle from its successive
positions. In this calculation, the accumulation of uncertainties
makes this estimate extremely noisy. Our approach effectively combines
the strengths of the stereo-vision and optical flows to directly
obtain a robust and precise measure of 3-D speed.
La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent l'intérêt que porte les constructeurs automobiles aux travaux sur l'aide à la conduite. De nombreux systèmes équipent déjà les véhicules de la rue. Alors que la perception de l'état du véhicule (vitesse, position, etc.) est maîtrisée, celle de l'environnement reste une tache difficile.
Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules.
La première problématique à maîtriser concerne le calibrage du système
stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.
Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles.
La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise.
Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules.
La première problématique à maîtriser concerne le calibrage du système
stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.
Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles.
La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise.
Fichier principal
thesis.pdf (20.59 Mo)
Télécharger le fichier
2008-06-01_Soutenance.ppt (14.12 Mo)
Télécharger le fichier
| Format | Autre |
|---|
Loading...