Contribution to the improvement of the robustness of perception systems based on multimodal neural networks
Contribution à l’amélioration de la robustesse de systèmes de perception fondés sur des réseaux de neurones profonds multimodaux
Résumé
In order to guarantee an optimal perception for the autonomous vehicle, the analysis of road scenes has been widely explored in the last years in the field of ADAS. More recently, deep learning via neural networks has allowed to overcome a significant performance gap. However, the developed methods are rarely robust in degraded conditions, which can cause a bad interpretation of the road scene and lead to severe accidents. To remedy this, the use of multimodality, taking advantage of sensors from various sources, allows a better analysis of the situation. Nonetheless, this implies a possible cause of degradation: the malfunction or failure of one or more sensors. In this thesis, we address the problem of robustness of multimodal neural networks for the analysis of road scenes in case of sensor malfunctioning. We study the impact of this damaged data on the performance of multimodal convolutional neural networks, and propose techniques to limit the performance losses. First, we review the different proposals using multimodality for road scene analysis in the literature. The different neural networks for object detection, as well as the fusion strategies chosen to support multimodal data are also presented. A focus is made on strategies for improving the robustness of neural networks in degraded conditions. Afterwards, we focus on the 2D detection of road traffic actors. We introduce several convolutional neural network architectures taking as input multimodal image-based data. Several fusion strategies are explored in order to extract and combine informationfrom the modalities in the best possible way while reducing the size of the networks and thus ensuring real-time operation. An analysis of the impact of each input modality on our networks is performed to understand their role in the detection process. Then, we study the problem of robustness of multimodal convolutional neural networks when one or more modalities are missing, i.e. replaced by a null modality containing no information. Several data augmentation techniques are presented to improve the performance of multimodal convolutional neural networks in degraded conditions with partial input data, while maintaining maximum accuracy in ideal conditions withoutmalfunction. An in-depth analysis is also performed on a robust neural network to identify the consequences of one or more missing modalities on its detection process. Finally, we address a more complex case of malfunction, where some of the input modalities are strongly noisy and therefore unusable. We introduce several methods to improve the robustness of neural networks under these conditions, in order to limit the perturbation of noisy modalities on their functioning. We show that our approaches can significantly mitigate the loss of accuracy of our networks in case of noisy modalities, but that a trade-off must be made between performance, robustness and processing time.
Afin de garantir une perception optimale pour le véhicule autonome, l'analyse de scènes routières a largement été explorée durant ces dernières années dans le domaine de l'ADAS. Plus récemment, l'apprentissage profond via des réseaux de neurones a permis de passer un cap significatif en termes de performances. Cependant, les méthodes développées sont rarement robustes en conditions dégradées, pouvant ainsi causer une mauvaise interprétation de la scène routière et engendrer des accidents sévères. Pour remédier cela, l'utilisation de la multimodalité, profitant de capteurs de sources diverses, permet une meilleure analyse de la situation. Cela implique, malgré tout, une cause possible de dégradation : le dysfonctionnement ou la panne d'un ou plusieurs capteurs. Dans cette thèse, nous abordons la problématique de robustesse des réseaux de neurones multimodaux pour l'analyse de scènes routières en cas de dysfonctionnement de capteurs. Nous étudions l'impact de données endommagées sur le fonctionnement de réseaux de neurones convolutionnels multimodaux, et proposons des techniques permettant de limiter les pertes de performances engendrées. Tout d'abord, nous passons en revue les différentes propositions utilisant la muni-modalité pour l'analyse des scènes routières dans la littérature, les différents réseaux de neurones pour la détection d'objets, ainsi que les stratégies de fusion choisies pour prendre en charge les données multimodales sont également présentés. Un accent est mis sur les stratégies permettant d'améliorer la robustesse des réseaux de neurones dans des conditions dégradées. Dans la suite de la thèse, nous nous concentrons sur la détection 2D des usagers de la route. Nous introduisons plusieurs architectures de réseaux de neurones convolutionnels prenant en entrée des données multimodales basées sur l'image. Plusieurs stratégies de fusion sont explorées afin d'extraire et de combiner au mieux l'information des modalités tout en réduisant la taille des réseaux et ainsi assurer un fonctionnement en temps réel. Une analyse de l'impact de chaque modalité d'entrée sur nos réseaux est réalisée afin de comprendre leur rôle dans le processus de détection. Ensuite, nous étudions la problématique de robustesse des réseaux de neurones convolutionnels multimodaux lorsqu'une ou plusieurs modalités sont manquantes, c'est-à-dire remplacée par une modalité nulle, ne contenant aucune information. Plusieurs techniques d'augmentation de données sont présentées pour l'amélioration des performances des réseaux de neurones convolutionnels multimodaux en conditions dégradées avec des données d'entrées partielles, tout en conservant une précision maximum en conditions idéales sans dysfonctionnement. Une analyse en profondeur est également effectuée sur un réseau de neurones robuste pour identifier les conséquences de l'absence d'une ou plusieurs modalités en entrée sur son processus de détection. Enfin, nous abordons un cas plus complexe de dysfonctionnement, où une partie des modalités d'entrées sont fortement bruitées et donc inexploitables. Nous introduisons plusieurs méthodes pour améliorer la robustesse des réseaux de neurones dans ces conditions, afin de limiter la perturbation de ces modalités bruitées sur leur fonctionnement. Nous montrons que nos approches permettent d'atténuer significativement les pertes de précisions de nos réseaux face à des modalités bruitées, mais qu'un compromis est à définir entre performance, robustesse et temps d'exécution.
| Origine | Version validée par le jury (STAR) |
|---|