Vision and deep learning methods applied to maritime surveillance
Méthodes de vision et d'apprentissage profond appliquées à la surveillance maritime.
Résumé
This thesis deals with the various issues related to the detection of ships in a maritime surveillance context. More specifically, we are interested in the fight against the asymmetric threat by trying to establish situational awareness in a maritime environment. This involves the early detection and classification of maritime targets of different sizes, depths, shapes, textures and contrasts. Thus, this paper describes a novel deep learning based maritime situation awareness approach using various definition videos. The application context in which we are located involves processing very high definition videos (typically 4K) in near real time. This double constraint does not allow us to use current state-of-the-art methods, which is why we propose an original approach. Maritime object detection is achieved in three main steps. At first, a key region based tracking algorithm allows to, dynamically and parsimoniously, extract high-quality region proposals mainly focalized around rigid (i.e. ; potential object) locations. The latter are, further, fed into a Fast-RCNN convolutional neural network to perform objectness detection and regression of bounding rectangles positioned on ships. Finally, a mere box post-regression operation of bounding rectangles makes enables to extract the various ships present in the maritime scene. The detection of ships constituting only one of the processing steps within the framework of a complete monitoring platform, the various approaches developed have been integrated into the R&D DIAMANT project (Image Detection Adapted to Asymmetric Naval and Terrestrial Threats) aimed at completing the processing chain.
Ce mémoire traite des différentes problématiques liées à la détection de navires dans un contexte de surveillance maritime. Plus particulièrement, nous nous intéressons à la lutte contre la menace asymétrique en tentant d’établir une tenue de situation dans un environnement maritime. Cela implique la détection précoce et la classification des cibles maritimes de différentes tailles, profondeurs, formes, textures et contrastes. Ainsi, nous proposons une nouvelle approche de tenue de situation maritime temps réel basée sur l’apprentissage profond et utilisant des vidéos de définitions variées. Le contexte applicatif dans lequel nous nous situons implique de traiter en temps quasi réel des vidéos de très haute définition (typiquement du 4K). Cette double contrainte ne nous permet pas d’utiliser les méthodes actuelles de l’état de l’art c’est pourquoi nous proposons une approche originale. La détection d’objets maritimes est réalisée en trois étapes principales. Dans un premier temps, un algorithme de suivi de régions d’intérêt permet, de manière dynamique et parcimonieuse, d’extraire des propositions de régions de haute qualité principalement localisées autour de zones rigides (i.e. contenant des objets potentiels). Ces dernières sont, en outre, introduites dans un réseau de neurones convolutif Fast-RCNN pour effectuer une détection d’objectivité et une régression des rectangles englobants positionnés sur les bateaux. Enfin, une simple opération de post-régression des carrés de détection permet d’extraire les différents navires présents dans la scène maritime. La détection des navires ne constituant qu’une des étapes de traitement dans le cadre d’une plateforme de surveillance complète, les différentes approches développées ont été intégrées dans le projet de R&D DIAMANT (Détection Image Adaptée aux Menaces Asymétriques Navales et Terrestres) visant à compléter la chaîne de traitement.
| Origine | Version validée par le jury (STAR) |
|---|