Towards synergistic models of motion information processing in biological and artificial vision - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2017

Towards synergistic models of motion information processing in biological and artificial vision

Vers des modèles synergiques de l'estimation du mouvement en vision biologique et artificielle

Résumé

This thesis addresses the study of the motion perception in primates. We propose that scaling up the models rooted in biological vision by taking a task centric approach would gives us further insights to probe biological vision and better constraints to design models. The first part of this thesis relates to a feedforward view of how the motion information is processed in the mammalian brains with specific focus on areas V1 and MT. Based on a standard physiological model describing the activity of motion sensitive neurons in areas V1 and MT, we propose a feedforward model for dense optical flow estimation. This feedforward V1-MT model is benchmarked with modern computer vision datasets and results form a basis to study multiple aspects of dense motion estimation. Benchmarking results demonstrated that a sharp optical flow map cannot be obtained by considering isotropic pooling and motion estimation is disrupted in regions close to object or motion boundaries. It also shows a blindspot in the modelling literature that spatial association of the extracted motion information has not been attempted or has been limited to recovering coarser attributes. In order to improve the motion estimation, we investigated the pooling by MT neurons in terms of spatial-extent and selectivity for integration as well as the decoding strategy in order to obtain a spatially dense optical flow map. We show that by incorporating a pooling strategy that is regulated by form-based cues and considering lateral propagation of the activity, the motion estimation quality is improved. Interestingly, incorporating the form based cues amounts to addition of neurons with different kinds of selectivity to the network. This raises a question, whether or not a minimal network with recurrent interactions in feature domain can exhibit different kinds of feature selectivities or we need to consider explicitly cells with different kinds of selectivity? This question relates to the second part of the thesis. We investigated this question using a ring network model under neural fields formalism with motion direction as feature space, closely mimicing MT physiological experiments. Our model produced a rich variety of results. Our results indicate that a variety of tuning behaviors found in MT area can be reproduced by a minimal network of directionally tuned cells, explicit 2D cues need not be required for motion integration, dynamical changes inthe MT neuronal tuning reported in the literature can be explained through feature domain recurrent interactions and also open the door for accounting transparency by challenging the high inhibition regimes considered by many models in the literature for motion integration. To conclude, we re-emphasize on task-centric modelling approaches and several directions for interfacing studies in biological and computer vision.
Cette thèse porte sur l'étude de la perception du mouvement chez les primates. Nous proposons que la mise à l'échelle des modèles enracinés dans la vision biologique en adoptant une approche centrée sur les tâches nous permettrait de mieux comprendre la vision biologique et de meilleures contraintes pour concevoir des modèles. La première partie de cette thèse concerne une vue d'avance sur la façon dont les informations sur les mouvements sont traitées dans les cerveaux des mammifères avec un accent particulier sur les zones V1 et MT. Sur la base d'un modèle physiologique standard décrivant l'activité des neurones sensibles aux mouvements dans les zones V1 et MT, nous proposons un modèle feedforward pour l'estimation du débit optique dense. Ce modèle feed-forward V1-MT est comparé aux ensembles de données modernes sur la vision par ordinateur et les résultats constituent une base pour étudier plusieurs aspects de l'estimation du mouvement dense. Les résultats de l'analyse comparative ont démontré qu'une carte de flux optique nette ne peut être obtenue en considérant le regroupement isotrope et l'estimation de mouvement est perturbée dans des régions proches des limites d'objet ou de mouvement. Il montre également un point mort dans la littérature de modélisation selon laquelle l'association spatiale de l'information de mouvement extraite n'a pas été tentée ou s'est limitée à récupérer des attributs plus grossiers. Afin d'améliorer l'estimation du mouvement, nous avons étudié la mise en commun par les neurones MT en termes d'étendue spatiale et de sélectivité pour l'intégration ainsi que la stratégie de décodage afin d'obtenir une carte de flux optique spatialement dense. Nous montrons qu'en incorporant une stratégie de mise en commun qui est réglementée par des indices formés et en considérant la propagation latérale de l'activité, la qualité de l'estimation du mouvement est améliorée. Fait intéressant, l'incorporation des indices basés sur la forme équivaut à l'ajout de neurones avec différents types de sélectivité au réseau. Cela soulève une question, qu'un réseau minimal ou non possédant des interactions récurrentes dans un domaine de fonctionnalité puisse-t-il présenter différents types de sélectivité d'entités ou il faut considérer explicitement des cellules avec différents types de sélectivité? Cette question concerne la deuxième partie de la thèse. Nous avons étudié cette question à l'aide d'un modèle de réseau en anneau dans le formalisme des champs neural avec la direction du mouvement comme espace caractéristique, imitant de près les expériences physiologiques du MT. Notre modèle a produit une grande variété de résultats. Nos résultats indiquent qu'une variété de comportements d'accord trouvés dans la zone MT peut être reproduit par un réseau minimal de cellules délocalisées de manière directe, des indices 2D explicites ne doivent pas être nécessaires pour l'intégration du mouvement, les changements dynamiques dans l'accord neuronal MT rapporté dans la littérature peuvent s'expliquer par Les interactions récurrentes de domaine caractéristique et ouvrent la porte à la transparence comptable en mettant au défi les régimes d'inhibition élevés considérés par de nombreux modèles dans la littérature pour l'intégration de mouvement. Pour conclure, nous insistons sur les approches de modélisation axées sur les tâches et sur plusieurs directions pour l'interfaçage des études en vision biologique et informatique.
Fichier principal
Vignette du fichier
Medathati_PhysicalCopies.pdf (62.62 Mo) Télécharger le fichier

Dates et versions

tel-01639367 , version 1 (24-08-2017)
tel-01639367 , version 2 (20-11-2017)

Identifiants

  • HAL Id : tel-01639367 , version 1

Citer

Naga Venkata Kartheek Medathati. Towards synergistic models of motion information processing in biological and artificial vision. Computer Science [cs]. UCA, Inria, 2017. English. ⟨NNT : 2016AZUR4127⟩. ⟨tel-01639367v1⟩
767 Consultations
462 Téléchargements

Partager

Gmail Facebook X LinkedIn More