Storing Sequences in Binary Neural Networks with High Efficiency - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2014

Storing Sequences in Binary Neural Networks with High Efficiency

Mémorisation de séquences dans des réseaux de neurones binaires avec efficacité élevée

Xiaoran Jiang
  • Fonction : Auteur
  • PersonId : 954016

Résumé

Sequential structure imposed by the forward linear progression of time is omnipresent in all cognitive behaviors. This thesis proposes a novel model to store sequences of any length, scalar or vectorial, in binary neural networks. Particularly, the model that we introduce allows resolving some well known problems in sequential learning, such as error intolerance, catastrophic forgetting and the interference issue while storing complex sequences, etc. The quantity of the total sequential information that the network is able to store grows quadratically with the number of nodes. And the efficiency - the ratio between the capacity and the total amount of information consumed by the storage device - can reach around 30%. This work could be considered as an extension of the non oriented clique-based neural networks previously proposed and studied within our team. Those networks composed of binary neurons and binary connections utilize the concept of graph redundancy and sparsity in order to acquire a quadratic learning diversity. To obtain the ability to store sequences, connections are provided with orientation to form a tournament-based neural network. This is more natural biologically speak- ing, since communication between neurons is unidirectional, from axons to synapses. Any component of the network, a cluster or a node, can be revisited several times within a sequence or by multiple sequences. This allows the network to store se- quences of any length, independent of the number of clusters and only limited by the total available resource of the network. Moreover, in order to allow error correction and provide robustness to the net- work, both spatial assembly redundancy and sequential redundancy, with or without anticipation, may be combined to offer a large amount of redundancy in the activation of a node. Subsequently, a double layered structure is introduced with the purpose of accurate retrieval. The lower layer of tournament-based hetero-associative network stores sequential oriented associations between patterns. An upper auto-associative layer of mirror nodes is superposed to emphasize the co-occurrence of the elements belonging to the same pattern, in the form of a clique. This model is then extended to a hierarchical structure, which helps resolve the interference issue while storing complex sequences. This thesis also contributes in proposing and assessing new decoding rules with respect to sparse messages in order to fully benefit from the theoretical quadratic law of the learning diversity. Besides the performance aspect, the biological plausibility is also a constant concern during this thesis work.
La séquentialité est omniprésente dans la cognition humaine et dans le raisonnement. Cette thèse a été consacrée à l'apprentissage de séquences de longueur quelconque, scalaires ou vectorielles, dans des réseaux de neurones binaires. Ce travail fait suite à l'étude des réseaux de cliques neurales précédemment menée au sein de l'équipe. Ces réseaux formés par des connections binaires exploitent au plus haut degré les concepts de redondance et de parcimonie pour offrir une diversité d'apprentissage suivant une loi quadratique. Notre travail s'est déroulé en trois parties. Dans la première d'entre elles, nous avons étudié différentes stratégies pour diminuer la redondance graphique de la clique afin de maximiser l'efficacité informationnelle. Quelques nouvelles règles de décodage ont également été proposées afin de profiter pleinement du gain apporté par le traitement itératif. Dans la seconde partie, nous avons introduit l'unidirectionnalité des connexions pour renforcer la plausibilité biologique du modèle. Ceci nous à conduit à proposer une structure appelée "chaîne de tournois" capable de mémoriser des séquences avec une efficacité élevée, de l'ordre de 30 %. Le processus de restitution, tolérant les erreurs transitoires, est aidé par un mécanisme d'anticipation que nous avons introduit et validé. La troisième partie du travail nous a permis de définir une structure à double couche combinant des tournois et des cliques dans le but d'améliorer la performance de la restitution. Ce modèle a ensuite été étendu selon un principe hiérarchique qui permet de résoudre le problème des interférences pouvant survenir entre des séquences vectorielles complexes présentes en grand nombre dans le réseau.
Fichier principal
Vignette du fichier
2014telb0303_Jiang_Xiaoran.pdf (850.25 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01071038 , version 1 (03-10-2014)

Identifiants

  • HAL Id : tel-01071038 , version 1

Citer

Xiaoran Jiang. Storing Sequences in Binary Neural Networks with High Efficiency. Computer Science [cs]. Télécom Bretagne, Université de Bretagne Occidentale, 2014. English. ⟨NNT : ⟩. ⟨tel-01071038⟩
362 Consultations
563 Téléchargements

Partager

Gmail Facebook X LinkedIn More