On identifiability of deep ReLU neural networks - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2023

On identifiability of deep ReLU neural networks

L’identifiabilité des réseaux de neurones profonds ReLU

Résumé

This thesis is focused on the question of identifiability for deep ReLU neural networks. Neural networks admit parameters in the form of weights and biases, and given a parameter choice, a network implements a function. The general question of identifiability is: if the functions implemented by two networks are equal, or if they coincide on a given set, do they have the same parameters? In this thesis, we propose three contributions revolving around this subject. First contribution: The possibility for one to recover the parameters –weights and biases– of a neural network thanks to the knowledge of its function on a subset of the input space can be, depending on the situation, a curse or a blessing. On one hand, recovering the parameters allows for better adversarial attacks and could also disclose sensitive information from the dataset used to construct the network. On the other hand, if the parameters of a network can be recovered, it guarantees the user that the features in the latent spaces can be interpreted. It also provides foundations to obtain formal guarantees on the performances of the network. It is therefore important to characterize the networks whose parameters can be identified and those whose parameters cannot. In this work, we provide a set of conditions on a deep fully-connected feedforward ReLU neural network under which the parameters of the network are uniquely identified –modulo permutation and positive rescaling– from the function it implements on a subset of the input space. Second contribution: Is a sample rich enough to determine, at least locally, the parameters of a neural network? To answer this question, we introduce a new local parameterization of a given deep ReLU neural network by fixing the values of some of its weights. This allows us to define local lifting operators whose inverses are charts of a smooth manifold of a high dimensional space. The function implemented by the deep ReLU neural network composes the local lifting with a linear operator which depends on the sample. We de- rive from this convenient representation a geometric necessary and sufficient condition of local identifiability. Looking at tangent spaces, the geometric condition provides: 1/ a sharp and testable necessary condition of identifiability and 2/ a sharp and testable sufficient condition of local identifiability. The validity of the conditions can be tested numerically using backpropagation and matrix rank computations. Third contribution: We investigate properties and computational aspects of local complexity measures of deep ReLU neural networks, recently introduced in (Grigsby et. al 2022). The considered complexity measures are linked to the local geometry of an image set and a pre-image set of the function implemented by the network, for a given sample. The local geometry of the pre-image set and of the image set are linked through the differential of the outputs of the network with respect to the parameters, for a given finite sample X. In particular, we consider the rank of this differential. The pre-image set represents the redundancies in the parameters of a network. Intuitively, the more there are redundancies in the parameters, the less the space of function represented by the network is rich and complex. Amongst other properties, we notably try to understand how these objects behave during optimization. The investigation done in this contribution is directly linked to the question of identifiability, as the pre-image set represents the redundancies of the parameters of the network.
Cette thèse étudie la question de l’identifiabilité des réseaux de neurones profonds ReLU. Les réseaux de neurones admettent des paramètres sous forme de poids et de biais, et avec un choix de paramètres donné, un réseau implémente une fonction. La question générale de l’identifiabilité est la suivante : si les fonctions implémentées par deux réseaux sont égales, ou si elles coïncident sur un ensemble donné, ont-elles les mêmes paramètres ? Dans cette thèse, nous proposons trois contributions qui tournent autour de ce sujet. Première contribution : La possibilité de récupérer les paramètres – poids et biais – d’un réseau de neurones grâce à la connaissance de sa fonction sur un sous-ensemble de l’espace d’entrée peut être, selon la situation, une malédiction ou une bénédiction. D’un côté, récupérer les paramètres facilite les attaques adversariales et pourrait également révéler des informations sensibles du jeu de données utilisé pour entraîner le réseau. D’un autre côté, si les paramètres d’un réseau peuvent être récupérés, cela garantit à l’utilisateur que les caractéristiques dans les espaces latents peuvent être interprétées. Cela fournit également les bases pour obtenir des garanties formelles sur les performances du réseau. Il est donc important de caractériser les réseaux dont les paramètres peuvent être identifiés et ceux dont les paramètres ne le peuvent pas. Dans ce travail, nous fournissons un ensemble de conditions sur un réseau de neurones profond feedforward fully- connected ReLU, garantissant que les paramètres du réseau sont identifiables de manière unique – modulo permutation et rescalings positifs– à partir de la fonction que le réseau implémente sur un sous-ensemble de l’espace d’entrée. Deuxième contribution : Un échantillon est-il suffisamment riche pour déterminer, au moins localement, les paramètres d’un réseau de neurones ? Pour répondre à cette question, nous introduisons une nouvelle paramétrisation locale d’un réseau de neurones ReLU profond donné en fixant les valeurs de certains de ses poids. Cela nous permet de définir des opérateurs de lifting locaux dont les inverses sont des cartes d’une variété lisse d’un espace de grande dimension. La fonction implémentée par le réseau de neurones ReLU profond compose le lifting local avec un opérateur linéaire qui dépend de l’échantillon. Nous dérivons de cette représentation pratique une condition géométrique nécessaire et suffisante d’identifiabilité locale. En examinant les espaces tangents, la condition géométrique fournit : 1/ une condition nécessaire sharp et testable d’identifiabilité et 2/ une condition suffisante sharp et testable d’identifiabilité locale. La validité des conditions peut être testée numériquement à l’aide de la rétropropagation et du calcul du rang des matrices. Troisième contribution : Nous examinons les propriétés et les aspects computationnels des mesures de complexité locale des réseaux de neurones ReLU profonds, récemment introduites dans (Grigsby et al. 2022). Les mesures de complexité considérées sont liées à la géométrie locale d’un ensemble d’images et d’un ensemble de pré-images de la fonction implémentée par le réseau, pour un échantillon donné. La géométrie locale de l’ensemble de pré-images et de l’ensemble d’images est liée par la différentielle des sorties du réseau par rapport aux paramètres, pour un échantillon fini X. En particulier, nous considérons le rang de cette différentielle. L’ensemble de pré-images représente les redondances dans les paramètres d’un réseau. Intuitivement, plus il y a de redondances dans les paramètres, moins l’espace des fonctions représentées par le réseau est riche et complexe. Parmi d’autres propriétés, nous cherchons notamment à comprendre comment ces objets se comportent pendant l’optimisation. Le travail mené dans cette contribution est directement liée à la question de l’identifiabilité, l’ensemble de pré-images représentant les redondances des paramètres du réseau.
Fichier principal
Vignette du fichier
110447_BONA_2023_archivage.pdf (2.52 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04648542 , version 1 (15-07-2024)

Identifiants

  • HAL Id : tel-04648542 , version 1

Citer

Joachim Bona-Pellissier. On identifiability of deep ReLU neural networks. Statistics [math.ST]. Université Toulouse Capitole, 2023. English. ⟨NNT : ⟩. ⟨tel-04648542⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More