Riemannian and sub-Riemannian methods for dimension reduction
Méthodes riemanniennes et sous-riemanniennes pour la réduction de dimension
Résumé
In this thesis, we propose new methods for dimension reduction based on differ-
ential geometry, that is, finding a representation of a set of observations in a space
of lower dimension than the original data space. Methods for dimension reduction
form a cornerstone of statistics, and thus have a very wide range of applications. For
instance, a lower dimensional representation of a data set allows visualization and
is often necessary for subsequent statistical analyses. In ordinary Euclidean statis-
tics, the data belong to a vector space and the lower dimensional space might be
a linear subspace or a non-linear submanifold approximating the observations. The
study of such smooth manifolds, differential geometry, naturally plays an important
role in this last case, or when the data space is itself a known manifold. Methods
for analysing this type of data form the field of geometric statistics. In this setting,
the approximating space found by dimension reduction is naturally a submanifold
of the given manifold. The starting point of this thesis is geometric statistics for
observations belonging to a known Riemannian manifold, but parts of our work form
a contribution even in the case of data belonging to Euclidean space, R^d.
An important example of manifold valued data is shapes, in our case discrete
curves or surfaces. In evolutionary biology, researchers are interested in studying
reasons for and implications of morphological differences between species. Shape is
one way to formalize morphology. This application motivates the first main contribu-
tion of the thesis. We generalize a dimension reduction method used in evolutionary
biology, phylogenetic principal component analysis (P-PCA), to work for data on a
Riemannian manifold - so that it can be applied to shape data. P-PCA is a version
of PCA for observations that are assumed to be leaf nodes of a phylogenetic tree.
From a statistical point of view, the important property of such data is that the ob-
servations (leaf node values) are not necessarily independent. We define and estimate
intrinsic weighted means and covariances on a manifold which takes the dependency
of the observations into account. We then define phylogenetic PCA on a manifold
to be the eigendecomposition of the weighted covariance in the tangent space of the
weighted mean. We show that the mean estimator that is currently used in evolution-
ary biology for studying morphology corresponds to taking only a single step of our
Riemannian gradient descent algorithm for the intrinsic mean, when the observations
are represented in Kendall’s shape space.
Our second main contribution is a non-parametric method for dimension reduction
that can be used for approximating a set of observations based on a very flexible class
of submanifolds. This method is novel even in the case of Euclidean data. The method
works by constructing a subbundle of the tangent bundle on the data manifold M
via local PCA. We call this subbundle the principal subbundle. We then observe
that this subbundle induces a sub-Riemannian structure on M and we show that the
resulting sub-Riemannian geodesics with respect to this structure stay close to the set
of observations. Moreover, we show that sub-Riemannian geodesics starting from a
given point locally generate a submanifold which is radially aligned with the estimated
subbundle, even for non-integrable subbundles. Non-integrability is likely to occur
when the subbundle is estimated from noisy data, and our method demonstrates that
sub-Riemannian geometry is a natural framework for dealing which such problems.
Numerical experiments illustrate the power of our framework by showing that we can
achieve impressively large range reconstructions even in the presence of quite high
levels of noise.
Nous proposons dans cette thèse de nouvelles méthodes de réduction de dimension fondées sur la géométrie différentielle. Il s'agit de trouver une représentation d'un ensemble d'observations dans un espace de dimension inférieure à l'espace d'origine des données. Les méthodes de réduction de dimension constituent la pierre angulaire des statistiques et ont donc un très large éventail d'applications. Dans les statistiques euclidiennes ordinaires, les données appartiennent à un espace vectoriel et l'espace de dimension inférieure peut être un sous-espace linéaire ou une sous-variété non linéaire approximant les observations. L’étude de telles variétés lisses, la géométrie différentielle, joue naturellement un rôle important dans ce dernier cas. Lorsque l’espace des données est lui-même une variété, l'espace approximant de dimension réduite est naturellement une sous-variété de la variété intiale. Les méthodes d'analyse de ce type de données relèvent du domaine des \textit{statistiques géométriques}. Les statistiques géométriques pour des observations appartenant à une variété riemannienne sont le point de départ de cette thèse, mais une partie de notre travail apporte une contribution même dans le cas de données appartenant à l'espace euclidien, R^d.
Les \textit{formes}, dans notre cas des courbes ou des surfaces discrètes, sont un exemple important de données à valeurs dans les variétés. En biologie évolutive, les chercheurs s'intéressent aux raisons et aux implications des différences morphologiques entre les espèces. Cette application motive la première contribution principale de la thèse. Nous généralisons une méthode de réduction de dimension utilisée en biologie évolutive, l'\textit{analyse en composantes principales phylogénétiques} (P-PCA), pour travailler sur des données à valeur dans une variété riemannienne - afin qu'elle puisse être appliquée à des données de forme. P-PCA est une version de PCA pour des observations qui sont les feuilles d'un arbre phylogénétique. D'un point de vue statistique, la propriété importante de ces données est que les observations ne sont pas indépendantes. Nous définissons et estimons des moyennes et des covariances intrinsèquement pondérées sur une variété qui prennent en compte cette dépendance des observations. Nous définissons ensuite l'ACP phylogénétique sur une variété comme la décomposition propre de la covariance pondérée dans l'espace tangent de la moyenne pondérée. Nous montrons que l'estimateur de moyenne actuellement utilisé en biologie évolutive pour étudier la morphologie correspond à ne prendre qu'une seule étape de notre algorithme de descente de gradient riemannien pour la moyenne intrinsèque, lorsque les observations sont représentées dans l'espace des formes de Kendall.
Notre deuxième contribution principale est une méthode non paramétrique de réduction de dimension fondée sur une classe très flexible de sous-variétés qui est novatrice même dans le cas de données euclidiennes. Grâce à une PCA locale, nous construisons tout d'abord un sous-fibré du fibré tangent sur la variété des données que nous appelons le \textit{sous-fibré principal}. Cette distribution (au sens géométrique) induit une structure \textit{sous riemannienne}. Nous montrons que les géodésiques sous-riemanniennes correspondantes restent proches de l'ensemble des observations et que l'ensemble des géodésiques partant d'un point donné génèrent localement une sous-variété qui est radialement alignée avec le sous-fibré principal, même lorsqu'il est non intégrables, ce qui apparait lorsque les données sont bruitées. Notre méthode démontre que la géométrie sous-riemannienne est le cadre naturel pour traiter de tels problèmes. Des expériences numériques illustrent la puissance de notre cadre en montrant que nous pouvons réaliser des reconstructions d'une extension importante, même en présence de niveaux de bruit assez élevés.
Origine | Fichiers produits par l'(les) auteur(s) |
---|