Riemannian and sub-riemannian methods for dimension reduction
Méthodes riemanniennes et sous-riemanniennes pour la réduction de dimension
Résumé
I denne afhandling præsenteres nye metoder til dimensionsreduktion, baseret p˚adifferential geometri. Det vil sige metoder til at finde en repræsentation af et datasæti et rum af lavere dimension end det opringelige rum. S˚adanne metoder spiller enhelt central rolle i statistik, og har et meget bredt anvendelsesomr˚ade. En laveredimensionalrepræsentation af et datasæt tillader visualisering og er ofte nødvendigtfor efterfølgende statistisk analyse. I traditionel, Euklidisk statistik ligger observationernei et vektor rum, og det lavere-dimensionale rum kan være et lineært underrumeller en ikke-lineær undermangfoldighed som approksimerer observationerne.Studiet af s˚adanne glatte mangfoldigheder, differential geometri, spiller en vigtig rollei sidstnævnte tilfælde, eller hvis rummet hvori observationerne ligger i sig selv er enmangfoldighed. Metoder til at analysere observationer p˚a en mangfoldighed udgørfeltet geometrisk statistik. I denne kontekst er det approksimerende rum, fundetvia dimensionsreduktion, naturligt en submangfoldighed af den givne mangfoldighed.Udgangspunktet for denne afhandling er geometrisk statistik for observationer p˚a ena priori kendt Riemannsk mangfoldighed, men dele af vores arbejde udgør et bidragselv i tilfældet med observationer i Euklidisk rum, Rd.Et vigtigt eksempel p˚a data p˚a en mangfoldighed er former, i vores tilfældediskrete kurver eller overflader. I evolutionsbiologi er forskere interesseret i at studeregrunde til og implikationer af morfologiske forskelle mellem arter. Former er ´en m˚adeat formalisere morfologi p˚a. Denne anvendelse motiverer det første hovedbidrag idenne afhandling. We generaliserer en metode til dimensionsreduktion brugt i evolutionsbiologi,phylogenetisk principal component analysis (P-PCA), til at virke for datap˚a en Riemannsk mangfoldighed - s˚a den kan anvendes til observationer af former. PPCAer en version af PCA for observationer som antages at være de yderste knuder iet phylogenetisk træ. Fra et statistisk synspunkt er den vigtige egenskab ved s˚adanneobservationer at de ikke nødvendigvis er uafhængige. We definerer og estimerer intrinsiskevægtede middelværdier og kovarianser p˚a en mangfoldighed, som tager højde fors˚adanne observationers afhængighed. Vi definerer derefter phylogenetisk PCA p˚a enmangfoldighed som egendekomposition af den vægtede kovarians i tanget-rummet tilden vægtede middelværdi. Vi viser at estimatoren af middelværdien som pt. bruges ievolutionsbiologi til at studere morfologi svarer til at tage kun et enkelt skridt af voresRiemannske gradient descent algoritme for den intrinsiske middelværdi, n˚ar formernerepræsenteres i Kendall´s form-mangfoldighed.Vores andet hovedbidrag er en ikke-parametrisk metode til dimensionsreduktionsom kan bruges til at approksimere et data sæt baseret p˚a en meget flexibel klasse afsubmangfoldigheder. Denne metode er ny ogs˚a i tilfældet med Euklidisk data. Metodenvirker ved at konstruere et under-bundt af tangentbundet p˚a datamangfoldighedenM via lokale PCA´er. Vi kalder dette underbundt principal underbundtet. Viobserverer at dette underbundt inducerer en sub-Riemannsk struktur p˚a M og vi viserat sub-Riemannske geodæter fra et givent punkt lokalt genererer en submangfoldighedsom radialt flugter med det estimerede subbundt, selv for ikke-integrable subbundter.Ved støjfyldt data forekommer ikke-integrabilitet med stor sandsynlighed, og voresmetode demonstrerer at sub-Riemannsk geometri er en naturlig tilgang til at h˚andteredette. Numeriske eksperimenter illustrerer styrkerne ved metoden ved at vise at denopn˚ar rekonstruktioner over store afstande, selv under høje niveauer af støj.
In this thesis, we propose new methods for dimension reduction based on differential geometry, that is, finding a representation of a set of observations in a space of lower dimension than the original data space. Methods for dimension reduction form a cornerstone of statistics, and thus have a very wide range of applications. For instance, a lower dimensional representation of a data set allows visualization and is often necessary for subsequent statistical analyses. In ordinary Euclidean statistics, the data belong to a vector space and the lower dimensional space might be a linear subspace or a non-linear submanifold approximating the observations. The study of such smooth manifolds, differential geometry, naturally plays an important role in this last case, or when the data space is itself a known manifold. Methods for analysing this type of data form the field of geometric statistics. In this setting, the approximating space found by dimension reduction is naturally a submanifold of the given manifold. The starting point of this thesis is geometric statistics for observations belonging to a known Riemannian manifold, but parts of our work form a contribution even in the case of data belonging to Euclidean space, mathbb{R}^d.An important example of manifold valued data is shapes, in our case discrete or continuous curves or surfaces. In evolutionary biology, researchers are interested in studying reasons for and implications of morphological differences between species. Shape is one way to formalize morphology. This application motivates the first main contribution of the thesis. We generalize a dimension reduction method used in evolutionary biology, phylogenetic principal component analysis (P-PCA), to work for data on a Riemannian manifold - so that it can be applied to shape data. P-PCA is a version of PCA for observations that are assumed to be leaf nodes of a phylogenetic tree. From a statistical point of view, the important property of such data is that the observations (leaf node values) are not necessarily independent. We define and estimate intrinsic weighted means and covariances on a manifold which takes the dependency of the observations into account. We then define phylogenetic PCA on a manifold to be the eigendecomposition of the weighted covariance in the tangent space of the weighted mean. We show that the mean estimator that is currently used in evolutionary biology for studying morphology corresponds to taking only a single step of our Riemannian gradient descent algorithm for the intrinsic mean, when the observations are represented in Kendall's shape space. Our second main contribution is a non-parametric method for dimension reduction that can be used for approximating a set of observations based on a very flexible class of submanifolds. This method is novel even in the case of Euclidean data. The method works by constructing a subbundle of the tangent bundle on the data manifold via local PCA. We call this subbundle the principal subbundle. We then observe that this subbundle induces a sub-Riemannian structure and we show that the resulting sub-Riemannian geodesics with respect to this structure stay close to the set of observations. Moreover, we show that sub-Riemannian geodesics starting from a given point locally generate a submanifold which is radially aligned with the estimated subbundle, even for non-integrable subbundles. Non-integrability is likely to occur when the subbundle is estimated from noisy data, and our method demonstrates that sub-Riemannian geometry is a natural framework for dealing which such problems. Numerical experiments illustrate the power of our framework by showing that we can achieve impressively large range reconstructions even in the presence of quite high levels of noise.
Nous proposons dans cette thèse de nouvelles méthodes de réduction de dimension fondées sur la géométrie différentielle. Il s'agit de trouver une représentation d'un ensemble d'observations dans un espace de dimension inférieure à l'espace d'origine des données. Les méthodes de réduction de dimension constituent la pierre angulaire des statistiques et ont donc un très large éventail d'applications. Dans les statistiques euclidiennes ordinaires, les données appartiennent à un espace vectoriel et l'espace de dimension inférieure peut être un sous-espace linéaire ou une sous-variété non linéaire approximant les observations. L'étude de telles variétés lisses, la géométrie différentielle, joue naturellement un rôle important dans ce dernier cas. Lorsque l'espace des données est lui-même une variété, l'espace approximant de dimension réduite est naturellement une sous-variété de la variété initiale. Les méthodes d'analyse de ce type de données relèvent du domaine des statistiques géométriques. Les statistiques géométriques pour des observations appartenant à une variété riemannienne sont le point de départ de cette thèse, mais une partie de notre travail apporte une contribution même dans le cas de données appartenant à l'espace euclidien, mathbb{R}^d.Les formes, dans notre cas des courbes ou des surfaces discrètes ou continues, sont un exemple important de données à valeurs dans les variétés. En biologie évolutive, les chercheurs s'intéressent aux raisons et aux implications des différences morphologiques entre les espèces. Cette application motive la première contribution principale de la thèse. Nous généralisons une méthode de réduction de dimension utilisée en biologie évolutive, l'analyse en composantes principales phylogénétiques (P-PCA), pour travailler sur des données à valeur dans une variété riemannienne - afin qu'elle puisse être appliquée à des données de forme. P-PCA est une version de PCA pour des observations qui sont les feuilles d'un arbre phylogénétique. D'un point de vue statistique, la propriété importante de ces données est que les observations ne sont pas indépendantes. Nous définissons et estimons des moyennes et des covariances intrinsèquement pondérées sur une variété qui prennent en compte cette dépendance des observations. Nous définissons ensuite l'ACP phylogénétique sur une variété comme la décomposition propre de la covariance pondérée dans l'espace tangent de la moyenne pondérée. Nous montrons que l'estimateur de moyenne actuellement utilisé en biologie évolutive pour étudier la morphologie correspond à ne prendre qu'une seule étape de notre algorithme de descente de gradient riemannien pour la moyenne intrinsèque, lorsque les observations sont représentées dans l'espace des formes de Kendall.Notre deuxième contribution principale est une méthode non paramétrique de réduction de dimension fondée sur une classe très flexible de sous-variétés qui est novatrice même dans le cas de données euclidiennes. Grâce à une PCA locale, nous construisons tout d'abord un sous-fibré du fibré tangent sur la variété des données que nous appelons le sous-fibré principal. Cette distribution (au sens géométrique) induit une structure sous riemannienne. Nous montrons que les géodésiques sous-riemanniennes correspondantes restent proches de l'ensemble des observations et que l'ensemble des géodésiques partant d'un point donné génèrent localement une sous-variété qui est radialement alignée avec le sous-fibré principal, même lorsqu'il est non intégrables, ce qui apparait lorsque les données sont bruitées. Notre méthode démontre que la géométrie sous-riemannienne est le cadre naturel pour traiter de tels problèmes. Des expériences numériques illustrent la puissance de notre cadre en montrant que nous pouvons réaliser des reconstructions d'une extension importante, même en présence de niveaux de bruit assez élevés.
| Origine | Version validée par le jury (STAR) |
|---|