Geometric functional pruning for change point detection in low-dimensional exponential family models.
Élagage fonctionnel géométrique pour la détection de ruptures dans des modèles de famille exponentielle à faible dimension.
Résumé
Change point detection is a common unsupervised learning problem in many application areas, especially in biology, genomics, sensor network monitoring, and cyber-security. Typically, either a posteriori change detection, i.e. offline, or sequential change detection, i.e. online, is considered.Standard dynamic programming methods for change point detection have been proposed to optimise either the likelihood or the log-likelihood ratio of a change point model. These methods are exact and recover optimal segmentations. However, they have quadratic complexity. Continuously reducing the set of potential change point candidates, called pruning, is a way to reduce the computational complexity of standard dynamic programming methods. Over the last decade, a new class of dynamic programming methods, called functional pruning, has been proposed. The functional pruning techniques used in these methods have already proved to be computationally efficient for univariate parametric change point models. Extending univariate functional pruning rules to multivariate settings is difficult if we aim for the most efficient pruning. It leads to non-convex optimisation problems.This thesis introduces two novel, computationally efficient, functional pruning dynamic programming methods for the detection of change points in low-dimensional exponential family models: the offline multiple change point detection method, GeomFPOP (Kmax = ∞), and the online single change point detection method, MdFOCuS.Computational geometry is the basis of the functional pruning rules for these methods. The pruning rule of GeomFPOP (Kmax = ∞) uses a geometric heuristic to update and prune potential change point candidates over time. The pruning rule of MdFOCuS uses a connection to a convex hull problem that simplifies the search for change point location to be pruned. Further we mathematically demonstrate that this pruning technique leads to a quasi-linear runtime complexity.These two pruning rules show significant improvements in computational complexity for low-dimensional exponential family models in simulation studies. In one minute, the Rcpp implementations of these methods can process more than 2 × 106 observations in a bivariate signal without change with i.i.d. Gaussian noise.
La détection de ruptures est un problème courant d'apprentissage non supervisé dans de nombreux domaines d'application, notamment en biologie, en génomique, en surveillance de réseaux de capteurs et en cybersécurité. En général, soit une détection de ruptures a posteriori, c'est-à-dire hors ligne, soit une détection de ruptures séquentielle, c'est-à-dire en ligne, est envisagée.Des méthodes standard de programmation dynamique pour la détection de ruptures ont été proposées pour optimiser le logarithme du rapport de vraisemblance. Ces méthodes sont exactes et récupèrent des segmentations optimales. Cependant, elles ont une complexité quadratique. Réduire continuellement l'ensemble des candidats potentiels de ruptures, appelé élagage, est un moyen de réduire la complexité computationnelle des méthodes standard de programmation dynamique. Au cours de la dernière décennie, une nouvelle classe de méthodes de programmation dynamique, appelée élagage fonctionnel, a été proposée.Les techniques d'élagage fonctionnel utilisées dans ces méthodes ont déjà prouvé leur efficacité computationnelle pour les modèles de ruptures paramétriques univariés. Étendre les règles d'élagage fonctionnel univarié à des contextes multivariés est difficile si l'on vise l'élagage le plus efficace. Cela conduit à des problèmes d'optimisation non convexes.Cette thèse présente deux nouvelles méthodes de programmation dynamique d'élagage fonctionnel, efficaces en termes de calcul, pour la détection de ruptures dans les modèles de famille exponentielle de faible dimension : la méthode de détection de ruptures multiples hors ligne, GeomFPOP (Kmax = ∞), et la méthode de détection d'une rupture en ligne, MdFOCuS.La géométrie computationnelle est la base des règles d'élagage fonctionnel pour ces méthodes. La règle d'élagage de GeomFPOP (Kmax = ∞) utilise une heuristique géométrique pour mettre à jour et élaguer les candidats potentiels de ruptures au fil du temps. La règle d'élagage de MdFOCuS utilise une connexion avec un problème d'enveloppe convexe qui simplifie la recherche de la rupture à élaguer. De plus, nous démontrons mathématiquement que cette technique d'élagage conduit à une complexité en temps quasi-linéaire.Ces deux règles d'élagage montrent des améliorations significatives de la complexité computationnelle pour les modèles de famille exponentielle de faible dimension dans des études de simulation. En une minute, les implémentations Rcpp de ces méthodes peuvent traiter plus de 2 × 106 observations dans un signal bivarié sans ruptures avec un bruit gaussien i.i.d..
| Origine | Version validée par le jury (STAR) |
|---|