Iterative methods with retards for the solution of large-scale linear systems
Méthodes itératives à retards pour la résolution des systèmes linéaires à grande échelle
Résumé
Any perturbation in linear systems may severely degrade the performance of iterative methods when conjugate directions are constructed. This issue can be partially remedied by lagged gradient methods, which does not guarantee descent in the quadratic function but can improve the convergence compared with traditional gradient methods. Later work focused on alternate gradient methods with two or more steplengths in order to break the zigzag pattern. Recent papers suggested that revealing of second-order information along with lagged steps could reduce asymptotically the search spaces in smaller and smaller dimensions. This led to gradient methods with alignment in which essential and auxiliary steps are conducted alternately. Numerical experiments have demonstrated their effectiveness. This dissertation first considers efficient gradient methods for solving symmetric positive definite linear systems. We begin by studying an alternate method with two-dimensional finite termination property. Then we derive more spectral properties for traditional steplengths. These properties allow us to expand the family of gradient methods with alignment and establish the convergence of new methods. We also treat gradient iterations as an inexpensive process embedded in splitting methods. In particular we address the parameter estimation problem and suggest to use fast gradient methods as low-precision inner solvers. For the parallel case we focus on the lagged formulations for which it is possible to reduce communication costs. We also present some new properties and methods for s-dimensional gradient iterations. To sum up, this dissertation is concerned with three inter-related topics in which gradient iterations can be employed as efficient solvers, as embedded tools for splitting methods and as parallel solvers for reducing communication. Numerical examples are presented at the end of each topic to support our theoretical findings.
Toute perturbation dans les systèmes linéaires peut gravement dégrader la performance des méthodes itératives lorsque les directions conjuguées sont constituées. Ce problème peut être partiellement résolu par les méthodes du gradient à retards, qui ne garantissent pas la descente de la fonction quadratique, mais peuvent améliorer la convergence par rapport aux méthodes traditionnelles. Les travaux ultérieurs se sont concentrés sur les méthodes du gradient alternées avec deux ou plusieurs types de pas afin d'interrompre le zigzag. Des papiers récents ont suggéré que la révélation d'information de second ordre avec des pas à retards pourrait réduire de manière asymptotique les espaces de recherche dans des dimensions de plus en plus petites. Ceci a conduit aux méthodes du gradient avec alignement dans lesquelles l'étape essentielle et l'étape auxiliaire sont effectuées en alternance. Des expériences numériques ont démontré leur efficacité. Cette thèse considère d'abord des méthodes du gradient efficaces pour résoudre les systèmes linéaires symétriques définis positifs. Nous commençons par étudier une méthode alternée avec la propriété de terminaison finie à deux dimensions. Ensuite, nous déduisons davantage de propriétés spectrales pour les méthodes du gradient traditionnelles. Ces propriétés nous permettent d’élargir la famille de méthodes du gradient avec alignement et d’établir la convergence de nouvelles méthodes. Nous traitons également les itérations de gradient comme un processus peu coûteux intégré aux méthodes de splitting. En particulier, nous abordons le problème de l’estimation de paramètre et suggérons d’utiliser les méthodes du gradient rapide comme solveurs internes à faible précision. Dans le cas parallèle, nous nous concentrons sur les formulations avec retards pour lesquelles il est possible de réduire les coûts de communication. Nous présentons également de nouvelles propriétés et méthodes pour les itérations de gradient s-dimensionnelles. En résumé, cette thèse s'intéresse aux trois sujets interreliés dans lesquelles les itérations de gradient peuvent être utilisées en tant que solveurs efficaces, qu’outils intégrés pour les méthodes de splitting et que solveurs parallèles pour réduire la communication. Des exemples numériques sont présentés à la fin de chaque sujet pour appuyer nos résultats théoriques.
Domaines
Autre| Origine | Version validée par le jury (STAR) |
|---|