Model selection for affine causal processes
Sélection de modèles pour les séries affines causales
Résumé
Time series analysis is a very active research topic in Statistics and Data Science. The
abundance of this type of data has created a huge need for efficient and accurate methodologies.
Thus, several families of models have emerged. Given this multitude of models,
how do you choose one to model a time series? The purpose of this thesis is to propose
and study model selection criteria for a large family of models containing autoregressive
time series such as ARMA and conditionally heteroscedastic time series such as GARCH.
We start with a brief presentation of time series, in particular of the family of causal
affine models, while recalling some previous results useful for this thesis. We then describe
some classical model selection criteria obtained for time series and end with a brief summary
of our main contributions.
The rest of our work presents our four contributions. The first chapter gives sufficient
conditions on the penalty depending on the regularity of the dependence of the process on
its past in order to obtain a consistent criterion. We also propose a goodness-of-fit test of
the selected model based on the autocorrelation of the square of the model residuals. The
numerical simulations have shown satisfactory results.
In Chapter 3, we propose a generalization of the Hannan and Quinn criterion to the
class of causal affine series. This generalization induces a certain constant known for classical
models (ARMA, GARCH or APARCH type) and can be data-driven estimated for
complex models like ARMA-GARCH. Here again, some simulation studies have attested
to the quality of the criteria obtained.
In the third contribution, we construct asymptotically efficient criteria. We propose a
generalization of Akaike’s AIC criterion based on the so-called ideal penalty. The asymptotic
behavior of this ideal penalty suggested a penalty term which is exactly $2\,D_m$ as
in the AIC for simple models, and for complex models, we give a less explicit formula.
Following Schwartz, we also derive the BIC criterion based on the maximization of the a
posteriori probability of choosing the true model.
In Chapter 5, we restricted ourselves to the non-asymptotic study of a particular process
of the class of causal affines. A penalized least-squares estimator is built on a data
driven selected model among a collection of linear models. We showed that the final estimator
performs almost as well as the best over the considered collection, i.e. it achieves,
up to a constant, the bias-variance tradeoff. The penalty obtained generalizes Mallows’
penalty and depends on a constant that is estimated with data-driven calibration algorithms.
Finally, we give some research directions in the General Conclusion of the work.
L’analyse des séries temporelles est un sujet de recherche très actif en Statistique et
en Data Science. L’abondance de ce type de données a créé d’énormes besoins de méthodologies
efficaces et précises. C’est ainsi que plusieurs familles de modèles ont vu le
jour. Étant donnée cette multitude de modèles, comment en choisir un pour modéliser
une série temporelle ? L’objet de cette thèse est de proposer et d’étudier des critères de
sélection de modèles pour une grande famille de modèles contenant les séries temporelles
autorégressives telles les ARMA ainsi que les séries temporelles conditionnellement hétéroscédastiques
telles les GARCH.
Nous commençons par une brève présentation des séries temporelles, en particulier de
la famille des modèles affines causaux tout en rappelant quelques précédents résultats
utiles pour cette thèse. Nous décrivons ensuite quelques critères classiques de sélection de
modèles obtenus pour les séries temporelles et terminons par un succinct résumé de nos
principales contributions.
Dans la suite, nous allons présenter les quatre contributions originales de cette thèse.
Le chapitre 2 donne des conditions suffisantes sur la pénalité en fonction de la régularité
de la dépendance du processus par rapport à son passé afin d’obtenir un critère consistant
en probabilité. Nous proposons également un test d’adéquation du modèle sélectionné
basé sur l’autocorrélation du carré des résidus du modèle. Les simulations numériques ont
montré des résultats satisfaisants.
Au chapitre 3, nous proposons une généralisation du critère de Hannan et Quinn à la
classe des séries affines causales. Cette généralisation induit une certaine constante connue
pour les modèles classiques (type ARMA, GARCH ou APARCH) et pour les modèles
complexes tels les ARMA-GARCH, la constante est inconnue mais peut être estimée de
manière adaptative via l’heuristique de pente. Là également, quelques études de simulation
ont attesté de la qualité des critères obtenus.
Dans la troisième contribution, nous construisons des critères asymptotiquement efficients.
Nous proposons une généralisation du critère AIC d’Akaike se basant sur la pénalité dite
idéale. Le comportement asymptotique de cette pénalité idéale nous a suggéré un terme
de pénalité qui vaut exactement $2\,D_m$ comme dans l’AIC pour des modèles assez simples,
et pour des modèles complexes, nous avons donné une formule moins explicite. A la suite
de Schwartz, nous dérivons également le critère BIC qui s’appuie sur la maximisation de
la probabilité a posteriori de choisir le vrai modèle.
Au chapitre 5, nous nous sommes restreints à l’étude non asymptotique d’un processus
particulier de la classe des modèles affines causaux. Un estimateur des moindres carrés
pénalisé est construit à partir d’un critère de sélection adaptatif et la sélection est opérée
parmi une collection de modèles linéaires. Nous avons montré que l’estimateur final est
presque aussi performant que le meilleur sur la collection considérée, i.e. qu’il réalise, à
une constante près, le compromis biais-variance. La pénalité obtenue généralise celle de
Mallows et dépend d’une constante que l’on pourrait estimer avec des algorithmes de calibration
adaptative.
Enfin, nous donnons quelques pistes de recherche dans la Conclusion générale du travail.
Origine : Fichiers produits par l'(les) auteur(s)