Theoretical contribution to the U-processes in Markov and dependent setting : asymptotic and bootstraps - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2022

Theoretical contribution to the U-processes in Markov and dependent setting : asymptotic and bootstraps

Contribution théorique aux U-processus dans le cadre de Markov ou dépendant : résultats asymptotiques et bootstraps

Inass Soukarieh

Résumé

The world is producing 2.5 quintillion bytes daily, known as big data. Volume, value, variety, velocity, and veracity define the five characteristics of big data that represent a fundamental complexity for many machine learning algorithms, such as clustering, image recognition, and other modern learning techniques. With this large data, hyperparameter estimations do not take the form of the sample mean (not linear). Instead, they takethe form of average over m-tuples, known as the U-statistic estimator in probabilityand statistics. In this work, we treat the collection of U-statistics, known as the Uprocess,for two types of dependent variables, the Markovian data, and locally stationary random variables. Thus, we have divided our work into two parts to address each type independently.In the first part, we deal with Markovian data. The approach relies on regenerative methods, which essentially involve dividing the sample into independent and identically distributed (i.i.d.) blocks of data, where each block corresponds to the path segments between two visits of an atom called A, forming a renewal sequence. We derive the limiting theory for Harris recurrent Markov chain over uniformly bounded and unbounded classes of functions. We show that the results can be generalized also to the bootstrappe dU statistics. The bootstrap approach bypasses the problems faced with the asymptotic behavior due to the unknown parameters of limiting distribution. Furthermore, the bootstrap technique we use in this thesis is the renewal bootstrap, where the bootstrap samplevis formed by resampling the blocks. Since the non-bootstrapped blocks are independent, most proofs reduce to the i.i.d. case. The main difficulties are related to the randomsize of the resampled blocks, which creates a problem with random stopping times. This problem is degraded by replacing the random stopping time with their expectation. Also, since we resample from a random number of blocks, and the bootstrap equicontinuity can be verified by comparing with the initial process, the weak convergence of the bootstrap U-process must be treated very carefully. We successfully derive the results in the case of the k-Harris Markov chain. We extend all the above results to the case where the degreeof U-statistic grows with the sample size n, with the kernel varying in a class of functions. We provide the uniform limit theory for the renewal bootstrap for the infinite-degree U-process with the help of the decoupling technique combined with symmetrization techniques in addition to the chaining inequality. Remaining in the Markovian setting, we extend the weighted bootstrap empirical processes to a high-dimensional estimation. We consider an exchangeably weighted bootstrap of the general function-indexed empirical U-processes. In the second part of this thesis, dependent data are represented by locally stationary random variables. Propelled by the increasing representation of the data by functionalor curves time series and the non-stationary behavior of the latter, we are interested in the conditional U-process of locally stationary functional time series. More precisely, we investigate the weak convergence of the conditional U-processes in the locally stationary functional mixing data framework. We treat the weak convergence in both caseswhen the class of functions is bounded or unbounded, satisfying some moment conditions. Finally, we extend the asymptotic theory of conditional U-process to the locallystationary functional random field {Xs,An : s ∈ Rn} observed at irregular spaced locations in Rn = [0,An]d ∈ Rd, and include both pure increasing domain and mixed increasing domain. We treat the weak convergence in both cases when the class of functions is boundedor unbounded, satisfying some moment conditions. These results are established underfairly general structural conditions on the classes of functions and the underlying models.
Le monde produit 2,5 quintillions d’octets par jour, appelés mégadonnées. Le volume, la valeur, la variété, la vélocité et la véracité définissent les cinq caractéristiques du Big Data qui représentent une complexité fondamentale pour de nombreux algorithmes d’apprentissage automatique, tels que le clustering, la reconnaissance d’images et d’autres techniques d’apprentissage modernes. Avec ces données volumineuses, les estimations d’hyperparamètres ne prennent pas la forme de la moyenne de l’échantillon (non linéaire), mais celle de la forme de la moyenne sur m-tuples, appelée l’estimateur U-statistique. Nous considérons dans cette thèse la collection de U-statistiques, connue sous le nom de U-processus, pour deux types de variables dépendantes, les données Markoviennes et les variables aléatoires localement stationnaires. Ainsi, nous avons divisé notre travail en deux parties pour aborder chaque type indépendamment. Dans la première partie, nous considérons les variables Markoviennes. Nous nous concentrons particulièrement sur les développements de U-processus bootstrappés dans un cadre de Harris. L’idée fondamentale utilisée repose sur les méthodes régénératives consistant essentiellement à diviser l’échantillon en blocs de données indépendants et identiquement distribués (i.i.d.), où chaque bloc correspond à des segments de chemin entre deux visites à un atome appelé A formant une séquence de renouvellement. Nous caractérisons les propriétés limites pour les U-processus indexés par des classes de fonctions uniformément bornées et non bornées. Nous montrons la consistance du bootstrap dans ce cadre. L’approche du bootstrap permet de contourner les problèmes fréquemment rencontrés pour l’évaluation des lois limites dépendants d’une manière complexe de paramètres inconnus. La technique de bootstrap que nous utilisons dans cette thèse est le bootstrap de renouvellement, où l’échantillon bootstrap est formé par rééchantillonnage à partir des blocs. Comme les blocs non bootstrapés sont indépendants, une partie des preuves se réduit au cas i.i.d. Les principales difficultés sont liées à la taille aléatoire des blocs rééchantillonnés, ce qui crée un problème non trivial de temps d’arrêts aléatoires, constituant un des grands obstacles de la généralisation de la théorie dans notre contexte. Pour contourner cette difficulté, nous avons utilisé comme étape intermédiaire la substitution du temps d’arrêt aléatoire par son espérance. La convergence faible des U-processus bootstrappés est très délicate dans notre cadre, en particulier l’équicontinuité en utilisant la comparaison avec le U-processus initial. Nous avons étendu les résultats susmentionnés au cas où le degré du U-processus croît avec la taille de l’échantillon n, le noyau variant dans une classe de fonctions. Nous avons caractérisé la convergence faible pour le bootstrap de renouvellement pour le U-processus à degré infini en faisant usage de la technique de découplage combinée avec des techniques de symétrisation. Enfin, nous considérons un bootstrap pondéré échangeable des U-processus empiriques. Dans la deuxième partie de cette thèse, les données dépendantes sont représentées par des fonctions aléatoires localement stationnaires. Propulsés par la représentation croissante des séries temporelles par des données fonctionnelles ou courbes, et le comportement non stationnaire de ces dernières, nous nous sommes intéressés au U-processus conditionnel des séries temporelles fonctionnelles localement stationnaires. Plus précisément, nous avons étudié la convergence faible des U-processus conditionnels, indexée par des classes de fonctions, dans le cadre de données fonctionnelles localement stationnaires. Nous avons caractérisé la convergence faible dans les deux cas lorsque la classe de fonctions est bornée ou non bornée satisfaisant certaines conditions de moment.
Fichier principal
Vignette du fichier
These_UTC_Inass_Soukarieh.pdf (2.71 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03975688 , version 1 (06-02-2023)

Identifiants

  • HAL Id : tel-03975688 , version 1

Citer

Inass Soukarieh. Theoretical contribution to the U-processes in Markov and dependent setting : asymptotic and bootstraps. Statistics [math.ST]. Université de Technologie de Compiègne, 2022. English. ⟨NNT : 2022COMP2709⟩. ⟨tel-03975688⟩

Collections

INSMI STAR
99 Consultations
57 Téléchargements

Partager

Gmail Facebook X LinkedIn More