UNIVERSITE DE VERSAILLES SAINT-QUENTIN THÈSE présentée par

Baba THIAM

Titre :

Estimation récursive de fonctionnelles

Plan

A) Principe de grandes déviations et de déviations modérées pour l’estimateur récursif de la densité et de ses dérivées.

B) Principe de grandes déviations et déviations modérées pour l’estimateur de la régression.

C) Comportement joint du mode et de la valeur modale d’une densité de probabilité.

Quelques définitions

Définition 1 Soit I une fonction définie sur ℝ^{m} et à valeurs dans [0, +∞].

• I est une fonction de taux si ∀α ∈ ℝ, {x, I(x) ≤ α} est fermé.

• I est une bonne fonction de taux si ∀α ∈ ℝ, {x, I(x) ≤ α} est compact.

Quelques définitions

Définition 2 (Principe des grandes déviations (PGD)) Une suite de vecteurs aléatoires (Z_{n})_{n≥1} de ℝ^{m} satisfait un PGD de vitesse (ν_{n}) et de fonction de taux I si

(a) (ν_{n}) est une suite positive telle que lim_{n→∞} ν_{n} = +∞;

(b) Pour tout ouvert U de ℝ^{m}, et pour tout fermé V de ℝ^{m},

lim inf_{n→∞} ν_{n}^{−1} log ℙ [Z_{n} ∈ U] ≥ − inf_{x∈U} I(x)
lim sup_{n→∞} ν_{n}^{−1} log ℙ [Z_{n} ∈ V] ≤ − inf_{x∈V} I(x).

Quelques définitions

Définition 3 (Principe des déviations modérées (PDM)) Soit (v_{n}) une suite réelle telle que lim_{n→∞} v_{n} = ∞. Une suite de vecteurs (Z_{n})_{n≥1} de ℝ^{m} satisfait un PDM si la suite (v_{n}Z_{n})_{n≥1} satisfait un PGD.

PGD et PDM pour l’estimateur récursif de la densité et de ses dérivées.

Soient X_{1}, …, X_{n} i.i.d, à valeurs dans ℝ^{d} et de densité de probabilité inconnue f.

• L’estimateur de Rosenblatt est défini par

f_{n}^{∗}(x) = \frac{1}{nh_{n}^{d}} ∑_{i=1}^{n} K (\frac{x − X_{i}}{h_{n}} )

avec ∫_{ℝ^{d}} K(x)dx = 1 et lim_{n→∞} h_{n} = 0.

Louani (1998), Worms (2001), Gao (2003), Mokkadem, Pelletier et Worms (2005).

• La version récursive (Wolverton et Wagner) est définie par

f_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{1}{h_{i}^{d}} K (\frac{x − X_{i}}{h_{i}} ) .

PGD ponctuel pour l’estimateur récursif de la densité Hypothèses :

(H1) K : ℝ^{d} → ℝ est bornée, ∫_{ℝ^{d}} K(z)dz = 1 et lim_{∥z∥→∞} K(z) = 0. (H2) h_{n} = cn^{−a} avec 0 < a < 1/d et c > 0.

Pour u ∈ ℝ, on pose

ψ_{a}(u) = ∫_{[0,1]×ℝ^{d}} s^{−ad} (e^{s^{ad}uK(z)} − 1) dsdz,
I_{a}(t) = sup_{u∈ℝ} {ut − ψ_{a}(u)}

(où s ∈ [0, 1], z ∈ ℝ^{d}).

Théorème 1 Sous (H1) et (H2), si f est continue en x, (f_{n}(x) − f(x))satisfait un PGD de vitesse (nh_{n}^{d}) et de bonne fonction de taux définie de la façon suivante :

Si f(x) ≠ 0, I_{a,x} : t ↦ f(x)I_{a} (1 + \frac{t}{f(x)})

Si f(x) = 0, I_{a,x}(0) = 0 et I_{a,x}(t) = +∞ pour t ≠ 0.

PDM ponctuel pour l’estimateur récursif de la densité

Soit (v_{n}) une suite positive.

Hypothèses

(H3) h_{n} = h(n) où h est localement bornée et à variations régulières

d’ordre (−a), 0 < a < 1/d. (H4) lim_{n→∞} v_{n} = +∞, lim_{n→∞} \frac{v_{n}^{2}}{nh_{n}^{d}} = 0 et lim_{n→∞} v_{n}h_{n}^{q} = 0

(q ≥ 2 ordre du noyau).

Théorème 2 Sous (H1), (H3), (H4) et sous des hypothèses de régularité sur f, (v_{n}(f_{n}(x) − f(x))) satisfait un PGD de vitesse (nh_{n}^{d}/v_{n}^{2}) et de bonne fonction de taux J_{a,x} définie par :

Si f(x) ≠ 0, J_{a,x} : t ↦ \frac{t^{2}(1+ad)}{2f(x) ∫_{ℝ^{d}} K^{2}(z)dz}
Si f(x) = 0, J_{a,x}(0) = 0 et J_{a,x}(t) = ∞ pour t ≠ 0.

PGD et PDM pour l’estimateur récursif des dérivées

Soit [α] = (α_{1}, …, α_{d}) ∈ ℕ^{d}; On note

|α| = α_{1} + ⋯ + α_{d}
∂^{[α]}f(x) = \frac{∂^{|α|}f}{∂x_{1}^{α_{1}} … ∂x_{d}^{α_{d}}} (x).

L’estimateur à noyau non récursif de ∂^{[α]}f (Rosenblatt)

∂^{[α]}f_{n}^{∗}(x) = \frac{1}{nh_{n}^{d+|α|}} ∑_{i=1}^{n} ∂^{[α]}K (\frac{x − X_{i}}{h_{n}} ) ,

l’estimateur à noyau récursif de ∂^{[α]}f (Wolverton et Wagner)

∂^{[α]}f_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{1}{h_{i}^{d+|α|}} ∂^{[α]}K (\frac{x − X_{i}}{h_{i}} )

avec (h_{n}) tel que lim_{n→∞} nh_{n}^{d+2|α|} = ∞. grandes déviations → cas spécial (v_{n}) ≡ 1. déviations modérées → (v_{n}) → ∞.

Hypothèses :

(H5) h_{n} = h(n) où h est localement bornée et à variations régulières d’ordre (−a), 0 < a < 1/(d + 2|α|).

(H6) (v_{n}) ≡ 1 ou lim_{n→∞} v_{n} = ∞, lim_{n→∞} \frac{v_{n}^{2}}{nh_{n}^{d+2|α|}} = 0 et

lim_{n→∞} v_{n}h_{n}^{q} = 0.

Théorème 3 (PGD et PDM ponctuel pour l’estimateur des dérivées) Soit |α| ≥ 1 ; Sous (H5) et (H6) et sous des hypothèses de régularité sur ∂^{[α]}K et ∂^{[α]}f : (v_{n} (∂^{[α]}f_{n}(x) − ∂^{[α]}f(x))) satisfait un PGD de vitesse (nh_{n}^{d+2|α|}/v_{n}^{2}) et de bonne fonction de taux J_{a,[α],x} définie par :

Si f(x) ≠ 0, J_{a,[α],x} : t ↦ \frac{t^{2}(1+a(d+2|α|))}{2f(x) ∫_{ℝ^{d}}[∂^{[α]}K(z)]^{2}dz}

Si f(x) = 0, J_{a,[α],x}(0) = 0 et J_{a,[α],x}(t) = ∞ pour t ≠ 0.

13

\begin{aligned}& ∂^{[α]}f_{n}(x) − ∂^{[α]}f(x) = h_{n}^{−|α|}V_{n}^{[α]}(x) + B_{n}^{[α]}(x), \\ avec \\ V_{n}^{[α]}(x) & = & \frac{h_{n}^{|α|}}{n} ∑_{i=1}^{n} \frac{1}{h_{i}^{d+|α|}} (∂^{[α]}K (\frac{x − X_{i}}{h_{i}} ) − 𝔼 [∂^{[α]}K (\frac{x − X_{i}}{h_{i}} )]) , \\ B_{n}^{[α]}(x) & = & 𝔼 [∂^{[α]}f_{n}(x)] − ∂^{[α]}f(x). \end{aligned}

PGD et PDM pour l’estimateur multivarié de la régression

Soient (X, Y), (X_{1}, Y_{1}), …, (X_{n}, Y_{n}) i.i.d. à valeurs dans ℝ^{d} × ℝ^{q} de densité de probabilité f(x, y) avec 𝔼|Y | < ∞. Soient g(x) la densité marginale de X et r(x) = 𝔼 (Y |X = x) = m(x)/g(x) la régression de Y sur X.

PGD ponctuel pour l’estimateur de Nadaraya-Watson

L’estimateur de Nadaraya-Watson de la régression est défini par

r_{n}(x) = \{ \begin{matrix}\frac{m_{n}(x)}{g_{n}(x)} si g_{n}(x) ≠ 0 \\ 0 sinon, \end{matrix}

avec

m_{n}(x) = \frac{1}{nh_{n}^{d}} ∑_{i=1}^{n} Y_{i}K (\frac{x − X_{i}}{h_{n}} )

g_{n}(x) = \frac{1}{nh_{n}^{d}} ∑_{i=1}^{n} K (\frac{x − X_{i}}{h_{n}} ) ,

où (h_{n}) est positive telle que

lim_{n→∞} h_{n} = 0 et lim_{n→∞} nh_{n}^{d} = ∞,  (1)

où K est continue telle que lim_{∥x∥→∞} K(x) = 0 et ∫_{ℝ^{d}} K(x)dx = 1.

Cas unidimensionnel, Louani (1999), Joutard (2006). ∀δ > 0,

ℙ [r_{n}(x) − r(x) ≥ δ] = ℙ [\frac{1}{nh_{n}} ∑_{j=1}^{n} [Y_{j} − r(x) − δ] K (\frac{x − X_{j}}{h_{n}} ) ≥ 0] .

ne marche pas dans le cas multidimensionnel. Etape 1. Comportement en grandes déviations de (m_{n}, g_{n}). Etape 2. Déduire r_{n}.

Hypothèses :

(A1) K : ℝ^{d} → ℝ est bornée, ∫_{ℝ^{d}} K(z)dz = 1 et lim_{∥z∥→∞} K(z) = 0. (A2) ∀u ∈ ℝ^{q}, t ↦ ∫_{ℝ^{q}} e^{⟨u,y⟩}f(t, y)dy est bornée et continue au point

x.

Première étape : Comportement en déviations de (m_{n}, g_{n})

Pour (u, v) ∈ ℝ^{q} × ℝ, on pose

Ψ_{x}(u, v) = ∫_{ℝ^{d}×ℝ^{q}} (e^{(⟨u,y⟩+v)K(z)} − 1) f(x, y)dzdy,
I_{x}(t_{1}, t_{2}) = sup_{(u,v)∈ℝ^{q}×ℝ} {⟨u, t_{1}⟩ + vt_{2} − Ψ_{x}(u, v)} .  (2)

Théorème 4 (PGD pour (m_{n}(x), g_{n}(x))) Sous (A1) et (A2), (m_{n}(x), g_{n}(x)) satisfait un PGD de vitesse (nh_{n}^{d}) et de bonne fonction de taux I_{x} définie en (2).

Deuxième étape : Passage à r_{n}

H : ℝ^{q} × ℝ → ℝ^{q}
(α, β) ↦ \{ \begin{matrix}\frac{α}{β} si β ≠ 0 \\ 0 sinon. \end{matrix}

H(m_{n}(x), g_{n}(x)) = r_{n}(x).

ℙ [r_{n}(x) ∈ V] = ℙ [(m_{n}(x), g_{n}(x)) ∈ H^{−1}(V)] , V ⊂ ℝ^{q}.

Fonction de taux du PGD pour r_{n}. ∀s ∈ ℝ^{q}, on pose

J^{∗}(s) = inf_{t∈ℝ^{∗}} I_{x}(st, t)
J(s) = J^{∗}(s) ∧ I_{x}(0, 0).

Hypothèse :

(C) inf_{s∈ℝ^{q}} I_{x}(s, 0) = I_{x}(0, 0). Exemple satisfaisant (C) est K ≥ 0 car entraîne ∀s ≠ 0, I_{x}(s, 0) = +∞. Sous (C), J est une fonction de taux et

J(s) = \{ \begin{matrix}J^{∗}(s) si J^{∗}(s) < ∞ \\ I_{x}(0, 0) si J^{∗}(s) = ∞. \end{matrix}

Théorème 5 (GD pour l’estimateur de Nadaraya-Watson) Supposons que les hypothèses (A1), (A2), et (C) sont vérifiées, et que (h_{n}) satisfait la condition (1). Alors, pour tout sous-ensemble ouvert U de ℝ^{q},

lim inf_{n→∞} \frac{1}{nh_{n}^{d}} log ℙ [r_{n}(x) ∈ U] ≥ − inf_{s∈U} J^{∗}(s),

et pour tout sous-ensemble fermé V de ℝ^{q},

lim sup_{n→∞} \frac{1}{nh_{n}^{d}} log ℙ [r_{n}(x) ∈ V] ≤ − inf_{s∈V} J(s).

Cas où K ≥ 0 et λ ({x ∈ ℝ^{d}, K(x) > 0}) = ∞, alors I_{x}(0, 0) = ∞, J = J^{∗} et J est une bonne fonction de taux.

Corollaire 1 Supposons les hypothèses du théorème 5 vérifiées. Si le noyau K est positif ou nul et tel que λ ({x ∈ ℝ^{d}, K(x) > 0}) = ∞, alors la suite (r_{n}) satisfait un PGD de vitesse (nh_{n}^{d}) et de bonne fonction de taux J.

PDM pour l’estimateur de Nadaraya-Watson

Soit (v_{n}) une suite positive.

Hypothèses supplémentaires :

(A3) ∀u ∈ ℝ^{q}, les fonctions t ↦ ∫_{ℝ^{q}}⟨u, y⟩^{2}f(t, y)dy et

t ↦ ∫_{ℝ^{q}}⟨u, y⟩f(t, y)dy sont continues en x et g(x) ≠ 0.

(A4) lim_{n→∞} v_{n} = ∞, lim_{n→∞} \frac{v_{n}^{2}}{nh_{n}^{d}} = 0 et lim_{n→∞} v_{n}h_{n}^{p} = 0.

(p ordre de K).

Théorème 6 (PDM ponctuel pour l’estimateur de Nadaraya-Watson ) Sous (A1)-(A4) et sous des hypothèses de régularité sur m et g, (v_{n} (r_{n}(x) − r(x))) satisfait un PGD de vitesse (nh_{n}^{d}/v_{n}^{2}) et de bonne fonction de taux G_{x} définie par :

G_{x}(v) = \frac{g(x)}{2 ∫_{ℝ^{d}} K^{2}(z)dz} v^{T} Σ_{x}^{−1}v,

où Σ_{x} est la matrice de covariance conditionnelle de Y sachant X = x.

r_{n}(x) − r(x) = \frac{m_{n}(x)}{g_{n}(x)} − \frac{m(x)}{g(x)}
= \frac{(m_{n}(x) − m(x)) g(x) + (g(x) − g_{n}(x)) m(x)}{g_{n}(x)g(x)}
= B_{n}(x)\frac{g(x)}{g_{n}(x)},

avec

B_{n}(x) = \frac{1}{g(x)} (m_{n}(x) − m(x)) − \frac{r(x)}{g(x)} (g_{n}(x) − g(x)) .

• (B_{n}) satisfait un PDM de vitesse (nh_{n}^{d}/v_{n}^{2}) et de bonne fonction de taux G_{x}.

• Les suites (v_{n}B_{n}) et (v_{n}(r_{n} − r)) sont exponentiellement contigües.

PGD pour l’estimateur semi-récursif de la régression

r̃_{n}(x) = \{ \begin{matrix}\frac{m̃_{n}(x)}{g̃_{n}(x)} si g̃_{n}(x) ≠ 0 \\ 0 sinon, \end{matrix}

où

m̃_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{Y_{i}}{h_{i}^{d}} K (\frac{x − X_{i}}{h_{i}} ) et g̃_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{1}{h_{i}^{d}} K (\frac{x − X_{i}}{h_{i}} )

On considère les fenêtres de la forme h_{n} = cn^{−a}, avec c > 0 et 0 < a < 1/d. Pour (u, v) ∈ ℝ^{q} × ℝ, on pose

Ψ̃_{a,x}(u, v) = ∫_{[0,1]×ℝ^{d}×ℝ^{q}} s^{−ad} (e^{s^{ad}(⟨u,y⟩+v)K(z)} − 1) f(x, y)dsdzdy,
Ĩ_{a,x}(t_{1}, t_{2}) = sup_{(u,v)∈ℝ^{q}×ℝ} {⟨u, t_{1}⟩ + vt_{2} − Ψ̃_{a,x}(u, v)} .

∀s ∈ ℝ^{q}, on pose

J̃_{a}^{∗}(s) = inf_{t∈ℝ^{∗}} Ĩ_{a,x}(st, t)
J̃_{a}(s) = J̃_{a}^{∗}(s) ∧ Ĩ_{a,x}(0, 0).

Hypothèses supplémentaires :

(A’1) ∀u ∈ ℝ^{q}, t ↦ ∫_{ℝ^{q}} e^{α⟨u,y⟩}f(t, y)dy est continue en x uniformément par rapport à α ∈ [0, 1].

(C’) inf_{s∈ℝ^{q}} Ĩ_{a,x}(s, 0) = Ĩ_{a,x}(0, 0).

Théorème 7 Sous (A1), (A2), (A’1) et (C’), si K ≥ 0 tel que λ ({x ∈ ℝ^{d}, K(x) > 0}) = ∞, (r̃_{n}) satisfait un PGD de vitesse (nh_{n}^{d}) et de bonne fonction de taux J̃_{a}.

PDM pour l’estimateur semi-récursif de la régression

Théorème 8 (PDM ponctuel pour l’estimateur semi-récursif de la régression) Supposons que (h_{n}) est une suite à variations régulières d’ordre (−a) avec a ∈]0, 1/d[ et qu’elle satisfait sup_{i≤n} \frac{h_{n}}{h_{i}} < ∞, sous (A1)-(A4) et sous des hypothèses de régularité sur m et g, (v_{n} (r̃_{n}(x) − r(x)))

satisfait un PGD de vitesse (\frac{nh_{n}^{d}}{v_{n}^{2}} ) et de bonne fonction de taux G̃_{a,x} définie par :

G̃_{a,x}(v) = \frac{(1 + ad)g(x)}{2 ∫_{ℝ^{d}} K^{2}(z)dz} v^{T} Σ_{x}^{−1}v.

Comportement joint des estimateurs du mode

et de la valeur modale d’une densité de probabilité

Soient X_{1}, …, X_{n} i.i.d. à valeurs dans ℝ^{d} de densité de probabilité inconnue f. On suppose que f(x) < f(θ) ∀x ≠ θ et D^{2}f(θ) non singulière . valeur modale → μ = f(θ). Objectif principal : région de confiance pour (θ, μ). Estimateur de Rosenblatt

f_{n}^{∗}(x) = \frac{1}{nh_{n}^{d}} ∑_{i=1}^{n} K (\frac{x − X_{i}}{h_{n}} )

Estimateur à noyau de θ : θ_{n}^{∗} tel que

f_{n}^{∗}(θ_{n}^{∗}) = sup_{x∈ℝ^{d}} f_{n}^{∗}(x).

Parzen (1962), Konakov (1973), Romano (1988), Vieu (1996), Mokkadem et Pelletier (2003).

Abraham, Biau et Cadre ((2003), (2004)) ( θ̂_{n}^{∗} = argmax_{1≤i≤n} f_{n}^{∗}(X_{i})). Estimateur à noyau de μ = f(θ) : μ_{n}^{∗} = f_{n}^{∗}(θ_{n}^{∗}). (pas beaucoup d’études sur μ_{n}^{∗}). Intérêt des estimateurs récursifs ou semi-récursifs. Versions semi-récursives de θ_{n}^{∗} et μ_{n}^{∗}.

f_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{1}{h_{i}^{d}} K (\frac{x − X_{i}}{h_{i}} ) .

θ_{n} tel que

f_{n}(θ_{n}) = sup_{x∈ℝ^{d}} f_{n}(x),

μ_{n} tel que

μ_{n} = f_{n}(θ_{n}).

Lorsque nh_{n}^{d+4}/ log n → ∞, on a : θ_{n} − θ a la même vitesse que [D^{2}f(θ)]^{−1} (∇f_{n}(θ) − ∇f(θ)). μ_{n} − μ a la même vitesse que f_{n}(θ) − f(θ). Deux gros inconvénients à choisir (θ_{n}, μ_{n}).

• Si q = 2, nh_{n}^{d+4}/ log n → ∞ entraine

\frac{1}{h_{n}^{2}} (μ_{n} − μ) ⟶^{ℙ} B_{μ},

où B_{μ} ∈ ℝ → impossible de construire une région de confiance pour (θ, μ).

• Vitesse optimale de θ_{n} vers θ est atteinte pour h_{n} = cn^{−1/(d+2q+2)}, c > 0. Vitesse optimale de μ_{n} vers μ est atteinte pour h_{n} = cn^{−1/(d+2q)}, c > 0.

Soient (h_{n}) et (h̃_{n}), et

f_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{1}{h_{i}^{d}} K (\frac{x − X_{i}}{h_{i}} ) et f̃_{n}(x) = \frac{1}{n} ∑_{i=1}^{n} \frac{1}{h̃_{i}^{d}} K (\frac{x − X_{i}}{h̃_{i}} ) .

Pour estimer θ, on utilise f_{n},

f_{n}(θ_{n}) = sup_{x∈ℝ^{d}} f_{n}(x).

Pour estimer μ, on utilise f̃_{n} , μ̃_{n} = f̃_{n}(θ_{n}).

Hypothèses

(A1) h_{n} = n^{−a}L_{θ}(n) et h̃_{n} = n^{−ã}L_{μ}(n) où a ∈]0, 1/(d + 4)[,

ã ∈ ]0, 1/(d + 2)[, L_{θ} et L_{μ} sont positives à variations lentes. (A2) Soit

i) (\frac{1}{d + 4} < ã < \frac{q}{d + 2q + 2} et \frac{ã}{q} < a < \frac{1 − 2ã}{d + 2}) ou

ii) (\frac{1}{d + 2q} < ã ≤ \frac{1}{d + 4} et \frac{1}{d + 2q + 2} < a < \frac{1 + ãd}{2 (d + 2)}) ou

iii) ã = \frac{1}{d + 2q}, a = \frac{1}{d + 2q + 2}, lim_{n→∞} L_{μ}(n) = 0 et

lim_{n→∞} L_{θ}(n) = 0.

Théorème 9 Sous des hypothèses de régularité sur K et f, supposons que (A1) et (A2)i) ou (A2)ii) ou (A2)iii) satisfaites. Alors

( \begin{matrix}\sqrt{nh_{n}^{d+2}}(θ_{n} − θ) \\ \sqrt{nh̃_{n}^{d}}(μ̃_{n} − μ) \end{matrix} ) ⟶^{D} N (0, AΣA) ,

où

A = ( \begin{matrix}− [D^{2}f(θ)]^{−1} & 0 \\ 0 & 1 \end{matrix} ) , Σ = ( \begin{matrix}\frac{f(θ)G}{1+a(d+2)} & 0 \\ 0 & \frac{f(θ) ∫_{ℝ^{d}} K^{2}(z)dz}{1+ãd} \end{matrix} ) ,

avec G la matrice d × d définie par G^{(i,j)} = ∫_{ℝ^{d}} \frac{∂K}{∂x_{i}} (x)\frac{∂K}{∂x_{j}} (x)dx.

Résultat analogue cas classique.

f_{n}^{∗}(x) = \frac{1}{nh_{n}^{d}} ∑_{i=1}^{n} K (\frac{x − X_{i}}{h_{n}} ) et f̃_{n}^{∗}(x) = \frac{1}{nh̃_{n}^{d}} ∑_{i=1}^{n} K (\frac{x − X_{i}}{h̃_{n}} ) .

μ̃_{n}^{∗} = f̃_{n}^{∗}(θ_{n}^{∗}). Théorème 10 Sous des hypothèses de régularité sur K et f, supposons que (A1) et (A2)i) ou (A2)ii) ou (A2)iii) satisfaites. Alors,

( \begin{matrix}\sqrt{nh_{n}^{d+2}}(θ_{n}^{∗} − θ) \\ \sqrt{nh̃_{n}^{d}}(μ̃_{n}^{∗} − μ) \end{matrix} ) ⟶^{D} N (0, AΣ^{∗}A) ,

avec

Σ^{∗} = ( \begin{matrix}f(θ)G & 0 \\ 0 & f(θ) ∫_{ℝ^{d}} K^{2}(z)dz \end{matrix} ) = ( \begin{matrix}[1 + a(d + 2)]I_{d} & 0 \\ 0 & 1 + ãd \end{matrix} ) Σ.

→ Comparaison des variances asymptotiques.

Région de confiance

d = 1.

P_{n} = \begin{matrix}\sqrt{1 + 3a} & \sqrt{nh_{n}^{3}} & |f′′_{n}(θ_{n})| \\ √ & \overline{|f̃_{n}(θ_{n})| ∫_{ℝ} K^{′2}(x)dx} \end{matrix} et Q_{n} = \begin{matrix}\sqrt{1 + ã} & \sqrt{nh̃_{n}} \\ √ & \overline{|f̃_{n}(θ_{n})| ∫_{ℝ} K^{2}(x)dx} \end{matrix}.

P_{n}^{2}(θ_{n} − θ)^{2} + Q_{n}^{2}(μ̃_{n} − μ)^{2} ⟶^{D} χ^{2}(2)

région de confiance → E_{α} = {P_{n}^{2}(θ_{n} − θ)^{2} + Q_{n}^{2}(μ̃_{n} − μ)^{2} ≤ t_{α}} où t_{α} est le quantile de la loi du chi-deux correspondant au niveau α. Cas de l’estimateur de Rosenblatt,

P′_{n} = \begin{matrix}\sqrt{nh_{n}^{3}} & |f_{n}^{∗}′′(θ_{n}^{∗})| \\ √ & \overline{|f̃_{n}^{∗}(θ_{n}^{∗})| ∫_{ℝ} K^{′2}(x)dx} \end{matrix} et Q′_{n} = \begin{matrix}√ & \overline{nh̃_{n}} \\ √ & \overline{|f̃_{n}^{∗}(θ_{n}^{∗})| ∫_{ℝ} K^{2}(x)dx} \end{matrix}.

P′_{n}^{2}(θ_{n}^{∗} − θ)^{2} + Q′_{n}^{2}(μ̃_{n}^{∗} − μ)^{2} ⟶^{D} χ^{2}(2)

Simulations

1 − α = 0.95, t_{α} = 5.99. Comparaison double. Noyau d’ordre q = 4 → K(x) = \frac{1}{\sqrt{8π}} (3 − x^{2}) e^{− \frac{x^{2}}{2}} .

Estimation de la gaussienne standard

h_{n}  h̃_{n}  25  50  100  200  300
n^{−1/10}  n^{−1/8} 97.8% 96.4% 96.4% 95.4% 94.8%
n^{−1/10}  n^{−1/8} 98.2% 97.4% 96.8% 97% 95.8%
\frac{n^{−1/11}}{(log n)^{1/3}}  \frac{n^{−1/9}}{log n} 98% 98% 96.6% 95.4% 95%
\frac{n^{−1/11}}{(log n)^{1/3}}  \frac{n^{−1/9}}{log n} 99.6% 99% 98.6% 97.8% 97.2%

\begin{matrix}n^{−1/6} & n^{−1/6} & 86.4% & 82% & 83.6% & 81.8% & 77.8% \\ n^{−1/6} & n^{−1/6} & 89.8% & 85.6% & 88.4% & 87.6% & 84% \\ n^{−1/8} & n^{−1/8} & 87.8% & 90.8% & 89.8% & 92% & 91% \\ n^{−1/8} & n^{−1/8} & 89.4% & 92.2% & 92.4% & 93.8% & 93.2% \end{matrix}

Vitesse de convergence presque sûre du couple (θ_{n}, μ̃_{n})

Théorème 11 Supposons que (A1) et (A2)i) ou (A2)ii) ou (A2)iii) satisfaites. Alors, avec probabilité un, la suite

\frac{1}{\sqrt{2 log log n}} ( \begin{matrix}\sqrt{nh_{n}^{d+2}}(θ_{n} − θ) \\ \sqrt{nh̃_{n}^{d}}(μ̃_{n} − μ) \end{matrix} )

est relativement compacte et l’ensemble de ses points d’adhérence est l’ellipsoïde

E = {ν ∈ ℝ^{d+1} tel que ν^{T} A^{−1}Σ^{−1}A^{−1}ν ≤ 1} .

Question : Vitesse de convergence presque sûre pour l’estimateur classique ?

Conclusion

• Observations i.i.d.

• Trois thèmes.

a) Estimation d’une densité et de ses dérivées.

b) Estimation d’une fonction de régression.

c) Estimation du mode et de la valeur modale d’une densité de

probabilité.

• Deux types d’estimateurs. a) classique. (C)

b) récursif ou semi-récursif. (R)