Echantillonneur Gibbs
1. **Énoncé du problème :**
Expliquer ce qu'est un échantillonneur de Gibbs simple et stochastique, puis donner un exemple.
2. **Définition de l'échantillonneur de Gibbs :**
L'échantillonneur de Gibbs est une méthode de Monte Carlo par chaînes de Markov (MCMC) utilisée pour générer des échantillons à partir d'une distribution conjointe complexe en échantillonnant successivement chaque variable conditionnellement aux autres.
3. **Échantillonneur de Gibbs simple :**
C'est la version classique où chaque variable est mise à jour séquentiellement en tirant un échantillon de sa distribution conditionnelle complète, c'est-à-dire $X_i \sim p(X_i|X_{-i})$ où $X_{-i}$ désigne toutes les variables sauf $X_i$.
4. **Échantillonneur de Gibbs stochastique :**
Dans cette variante, au lieu de mettre à jour toutes les variables à chaque itération, on choisit aléatoirement une variable à mettre à jour selon une certaine probabilité. Cela peut améliorer la convergence dans certains cas.
5. **Exemple simple :**
Considérons deux variables $X$ et $Y$ avec une distribution conjointe $p(X,Y)$. L'échantillonneur de Gibbs simple alterne entre :
- Tirer $X^{(t+1)} \sim p(X|Y^{(t)})$
- Tirer $Y^{(t+1)} \sim p(Y|X^{(t+1)})$
Pour l'échantillonneur stochastique, on choisit aléatoirement de mettre à jour soit $X$ soit $Y$ à chaque étape.
6. **Résumé :**
L'échantillonneur de Gibbs simple met à jour toutes les variables séquentiellement à chaque itération.
L'échantillonneur stochastique met à jour une variable choisie aléatoirement à chaque itération.
Ces méthodes permettent d'échantillonner efficacement des distributions complexes en décomposant le problème en distributions conditionnelles plus simples.