L’inférence bayésienne est une méthode d'inférence statistique par laquelle on calcule les probabilités de diverses causes hypothétiques à partir de l'observation d'événements connus. Elle s'appuie principalement sur le théorème de Bayes.

Le raisonnement bayésien construit, à partir d'observations, une probabilité de la cause d'un type d'événements. On attribue à toute proposition de cause une valeur de sa probabilité, prise dans l'intervalle ouvert allant de 0 (contradiction, faux à coup sûr) à 1 (tautologie, vraie à coup sûr), .. Quand un événement possède plus de deux causes possibles, on considère une distribution de probabilité pour ces causes. Cette distribution est révisée à chaque nouvelle observation et s'affine de plus en plus. Ainsi, un diagnostic médical indique-t-il qu'une maladie plus qu'une autre est probablement à l'origine des symptômes d'un patient, et des examens renforcent ou infirment cette hypothèse. On révise de même, au vu des résultats de chaque sondage d'une campagne de prospection, la probabilité qu'il existe un gisement de pétrole à un certain endroit.

Le théorème de Cox-Jaynes formalise la notion intuitive de plausibilité sous une forme numérique. Il démontre que, si les plausibilités satisfont à l'ensemble d'hypothèses qu'il propose, la seule façon cohérente de les manipuler est d'utiliser un système isomorphe à la théorie des probabilités, induisant alors une interprétation « logique » des probabilités indépendante de celle de fréquence et une base rationnelle au mécanisme d'induction logique.

L'inférence bayésienne produit une probabilité qui s'interprète comme le degré de confiance à accorder à une cause hypothétique. On l'utilise pour l'apprentissage automatique en intelligence artificielle, notamment depuis 1996 pour la classification automatique des emails (détection des spam) par analyse des mots-clés du message. Les classificateurs bayésiens ont l'avantage de pouvoir être partiellement ré-entraînés pendant leur fonctionnement, en confirmant ou en infirmant les prédictions du modèle (notamment les faux-positifs et les faux-négatifs), ce qui permet à l'intelligence artificielle de raffiner son modèle interne de probabilités et améliore la précision du classificateur au cours du temps, sans devoir le ré-entraîner totalement.

Cependant, en comparaison d'autres méthodes d'apprentissage machine supervisé de complexité algorithmique similaire (arbres de décision, machine à vecteur support, discrimination markovienne, filtre à logique floue), les classificateurs bayésiens souffrent d'une précision inférieure et difficilement améliorable, notamment sur des problèmes à 300 dimensions et plus (ce qui limite par exemple le filtre anti-spam à un vocabulaire de 300 mots), . Pour cette raison, l'inférence bayésienne est utilisée pour mesurer l'incertitude d'un modèle statistique (donc sa qualité de prédiction) ou pour résoudre des problèmes d'optimisation numérique impliquant des fonctions coûteuses à calculer (optimisation bayésienne), pour lesquels on souhaite limiter le nombre de calculs et donc choisir judicieusement les points où estimer ces fonctions coûteuses.

Manipulation des probabilités : notation et règles logiques L'inférence bayésienne effectue des calculs sur les énoncés probabilistes. Ces énoncés doivent être clairs et concis afin d'éviter toute confusion. L'inférence bayésienne est particulièrement utile dans les problèmes d'induction. Les méthodes bayésiennes se distinguent des méthodes dites standards (statistiques de Ronald Aylmer Fisher|Student-Fisher) par l'usage systématique de règles formelles raffinant les probabilités par l'observation.

Notation courante

La notation bayésienne reprend la notation classique des événements en probabilité qui elle-même s'inspire de la notation logique.

+Table récapitulative non-exhaustive pour et Notation Sensévènement qui s'est réalisé qui ne s'est pas réalisé évènement non qui s'est réalisé évènement non qui ne s'est pas réalisé événements et qui se sont réalisés événement ou qui s'est réalisé probabilité que ait lieu probabilité que ait lieu probabilité conditionnelle que ait lieu étant donné que a eu lieu Note : d'autres notations existent, et il est aussi possible de les combinerPar exemple , , .

Règles de la logique bayésienne

Notation d'évidence

Comparaison avec la statistique classique L'usage de probabilités a priori a entraîné quelques reproches récurrents aux méthodes bayésiennes lors de leur introduction. On devait alors rappeler systématiquement les quatre points suivants. :

il existe des lois impersonnelles, comme la maximisation d'entropie ou l’invariance de groupe indiquant l'unique distribution possible qui répond aux contraintes (moyenne arithmétique, géométrique, variance) sans ajouter la moindre information propre à l'expérimentateur, IRIT, Toulouse. ;

Différence d'esprit

Quand utiliser l'une ou l'autre ?

Dans le cas où l'on dispose d'observations (aussi appelées enregistrements, mesures, données ou data), que l'on peut représenter par des variables aléatoires pour lesquelles on cherche un modèle décrivant leur probabilité, on peut choisir une distribution de probabilité a priori, dans laquelle on fixe arbitrairement les paramètres (par exemple : moyenne et écart type, pour une distribution gaussienne), et qu'on utilise pour estimer une probabilité a posteriori individualisée : c'est l'approche bayésienne.

L'approche fréquentielle consisterait à trouver les paramètres de la distribution de probabilité par la méthode du maximum de vraisemblance, la méthode des moments, ou des méthodes d'optimisation numérique de sorte à minimiser l'erreur quadratique entre les fréquences observées et les fréquences prédites par la distribution de probabilité..

L'approche fréquentielle requiert un échantillon d'observations plus large, qui satisfasse aux conditions d'application de la loi des grands nombres. Pour l'approche bayésienne, le modèle a priori doit être suffisamment précis et numériquement stable. Ces approches diffèrent essentiellement par la provenance des informations sur lesquelles repose le modèle, mais des considérations techniques sont à prendre en compte (voir plus bas).

Les deux approches se complètent, la statistique fréquentielle étant en général préférable lorsque les informations sont abondantes et d'un faible coût de collecte. Lorsqu'il est question de s'informer en effectuant des opérations coûteuses (ex : un forage pétrolier), les méthodes bayésiennes permettent de réduire le nombre d'observations à réaliser en indiquant où il est le plus judicieux de les réaliser afin de pouvoir conclure avec une incertitude (ou un seuil de confiance) décidée à l'avance par l'expérimentateur (voir optimisation bayésienne). À partir de connaissances générales (a priori), et d'observations particulières, on peut donc non seulement formuler un modèle spécifique à une situation donnée (ex : déterminer la présence d'un gisement de pétrole à partir de forages individuels dans une région donnée, en connaissant à l'avance la nature du sol et sa probabilité de contenir du pétrole), mais également optimiser la prise d'observations subséquentes (ex : où forer pour vérifier si pétrole il y a) de façon à minimiser les coûts. Les méthodes bayésiennes sont donc un outil d'aide à la prise de décision rationnelle, trouvant leur origine dans l'étude des jeux de hasard, plutôt qu'un outil d'étude et d'analyse général.

Le psi-test bayésien (qui est utilisé pour déterminer la plausibilité d'une distribution par rapport à des observations) est asymptotiquement convergent avec le χ² des statistiques classiques à mesure que le nombre d'observations devient grand. Le choix apparemment arbitraire d'une distance euclidienne dans le χ² est ainsi parfaitement justifié par le raisonnement bayésien.

Limites Diaconis et Freedman concluent que l'approche bayésienne ne présente pas de danger pour des problèmes faisant intervenir des distributions statistiques lisses (continues et de dérivée continue) et « pointues » (fréquences fortement centrées autour d'un pic, faiblement dispersées), avec un petit nombre de dimensions, un grand nombre d'observations (au regard du nombre de dimensions) et un petit nombre d'issues (lancer de pièce, mort du patient), car les observations vont primer sur le modèle a priori, ce qui laisse au statisticien la possibilité de choisir sa distribution a priori en fonction des propriétés mathématiques recherchées (notamment : comportement asymptotique et inversibilité), plutôt qu'en se préoccupant de la précision absolue.

En revanche, dans les problèmes faisant intervenir un grand nombre de dimensions, pour les expériences ayant un nombre infini d'issues (comme des valeurs de nombres entiers, cas à l'origine de la distribution de Dirichlet typiquement utilisée en statistiques bayésiennes), d'autant plus si la distribution a priori a une longue traîne (forte dispersion des fréquences) ou une traîne asymétrique, les techniques bayésiennes non-paramétriques font primer le modèle a priori sur les observations, de sorte que le processus bayésien amplifie l'erreur du modèle a priori et donne un modèle a posteriori incohérent avec les observations (parfois même avec des oscillations). En dehors de toute considération pour la validité théorique de la méthode bayésienne, ce sont donc des considérations purement calculatoires qui la rendent inapplicable car instable dans ce contexte.

Ceci est confirmé empiriquement par les recherches sur le filtrage bayésien des emails de spam, qui montrent une précision maximale pour 100 dimensions (c'est-à-dire un vocabulaire de 100 mots) et une baisse significative de la précision à partir de 300 dimensions, tout en suggérant que le filtrage bayésien demande 2 à 3 fois plus d'observations que les autres méthodes pour atteindre sa précision maximale (par ailleurs inférieure de 2 à 8 % aux méthodes les plus précises). Le vocabulaire limité autorisé par cette méthode rend la précision du modèle fortement dépendante du corpus d'emails utilisé pour l'entraînement, puisque les mots-clés retenus sont seulement les plus fréquents.

Phénomène de Bernstein-von Mises Laplace (1810), Bernstein (1917), von Mises (1931) et Le Cam (1953) ont successivement noté que les distributions a posteriori issues de processus bayésiens qu'ils étudiaient tendaient asymptotiquement vers une distribution normale (gaussienne) sous certaines conditions (hors du champ encyclopédique, voir Le Cam & Yang 1990).

Usage en apprentissage profond

Un important article souvent cité , de Geoffrey E. Hinton, Simon Osindero (Université de Toronto) et Yee-Whye Teh (Université de Singapour), c.2006. a introduit la notion de efficace à partir de réseaux bayésiens.

Historique

Controverses

Les critiques de l'inférence bayésienne doivent se comprendre dans leur contexte : les méthodes bayésiennes sont au cœur des mathématiques de l'aide à la prise de décision rationnelle. La définition de ce qui est rationnel dans un contexte incertain est posée de manière axiomatique et formulée par des algèbres utilisant les probabilités conditionnelles, en se plaçant dans une approche utilitariste, sans chercher à modéliser le comportement humain mais plutôt en essayant d'améliorer la réaction humaine en se basant sur des axiomes comportementaux idéalisés. Ces axiomes ont donc une visée normative, et leur principale limite se trouve dans leur capacité à formuler des critères éthiques. Dans ce contexte, les considérations épistémologiques sur la validité de la distribution a priori, et les considérations techniques sur la stabilité numérique participent au débat éthique sur la prise de décision par des algorithmes et leur mise en action dans la réalité.