En física, la termodinàmica d'entropia màxima (col·loquialment, termodinàmica MaxEnt) considera la termodinàmica d'equilibri i la mecànica estadística com a processos d'inferència. Més concretament, MaxEnt aplica tècniques d'inferència arrelades en la teoria de la informació de Shannon, la probabilitat bayesiana i el principi d'entropia màxima. Aquestes tècniques són rellevants per a qualsevol situació que requereixi predicció a partir de dades incompletes o insuficients (per exemple, reconstrucció d'imatges, processament de senyals, anàlisi espectral i problemes inversos). La termodinàmica MaxEnt va començar amb dos articles d'Edwin T. Jaynes publicats a la Physical Review de 1957.

Entropia màxima de Shannon El principi de màxima entropia és fonamental per a la tesi de MaxEnt. Exigeix que es doni un model parcialment especificat i algunes dades específiques relacionades amb el model. Selecciona una distribució de probabilitat preferida per representar el model. Les dades donades proporcionen "informació comprovable" sobre la distribució de probabilitat, per exemple valors esperats particulars, però no són suficients per determinar-la de manera única. El principi estableix que s'ha de preferir la distribució que maximitza l'entropia d'informació de Shannon.

Això es coneix com l'algorisme de Gibbs, introduït per J. Willard Gibbs el 1878 per establir conjunts estadístics que prediguessin les propietats dels sistemes termodinàmics en equilibri. És la pedra angular de l'anàlisi mecànica estadística de les propietats termodinàmiques dels sistemes d'equilibri (vegeu la funció de partició).

Així doncs, s'estableix una connexió directa entre l'entropia termodinàmica d'equilibri STh, una funció d'estat de la pressió, el volum, la temperatura, etc., i l'entropia d'informació per a la distribució predita amb la màxima incertesa condicionada només als valors esperats d'aquestes variables:

kB, la constant de Boltzmann, no té cap significat físic fonamental aquí, però és necessària per mantenir la coherència amb la definició històrica anterior d'entropia de Clausius (1865) (vegeu la constant de Boltzmann).

Tanmateix, l'escola MaxEnt argumenta que l'enfocament MaxEnt és una tècnica general d'inferència estadística, amb aplicacions que van molt més enllà d'això. Per tant, també es pot utilitzar per predir una distribució de "trajectòries" Γ "durant un període de temps" maximitzant:

Aquesta "entropia d'informació" no necessàriament té una correspondència simple amb l'entropia termodinàmica. Però es pot utilitzar per predir les característiques dels sistemes termodinàmics fora de l'equilibri a mesura que evolucionen amb el temps.

Per a escenaris de no equilibri, en una aproximació que assumeix l'equilibri termodinàmic local, amb l'enfocament de màxima entropia, les relacions recíproques d'Onsager i les relacions de Green-Kubo es dedueixen directament. L'enfocament també crea un marc teòric per a l'estudi d'alguns casos molt especials d'escenaris lluny de l'equilibri, fent que la derivació del teorema de fluctuació de la producció d'entropia sigui senzilla. Per a processos de no equilibri, com passa amb les descripcions macroscòpiques, també falta una definició general d'entropia per a explicacions mecàniques estadístiques microscòpiques.

Nota tècnica : Per les raons que s'expliquen a l'article sobre entropia diferencial, la definició simple d'entropia de Shannon deixa de ser directament aplicable per a variables aleatòries amb funcions de distribució de probabilitat contínues. En canvi, la quantitat adequada a maximitzar és l'"entropia d'informació relativa".

Hc és el negatiu de la divergència de Kullback-Leibler, o informació de discriminació, de m(x) respecte a p(x), on m(x) és una mesura invariant a priori per a la(es) variable(s). L'entropia relativa Hc sempre és menor que zero, i es pot considerar com (el negatiu de) el nombre de bits d'incertesa perduts en fixar-se en p(x) en lloc de m(x). A diferència de l'entropia de Shannon, l'entropia relativa H c té l'avantatge de romandre finita i ben definida per a x contínua, i invariant sota transformacions de coordenades 1 a 1. Les dues expressions coincideixen per a distribucions de probabilitat discretes, si es pot fer la suposició que m (xi) és uniforme, és a dir, el principi de probabilitat a priori igual, que subjau a la termodinàmica estadística.

Implicacions filosòfiques Els partidaris del punt de vista de MaxEnt tenen una posició clara sobre algunes de les qüestions conceptuals/filosòfiques de la termodinàmica. Aquesta posició s'esbossa a continuació.

La naturalesa de les probabilitats en mecànica estadística Jaynes (1985, 2003, et passim) va discutir el concepte de probabilitat. Segons el punt de vista de MaxEnt, les probabilitats en mecànica estadística es determinen conjuntament per dos factors: per models particulars especificats respectivament per a l'espai d'estats subjacent (per exemple, l'espai de fases de Liouville); i per descripcions parcials particulars especificades respectivament del sistema (la descripció macroscòpica del sistema utilitzada per restringir l'assignació de probabilitat de MaxEnt). Les probabilitats són objectives en el sentit que, donades aquestes entrades, resultarà una distribució de probabilitat definida de manera única, la mateixa per a cada investigador racional, independent de la subjectivitat o l'opinió arbitrària de persones particulars. Les probabilitats són epistèmiques en el sentit que es defineixen en termes de dades especificades i es deriven d'aquestes dades mitjançant regles d'inferència definides i objectives, les mateixes per a cada investigador racional. Aquí la paraula epistèmica, que es refereix al coneixement científic objectiu i impersonal, la mateixa per a cada investigador racional, s'utilitza en el sentit que la contrasta amb opinativa, que es refereix a les creences subjectives o arbitràries de persones particulars; Aquest contrast va ser utilitzat per Plató i Aristòtil, i es manté fiable avui dia.

Jaynes també va utilitzar la paraula "subjectiu" en aquest context perquè altres l'han utilitzat en aquest context. Va acceptar que, en cert sentit, un estat de coneixement té un aspecte subjectiu, simplement perquè es refereix al pensament, que és un procés mental. Però va emfatitzar que el principi de màxima entropia es refereix només al pensament que és racional i objectiu, independent de la personalitat del pensador. En general, des d'un punt de vista filosòfic, les paraules "subjectiu" i "objectiu" no són contradictòries; sovint una entitat té aspectes subjectius i objectius. Jaynes va rebutjar explícitament la crítica d'alguns escriptors que, només perquè es pot dir que el pensament té un aspecte subjectiu, el pensament és automàticament no objectiu. Va rebutjar explícitament la subjectivitat com a base del raonament científic, l'epistemologia de la ciència; va exigir que el raonament científic tingui una base plena i estrictament objectiva. No obstant això, els crítics continuen atacant Jaynes, al·legant que les seves idees són "subjectives". Un escriptor fins i tot arriba a qualificar l'enfocament de Jaynes d'"ultrasubjectivista", i a esmentar "el pànic que el terme subjectivisme va crear entre els físics".

Les probabilitats representen tant el grau de coneixement com la manca d'informació en les dades i el model utilitzat en la descripció macroscòpica del sistema per part de l'analista, i també el que diuen aquestes dades sobre la naturalesa de la realitat subjacent.

L'aptitud de les probabilitats depèn de si les restriccions del model macroscòpic especificat són una descripció prou precisa i/o completa del sistema per capturar tot el comportament reproduïble experimentalment. Això no es pot garantir a priori. Per aquesta raó, els defensors de MaxEnt també anomenen el mètode mecànica estadística predictiva. Les prediccions poden fallar. Però si ho fan, això és informatiu, perquè assenyala la presència de noves restriccions necessàries per capturar el comportament reproduïble del sistema, que no s'havien tingut en compte.

L'entropia és "real"? L'entropia termodinàmica (en equilibri) és una funció de les variables d'estat de la descripció del model. Per tant, és tan "real" com les altres variables de la descripció del model. Si les restriccions del model en l'assignació de probabilitat són una "bona" descripció, que conté tota la informació necessària per predir resultats experimentals reproduïbles, aleshores això inclou tots els resultats que es podrien predir utilitzant les fórmules que impliquen l'entropia de la termodinàmica clàssica. Fins a aquest punt, el MaxEnt STh és tan "real" com l'entropia de la termodinàmica clàssica.

Naturalment, en realitat només hi ha un estat real del sistema. L'entropia no és una funció directa d'aquest estat. És una funció de l'estat real només a través de la descripció macroscòpica del model (escollida subjectivament).

És rellevant la teoria ergòdica? El conjunt gibbsià idealitza la idea de repetir un experiment una vegada i una altra en sistemes diferents, no una vegada i una altra en el mateix sistema. Per tant, les mitjanes temporals a llarg termini i la hipòtesi ergòdica, malgrat l'intens interès que van despertar durant la primera part del segle XX, en rigor no són rellevants per a l'assignació de probabilitat de l'estat en què es podria trobar el sistema.

Tanmateix, això canvia si hi ha coneixement addicional que el sistema s'està preparant d'una manera particular algun temps abans de la mesura. Aleshores, cal considerar si això proporciona més informació que encara sigui rellevant en el moment de la mesura. La qüestió de la rapidesa amb què es barregen les diferents propietats del sistema esdevé llavors molt interessant. La informació sobre alguns graus de llibertat del sistema combinat pot esdevenir inutilitzable molt ràpidament; la informació sobre altres propietats del sistema pot seguir sent rellevant durant un temps considerable.

Si més no, les propietats de correlació a mitjà i llarg termini del sistema són temes interessants per a l'experimentació en si mateixes. Si no es poden predir amb precisió, és un bon indicador que pot faltar física rellevant macroscòpicament determinable al model.

La segona llei Segons el teorema de Liouville per a la dinàmica hamiltoniana, l'hipervolum d'un núvol de punts a l'espai de fase roman constant a mesura que el sistema evoluciona. Per tant, l'entropia de la informació també ha de romandre constant, si condicionem la informació original i després seguim cadascun d'aquests microestats cap endavant en el temps:

Tanmateix, a mesura que el temps avança, aquella informació inicial que teníem esdevé menys accessible directament. En lloc de ser fàcilment resumible en la descripció macroscòpica del sistema, es relaciona cada cop més amb correlacions molt subtils entre les posicions i els moments de les molècules individuals. (Compareu amb el teorema H de Boltzmann.) De manera equivalent, significa que la distribució de probabilitat per a tot el sistema, en un espai de fase de 6N dimensions, esdevé cada cop més irregular, estenent-se en dits llargs i prims en lloc del volum inicial de possibilitats estrictament definit.

La termodinàmica clàssica es basa en la suposició que l'entropia és una funció d'estat de les variables macroscòpiques, és a dir, que res de la història del sistema importa, de manera que es pot ignorar completament.

La distribució de probabilitat estesa, fina i evolucionada, que encara té l'entropia de Shannon inicial STh(1), hauria de reproduir els valors esperats de les variables macroscòpiques observades en el temps t2. Tanmateix, ja no serà necessàriament una distribució d'entropia màxima per a aquesta nova descripció macroscòpica. D'altra banda, la nova entropia termodinàmica STh(2) segurament mesurarà la distribució d'entropia màxima, per construcció. Per tant, esperem: