En teoria de la informació, la informació de contingut d'informació, autoinformació, sorpresa o informació de Shannon és una quantitat bàsica derivada de la probabilitat que un esdeveniment particular ocorri a partir d'una variable aleatòria. Es pot pensar com una forma alternativa d'expressar la probabilitat, igual que les probabilitats o les probabilitats logarítmiques, però que té avantatges matemàtics particulars en el context de la teoria de la informació.

La informació de Shannon es pot interpretar com la quantificació del nivell de "sorpresa" d'un resultat determinat. Com que és una quantitat tan bàsica, també apareix en altres configuracions, com ara la longitud d'un missatge necessari per transmetre l'esdeveniment donada una codificació font òptima de la variable aleatòria.

La informació de Shannon està estretament relacionada amb l'entropia, que és el valor esperat de l'autoinformació d'una variable aleatòria, que quantifica com de sorprenent és la variable aleatòria "de mitjana". Aquesta és la quantitat mitjana d'autoinformació que un observador esperaria obtenir sobre una variable aleatòria quan la mesura.

El contingut de la informació es pot expressar en diverses unitats d'informació, de les quals la més comuna és el "bit" (més formalment anomenat shannon ), com s'explica a continuació.

El terme "perplexitat" s'ha utilitzat en la modelització del llenguatge per quantificar la incertesa inherent a un conjunt d'esdeveniments potencials.

Definició La definició d'autoinformació de Claude Shannon va ser escollida per complir diversos axiomes:

Un esdeveniment amb una probabilitat del 100% no és perfectament sorprenent i no aporta informació. Com menys probable és un esdeveniment, més sorprenent és i més informació aporta. Si dos esdeveniments independents es mesuren per separat, la quantitat total d'informació és la suma de les autoinformació dels esdeveniments individuals.

La derivació detallada es troba a continuació, però es pot demostrar que hi ha una funció única de probabilitat que compleix aquests tres axiomes, fins a un factor d'escala multiplicatiu. A grans trets, donat un nombre real i un esdeveniment amb probabilitat , el contingut de la informació es defineix de la següent manera: La base b correspon al factor d'escala anterior. Les diferents opcions de b corresponen a diferents unitats d'informació: quan , la unitat és el shannon (símbol Sh), sovint anomenat 'bit'; quan , la unitat és la unitat natural d'informació (símbol nat); i quan , la unitat és el hartley (símbol Hart).

Formalment, donada una variable aleatòria discreta amb funció de massa de probabilitat , l'autoinformació de mesurar com a resultat es defineix com

L'ús de la notació perquè l'autoinformació anterior no és universal. Des de la notació També s'utilitza sovint per a la quantitat relacionada d'informació mútua, molts autors utilitzen minúscules en canvi, per a l'autoentropia, reflectint l'ús del capital per l'entropia.

Propietats Funció de probabilitat monòtonament decreixent Per a un espai de probabilitat determinat, la mesura d'esdeveniments més rars és intuïtivament més "sorprenent" i produeix més contingut d'informació que els valors més habituals. Així, l'autoinformació és una funció monòtona de la probabilitat estrictament decreixent, o de vegades anomenada funció "antitònica".

Mentre que les probabilitats estàndard es representen amb nombres reals en l'interval , les autoinformació es representen amb nombres reals estès a l'interval . En particular, tenim el següent, per a qualsevol opció de base logarítmica:

Si un esdeveniment en particular té una probabilitat del 100% de produir-se, llavors la seva autoinformació ho és : la seva aparició és "perfectament no sorprenent" i no aporta informació. Si un esdeveniment en particular té una probabilitat del 0% de produir-se, aleshores la seva autoinformació ho és : la seva aparició és "infinitament sorprenent".

A partir d'això, podem obtenir algunes propietats generals:

Intuïtivament, s'obté més informació observant un esdeveniment inesperat: és "sorprenent". Per exemple, si hi ha una possibilitat d'un milió que l'Alice guanyi la loteria, el seu amic Bob obtindrà molta més informació en saber que va guanyar que la que va perdre un dia determinat. (Vegeu també Matemàtiques de loteria.) Això estableix una relació implícita entre l'autoinformació d'una variable aleatòria i la seva variància.

Relació amb les probabilitats de registre La informació de Shannon està estretament relacionada amb les probabilitats de registre. En particular, donat algun esdeveniment , suposem que és la probabilitat de succeint, i això és la probabilitat de no es produeix. Aleshores tenim la següent definició del log-odds:

Addibilitat d'esdeveniments independents El contingut d'informació de dos esdeveniments independents és la suma del contingut d'informació de cada esdeveniment. Aquesta propietat es coneix com a additivitat en matemàtiques, i additivitat sigma en particular en la teoria de la mesura i la probabilitat. Considereu dues variables aleatòries independents amb funcions de massa de probabilitat i respectivament. La funció de massa de probabilitat conjunta és

Relació amb l'entropia L'entropia de Shannon de la variable aleatòria anterior es defineix com per definició igual al contingut d'informació esperat de mesura de . L'expectativa es pren sobre els valors discrets sobre el seu suport.

De vegades, la pròpia entropia s'anomena "autoinformació" de la variable aleatòria, possiblement perquè l'entropia satisfà , on és la informació mútua de amb si mateix.

Per a variables aleatòries contínues el concepte corresponent és entropia diferencial.

Referències

Categoria:Teoria de la informació