Entropia informaatioteoriassa kuvaa keskimääräistä epävarmuutta satunnaismuuttujan mahdollisten arvojen suhteen. Täsmällisemmin sanottuna se mittaa satunnaismuuttujan arvon kuvaamiseksi tarvittavan informaation odotusarvoa satunnaismuuttujan todennäköisyysjakauman yli. Tässä yhteydessä satunnaismuuttujan informaatiota kuvaa sen todennäköisyysjakauman käänteisluvun logaritmi, joka epäformaalisti sanottuna kertoo, kuinka yllättävä jokin tapahtuma on: mitä suurempi tapahtuman todennäköisyys on, sitä lähempänä nollaa sen käänteisluvun logaritmi on ja sitä vähemmän informaatiota tähän tapahtumaan liittyy. Käsitteen esitteli Claude Shannon vuonna 1948.
Määritelmät Diskreetti satunnaismuuttuja Olkoon diskreetin satunnaismuuttujan määrittelyjoukko ja pistetodennäköisyysfunktio . Tällöin satunnaismuuttujan entropia on:
Jatkuva satunnaismuuttuja Olkoon jatkuvan satunnaismuuttujan määrittelyjoukko ja tiheysfunktio . Tällöin satunnaismuuttujan entropia on:
Jatkuvan satunnaismuuttujan entropiaa kutsutaan myös differentiaalientropiaksi.
Lähteet
Kirjallisuutta
Luokka:Informaatioteoria