Shannon képlete az információmennyiség számítására


A Hartley-képlet egy üzenetben található információ mennyiségének
számítására csak akkor igaz, ha az üzenetet alkotó jelek mindegyikénél
egyforma az előfordulási valószínűség. Ha ez nem teljesül (és ez a
gyakoribb eset, mivel a jelkészleteknek, nyelveknek meghatározott        [erd19]
statisztikai szerkezete van), akkor az információmennyiség nem a jelek
számával, hanem előfordulási valószínűségükkel lesz arányos. A jelkészlet
valamelyik tagjának információmennyisége ezek után: h = -log p (ahol p
az előfordulási valószínűséget jelző, 0 és 1 közé eső törtszám, ezért
logaritmusát negatív előjellel kell vennünk, hogy eredményül továbbra
is pozitív számot kapjunk).

Látható, hogy minél nagyobb egy esemény bekövetkezésének valószínűsége
(a p közel van az 1-hez), annál kisebb az információtartalma. Az n
jelből álló abc egy jeléhez tartozó átlagos információmennyiség ezek
után: H = - S p(i)·log p(i) (Shannon-képlet), amely nagyon hasonlít az
entrópia képletére. Ha az ötjegyű telefonszám első jegye pl. csak 1 vagy
3 lehet, akkor az információmennyiség 16.609 bitről 14.28 bitre csökken.
Egy közlemény információmennyiségét akkor tudjuk meghatározni, ha
ismerjük a jelkészletet, és legalább megközelítőleg tudjuk a jelek
előfordulási valószínűségét.


Fülöp G. (1984) nyomán                 [irodalom.txt  -Fülöp]