Ilość informacji

Ilość informacji

Ilość informacji jest miarą, która opisuje ilościowo proces redukcji niepewności związanej z zajściem określonego zdarzenia. Termin ten jest kluczowy w matematycznej teorii informacji, a jego ilościowy aspekt badają statystyczno-syntaktyczne teorie Hartleya i Shannona. W tej teorii, miary ilości informacji opierają się na prawdopodobieństwie zdarzeń, gdzie mniej prawdopodobne zdarzenia dostarczają więcej informacji, ignorując przy tym znaczenie semantyczne komunikatów na rzecz ich składni.

Miary ilości informacji

• Ilość informacji przy zajściu zdarzenia:

  Definiowana jako entropia zdarzenia $x\_i$, określona wzorem:

  $I\_i\; =\; h\_i\; =\; log\_r\; frac\{1\}\{p\_i\}\; =\; -log\_r\; \{p\_i\},$

  gdzie $p\_i$ to prawdopodobieństwo zdarzenia $x\_i$, a $r$ to podstawa logarytmu. Najczęściej stosuje się $r\; =\; 2$ (bit), $r\; =\; e$ (nat) oraz $r\; =\; 10$ (dit).

• Przeciętna ilość informacji:

  Obliczana jako entropia bezwarunkowa zbioru $X$, wyrażona wzorem:

  $H(X)=sum\_\{i=1\}^np\_ilog\_r\; frac\{1\}\{p\_i\}=\; -sum\_\{i=1\}^np\_ilog\_r\; \{p\_i\},$

  gdzie $H(X)$ to entropia zbioru, $n$ to liczba zdarzeń, a $p\_i$ to prawdopodobieństwo zajścia zdarzenia $x\_i$.

• Informacja wzajemna:

  Określa ilość informacji o zdarzeniach zbioru $X$, zawartej w zdarzeniach zbioru $Y$, wyrażona wzorem:

  $I(X;Y)\; =\; H(X)\; –\; H(X|Y),$

  gdzie $I(X;Y)$ to informacja wzajemna, $H(X)$ to entropia bezwarunkowa, a $H(X|Y)$ to entropia warunkowa zbioru $X$ pod warunkiem $Y$.

Gdy komunikat redukuje niepewność do zera, ilość przekazanej informacji równa się entropii źródła: $I(X;Y)\; =\; H(X).$ Z kolei $I(X;X)\; =\; H(X)$, co odnosi się do samoinformacji.

Przypisy

Kategoria: Teoria informacji