Koncept informačnej entropie implikuje záporný logaritmus funkcie pravdepodobnosti hmotnosti pre hodnotu. Keď má teda zdroj údajov hodnotu s nižšou pravdepodobnosťou (t. j. keď nastane udalosť s nízkou pravdepodobnosťou), udalosť nesie viac „informácií“(„prekvapenie“), ako keď majú zdrojové údaje hodnotu s vyššou pravdepodobnosťou..
Množstvo informácie prenášanej každou takto definovanou udalosťou sa stáva náhodnou premennou, ktorej očakávanou hodnotou je informačná entropia. Vo všeobecnosti sa entropia týka poruchy alebo neistoty a jej definícia používaná v teórii informácie je priamo analogická s definíciou používanou v štatistickej termodynamike. Koncept IE predstavil Claude Shannon vo svojom článku z roku 1948 „A Matematická teória komunikácie“. Odtiaľto pochádza výraz „Shannonova informačná entropia“.
Definícia a systém
Základný model systému prenosu dát sa skladá z troch prvkov: zdroj dát, komunikačný kanál a prijímač,a ako hovorí Shannon, „základný komunikačný problém“spočíva v tom, že prijímač je schopný identifikovať, aké údaje vygeneroval zdroj na základe signálu, ktorý prijíma cez kanál. Entropia poskytuje absolútne obmedzenie na najkratšiu možnú priemernú dĺžku bezstratového kódovania komprimovaných zdrojových údajov. Ak je entropia zdroja menšia ako šírka pásma komunikačného kanála, údaje, ktoré generuje, sa môžu spoľahlivo preniesť do prijímača (aspoň teoreticky, možno zanedbaním niektorých praktických úvah, ako je zložitosť systému potrebného na prenos údajov). a množstvo času, ktorý môže trvať prenos údajov).
Informačná entropia sa zvyčajne meria v bitoch (alternatívne nazývaných „shannon“) alebo niekedy v „prirodzených jednotkách“(nats) alebo desatinných miestach (nazývaných „dits“, „bans“alebo „hartleys“). Jednotka merania závisí od základne logaritmu, ktorý sa používa na určenie entropie.
Vlastnosti a logaritmus
Rozdelenie logaritmickej pravdepodobnosti je užitočné ako miera entropie, pretože je aditívne pre nezávislé zdroje. Napríklad entropia spravodlivej stávky mince je 1 bit, zatiaľ čo entropia m-objemov je m bitov. V jednoduchom znázornení sú bity log2(n) potrebné na vyjadrenie premennej, ktorá môže nadobudnúť jednu z hodnôt n, ak n je mocnina 2. Ak sú tieto hodnoty rovnako pravdepodobné, entropia (v bitoch) je rovnakému číslu. Ak je jedna z hodnôt pravdepodobnejšia ako ostatné, pozorovanie, že jevýznam sa vyskytuje, je menej informatívny, ako keby sa vyskytol nejaký menej všeobecný výsledok. Naopak, zriedkavejšie udalosti poskytujú dodatočné informácie o sledovaní.
Pretože pozorovanie menej pravdepodobných udalostí je menej časté, nie je nič spoločné s tým, že entropia (považovaná za priemernú informáciu) získaná z nerovnomerne rozložených údajov je vždy menšia alebo rovná log2(n). Entropia je nulová, keď je definovaný jeden výsledok.
Shannonova informačná entropia kvantifikuje tieto úvahy, keď je známe rozdelenie pravdepodobnosti základných údajov. Význam pozorovaných udalostí (význam správ) je pri definícii entropie irelevantný. Ten berie do úvahy iba pravdepodobnosť videnia konkrétnej udalosti, takže informácie, ktoré obsahuje, sú údaje o základnom rozložení možností, nie o význame udalostí samotných. Vlastnosti informačnej entropie zostávajú rovnaké, ako je opísané vyššie.
Teória informácií
Základnou myšlienkou teórie informácií je, že čím viac o téme človek vie, tým menej informácií o nej môže získať. Ak je udalosť veľmi pravdepodobná, nie je prekvapujúce, keď k nej dôjde, a preto poskytuje málo nových informácií. Naopak, ak bola udalosť nepravdepodobná, bolo oveľa informatívnejšie, že sa udalosť stala. Preto je užitočné zaťaženie rastúcou funkciou inverznej pravdepodobnosti udalosti (1 / p).
Ak sa teraz stane viac udalostí, entropiameria priemerný informačný obsah, ktorý môžete očakávať, ak dôjde k jednej z udalostí. To znamená, že hod kockou má väčšiu entropiu ako hod mincou, pretože výsledok každého kryštálu má nižšiu pravdepodobnosť ako výsledok každej mince.
Funkcie
Entropia je teda mierou nepredvídateľnosti stavu alebo, čo je to isté, jeho priemerného informačného obsahu. Ak chcete intuitívne porozumieť týmto pojmom, zvážte príklad politického prieskumu. Zvyčajne sa takéto prieskumy dejú, pretože výsledky, napríklad volieb, ešte nie sú známe.
Inými slovami, výsledky prieskumu sú relatívne nepredvídateľné av skutočnosti jeho vykonanie a preskúmanie údajov poskytuje nové informácie; sú to len rôzne spôsoby, ako povedať, že predchádzajúca entropia výsledkov prieskumu je veľká.
Teraz zvážte prípad, keď sa rovnaký prieskum uskutoční druhýkrát krátko po prvom. Keďže výsledok prvého prieskumu je už známy, výsledky druhého prieskumu sa dajú dobre predvídať a výsledky by nemali obsahovať veľa nových informácií; v tomto prípade je a priori entropia druhého výsledku prieskumu malá v porovnaní s prvým výsledkom.
Hodenie mincou
Teraz zvážte príklad hodu mincou. Za predpokladu, že pravdepodobnosť chvostov je rovnaká ako pravdepodobnosť hláv, entropia hodu mincou je veľmi vysoká, keďže ide o zvláštny príklad informačnej entropie systému.
Je to pretože nie je možné predpovedať, že je výsledok hodený mincou vopred: ak si musíme vybrať, najlepšie, čo môžeme urobiť, je predpovedať, že minca pristane na chvoste, a táto predpoveď bude správna s pravdepodobnosťou 1 / 2. Takýto hod mincou má jednu bitovú entropiu, pretože existujú dva možné výsledky, ktoré nastanú s rovnakou pravdepodobnosťou, a štúdium skutočného výsledku obsahuje jeden bit informácie.
Naopak, hádzanie mince pomocou oboch strán s chvostom a bez hláv má nulovú entropiu, pretože minca vždy dopadne na toto znamenie a výsledok sa dá dokonale predpovedať.
Záver
Ak je schéma kompresie bezstratová, čo znamená, že celú pôvodnú správu môžete vždy obnoviť dekomprimovaním, potom má komprimovaná správa rovnaké množstvo informácií ako originál, ale prenáša sa v menšom počte znakov. To znamená, že má viac informácií alebo vyššiu entropiu na znak. To znamená, že komprimovaná správa má menšiu redundanciu.
Zhruba povedané, Shannonova veta o kódovaní zdrojového kódu uvádza, že schéma bezstratovej kompresie nemôže redukovať správy v priemere tak, aby mali viac ako jeden bit informácie na bit správy, ale je možné dosiahnuť akúkoľvek hodnotu menšiu ako jeden bit informácie na bit správy používajúce vhodnú schému kódovania. Entropia správy v bitoch krát jej dĺžka je mierou toho, koľko všeobecných informácií obsahuje.
