Teorie informace • z latiny, už 1stol. př. n. l. „informare“ - dávati tvar,podobu, formovat, tvořit „informatio“ - představa, pojem, obrys • informace – mnohoznačný pojem • fyzikální informace – v neživé přírodě • biologická informace – v živé přírodě • sociální informace – v lidské společnosti • technická informace – technická zařízení Teorie informace • zakladatel Claude Elwood Shannon (1916-2001) • A Mathematical Theory of Communication (1948) • Shannonova definice informace: - vlastnost odstraňující apriorní neznalost příjemce • uplatnění – telekomunikace, přesné reprodukování vyslané zprávy v místě přijetí Teorie informace • zpráva nese význam – k něčemu referuje • sémantika - nauka o významu slov, znaků • pro inženýrské aplikace irelevantní • každá zpráva vybrána z množiny možných zpráv • pokud počet zpráv v množině konečný → číslo mírou informace produkované ve chvíli výběru jedné nich Teorie informace • předpoklad - všechny volby stejně pravděpodobné → volba zprávy statistická, vyjádřitelná logaritmickou funkcí • Log a^r - čím umocnit a, abychom získali r? • množina zpráv o konečném počtu elementů N[1], N[2] … N[n] • každý výskyt s pravděpodobností p[1], p[2] … p[n] • čas, šířka pásma, počet přenosů .. - inženýrské parametry • mění se lineárně s logaritmem počtu možností (volby) Teorie informace • informační zdroj produkuje zprávy nedeterministicky → stochastický (pravděpodobnostní) proces • pravděpodobnost mnohdy závisí na předchozím stavu • např. v angl. písmeno D pravděpodobněji následováno písmenem E než písmenem Z Teorie informace • množství informace I (p[1], p[2] … p[n]) • Vybrané vlastnosti: 1) jestliže pravděpodobnost výskytu elementů stejná (p[n] = 1/n) → I se musí zvyšovat spolu s n 2) jestliže volba rozložena mezi dva následné výběry → hodnota I součtem obou dílčích hodnot I • z toho Shannonův teorém: [n] I = – ∑ p[i] log p[i] ^i = 1^ Teorie informace • I umožňuje vypočítat průměrný počet znaků z množiny, potřebný k zakódování zprávy • míra nehospodárnosti kódování - redundance (nadbytečnost) • výsledná hodnota není vždy celé číslo • přebývající hodnota označena I* • vypočet redundantní informace: r = 1 – I/I* • příklad: v bedně je 32 knoflíků, pouze 1 je červený. Kolikrát musíme rozhodovat než jednoznačně určíme, ve které skupině je červený knoflík? Teorie informace • hodnota červeného knoflíku je rovna pěti • máme dvě možnosti. Která je pravdivá? • zjistíme, že jedna platí → získáme nejmenší množství informace, 1 bit • bit může mít tedy pravdivostní hodnotu: 1 = pravda 0 = nepravda • 1 a 0 základem dvojkové soustavy (třetí prvek mezera) • dvojková soustava nevýhodná pro lidi, neumíme v ní dostatečně rychle počítat, stroje ano Teorie informace • bit – podle této teorie nejmenší jednotkou informace • bit – binary digit či basic indissoluble information unit • jeden bit = dvojkový logaritmus ze dvou log 2^2 = 1 • I se měří logaritmem prováděných počtu výběrů • počet bitů určuje, kolikrát nutno se rozhodnout pro dosažení jediného výsledku Teorie informace • k převodu informace mezi lidmi a stroji převodní pravidla – kódy • ve vypočetní technice ustáleny kódy na základě osmibitových slabik – bytů • 1 byte = 8 bitů → 256 možných kombinací nul a jedniček Entropie • definice: míra neuspořádanosti soustavy, růst vyjadřuje přechod od organizovaných, málo pravděpodobných stavů ke stavům chaotickým, vysoce pravděpodobných • odstranění entropie po příjmu zprávy → vyjadřuje míru získané informace • při růstu informace entropie klesá a naopak Entropie • pojem z termodynamiky - směr energetických změn v systému směrem k nejpravděpodobnějšímu uspořádání jeho prvků • část energie při práci systému degraduje na teplo – nevratná ztráta • izolovaný termodynamický systém → ubývá energie, směr rovnovážný stav bez energie • čím menší entropie, tím větší rozdíly v soustav → překvapení pro pozorovatele, větší informace Negentropie • záporná entropie, organi- zace používají biologové • otevřené systémy daleko od rovnováhy (život) • sají uspořádanost z okolí (látky a energii), rozkládají ji, uvolněnou energii využívají k udržení vlastní organizace • výsledek → degradací látek a energie zvyšují entropii svého okolí