Uvod u teoriju informacija

Na dananjem asu

ta je zapravo informacija?

ime se bavi teorija informacija?

Kako meriti koliinu informacija?

Teorija informacija

Informacija Signal

Informacija je saznanje preneto kroz prostor-vreme.

Signal je fiziki nosilac informacije.

Informacija Signal

Uvod u teoriju unformacija

Detaljnije...

Druge definicije informacije: Poruka koju je primalac prihvatio i razumeo Podatak: injenica na osnovu koje je mogue doneti zakljuak; "statistiki podatak" Znanje prikupljeno studiranjem, iskustvom ili poduavanjem Mentalni stimulans Znaenje Znanje Uvid

Definicije informacije

Uvod u teoriju unformacija

Detaljnije...

... Denuncijacija Vest Saoptenje vrha partije koje se ima proitati na svim partijskim sastancima (obino o bezbedonosnim pitanjima) Predanje Prezentacija Ono to auditor prikupi o organizaciji (dovoljno, kompetentno, relevantno i korisno)

Definicije informacije

Uvod u teoriju unformacija

Detaljnije...

... Rezultat procesiranja i organizacije injenica ime se poveava koliina znanja onoga ko ih prima Mogunost zakljuivanja o uzroku posmatranjem posledice (vatra, dim)

Definicije informacije

Uvod u teoriju unformacija

ta je informacija?

Bilo kakva komunikacija ili predstava znanja u formi injenica, podataka, miljenja na bilo kom medijumu i u bilo kom obliku, ukljuujui tekstualni, numeriki, grafiki, kartografski, narativni ili audiovizualni Numerika mera smanjenja neizvesnosti nakon prelaska nekog sistema iz jednog stanja u drugo Najkrai zapis koji treba dati Turingovoj maini nakon ega bi ona mogla da reprodukuje datu sekvencu simbola

Definicije informacije

Uvod u teoriju unformacija

Informacija

Informacija je saznanje preneto kroz prostor-vreme.

Informacija

Uvod u teoriju unformacija

ta je saznanje?

Pod reju saznanje moemo smatrati postupak uklanjanja nedoumice o stvarnom stanju nekog sistema Drugim reima, ono to saznajemo jeste istina koja nam je pre saznanja bila nedostupna Saznanje se, u vidu informacije, moe dalje preneti, tako da korisnik informacije moe postati njen novi izvor

Saznanje

Uvod u teoriju unformacija

Uvod u teoriju informacija

Na dananjem asu

ta je zapravo informacija?

ime se bavi teorija informacija?

Kako meriti koliinu informacija?

Teorija informacija

Teorija informacija bavi se: Definicijom mere koliine informacija Prouavanjem izvora informacija Prouavanjem prenosnog kanala Analizom granica koje optimalni sistem moe dostii Konstrukcijom prenosnog sistema to boljih performansi

Predmet prouavanja

Uvod u teoriju unformacija

Pored toga, teorija informacija bavi se i: Analizom mogunosti zatite tajnosti informacija Analizom mogunosti skladitenja informacija Analizom sistema sa vie korisnika koji meusobno sarauju ili ne sarauju

Predmet prouavanja

Uvod u teoriju unformacija

Communication Engineering & Signal Processing

Claude Elwood Shannon (1916 2001) Ameriki elektroinenjer i matematiar, poznat kao otac teorije informacija, ali i teorije projektivanja digitalnih elektronskih kola

T I

Communication Engineering & Signal Processing

Bavio se on i drugim stvarima...

T I

Poetak teorije informacija

Sve tehnike komunikacije u sutini su diskretne teorema o uzorkovanju

Izvor informacija generie stohastiki proces, pa se prenos informacija mora analizirati alatima teorije verovatnoe

Postoji mogunost da se prenos informacija znaajno ubrza bez oteenja, bez obzira na kanal

Postoji mogunost da se kroz dati kanal prenos informacija obavi sa proizvoljno malom verovatnoom greke kapacitet kanala

Poetak...

Uvod u teoriju unformacija

enonov model komunikacionog sistema

Smetnje

IZVOR

KODER IZVORA

ZATITNI KODER

ZATITNI DEKODER

DEKODER IZVORA

KORISNIK

Ekvivalentni izvor Kanal bez smetnji

Ekvivalentni korisnik

Prenosni medijum

Grb teoretiara informacija...

Uvod u teoriju unformacija

Uvod u teoriju informacija

Na dananjem asu

ta je zapravo informacija?

ime se bavi teorija informacija?

Kako meriti koliinu informacija?

Teorija informacija

Mera koliine informacija

27. januara zagrmelo je nad Beogradom

28. juna zagrmelo je nad Beogradom

Manje verovatni dogaaj nosi veu koliinu informacija.

PRIMER

Uvod u teoriju unformacija

Mera koliine informacija

Prvi test je sledee nedelje.

Na FTN je zabranjeno puenje.

Informacija koju pruaju dva nezavisna dogaaja jednaka je sumi informacija koju prua svaki od njih pojedinano.

PRIMER

Uvod u teoriju unformacija

Aksiome 1 I 2 zadovoljava sledea definicija:

I(a) = -log(P[a])
Smanjivanjem P[a], I(a) raste. Verovatnoa dva nezavisna dogaaja je P[a,b]=P[a]*P[b].

Matematika definicija

Uvod u teoriju unformacija

Baza logaritama u definiciji I(a) samo menja skalu

10

Hartley

Natural Unit - NAT

Binary Digit - BIT

Matematika definicija

Uvod u teoriju unformacija

Primer:

Primer: Ishod eksperimenta sa jednim noviem nosi 1 bit informacije.

Matematika definicija

Uvod u teoriju unformacija

Objanjenje...

Usvojena definicija ne vodi rauna o znaenju koje neka informacija ima za korisnika usled njegovih predznanja (informacija koje je uskladitio pre prijema informacije o dogaaju a). S druge strane, ona je osnovni koncept digitalnih komunikacija.

Definicije informacije

Uvod u teoriju unformacija

KOMENTAR

Postoje i druge definicije, na primer:

Fierova informacija Varijansa nezavisnih dogaaja ima osobinu da se sabira.

f(X,) predstavlja gustinu raspodele sluajne promenljive X sa nepoznatim parametrom koji se procenjuje.

Definicije informacije

Uvod u teoriju unformacija

Uvod u teoriju informacija

Pauza!

Predavanja:
Prof. dr Vojin enk Animacija Branislav Popovi

Teorija informacija