Teoria informacji - Information theory


Z Wikipedii, wolnej encyklopedii

Teoria informacji bada kwantyfikacji , przechowywania i komunikacji z informacji . Został on pierwotnie zaproponowany przez Claude E. Shannon w 1948 roku, aby znaleźć podstawowe ograniczenia dotyczące przetwarzania sygnałów operacji i komunikacyjnych, takich jak kompresja danych , w przełomowym artykule zatytułowanym „ Teoria matematyczna Komunikacji ”. Zastosowania podstawowych zagadnień teorii informacji obejmują kompresji bezstratnej (np pliki ZIP ), kompresję stratną (np pliki MP3 i JPEG ) i kanał kodowania (np cyfrowa linia abonencka (DSL)). Jego wpływ jest kluczowe dla powodzenia Voyager misji w przestrzeni kosmicznej, wynalazek na płycie kompaktowej , wykonalność telefonów komórkowych , rozwój Internetu , badania językoznawstwa i ludzkiej percepcji, rozumienia czarnych dziur , i wiele innych dziedzin.

Kluczowym środkiem w teorii informacji jest „ entropia ”. Entropia wylicza ilość niepewności zaangażowanych w wartość zmiennej losowej lub od wyniku procesu losowego . Na przykład, identyfikowanie wyniku rzetelnego monetą (z dwoma jednakowo prawdopodobne skutki) daje mniej informacji (niższy) niż entropii określenie wyników z rolki z dyszy (z sześciu równo możliwych efektów). Niektóre inne ważne środki w teorii informacji jest informacja wzajemna , pojemność kanału , wykładniki błędach , a względna entropia .

Pole jest przy skrzyżowaniu matematyki , statystyki , informatyki , fizyki , neurobiologii , inżynierii informacje i elektrotechniki . Teoria ta znalazła również zastosowanie w innych dziedzinach, w tym wnioskowania statystycznego , przetwarzania języka naturalnego , kryptografii , neurobiologii , ludzkiego wzroku, ewolucji i funkcji kodów cząsteczkowej ( bioinformatyka ), wybór modelu w statystyki, fizyki cieplnej , informatyki kwantowej , lingwistyki , plagiat wykrywanie , rozpoznawanie wzorców i wykrywania anomalii . Ważne sub-dziedziny teorii informacji to kodowanie źródłowe , kodowanie kanału , algorytmicznej teorii złożoności , algorytmicznej teorii informacji , bezpieczeństwo informacji, teoretyczne i środków informacji.

Przegląd

Teoria informacji bada, przetwarzanie, wydobywaniem i wykorzystanie informacji. Abstrakcyjnie, informacje mogą być traktowane jako uchwałą niepewności. W przypadku przekazywania informacji na hałaśliwym kanału, to abstrakcyjne pojęcie zostało skonkretyzowane w 1948 roku przez Claude Shannon w swoim referacie „ teoria matematyczna Komunikacji ”, w którym „informacja” jest traktowane jako zbiór możliwych komunikatów, gdzie celem jest, aby te wiadomości na hałaśliwym kanału, a następnie mieć odbiornik odtworzyć wiadomość z małym prawdopodobieństwem błędu, mimo szumu kanału. Głównym rezultatem Shannona, tym głośno-kanałowy twierdzenie kodowania wykazały, że w granicach wielu zastosowań kanałów, szybkość informacji, które są asymptotycznie osiągalne jest równa pojemności kanału , w ilości zależnej jedynie na statystykach kanału, nad którym komunikaty są wysyłane.

Teoria informacji jest ściśle związany z kolekcją Czystej i Stosowanej dyscyplin, które zostały zbadane i zredukowanej do praktyki inżynierskiej w różnych rubrykach na całym świecie w ciągu ostatniego pół więcej wieku, czyli systemy adaptacyjne , systemy zapobiegawcze , sztucznej inteligencji , systemów złożonych , Nauka złożoności , cybernetyka , informatyka , uczenie maszynowe , wraz z systemami nauk wielu opisów. Teoria informacji jest szeroka i głęboka teoria matematyczna, z równie szerokich i głębokich aplikacji, wśród których jest istotną dziedziną teorii kodowania .

Teoria kodowania dotyczy znalezienia jednoznacznych metod, zwane kody na zwiększenie efektywności i zmniejszenie stopy błędów transmisji danych na hałaśliwych kanałów blisko pojemności kanału . Kody te można z grubsza podzielić na kompresji danych (kodowanie źródła) i korekcja błędów (kanał kodowania) technik. W tym ostatnim przypadku, zajęło wiele lat, aby znaleźć sposoby pracy Shannona okazały się możliwe. Trzecia grupa kodów informacyjnych teorii algorytmy kryptograficzne (oba kody i szyfrów ). Koncepcje, metody i wyniki kodowania teorii i teorii informacji są szeroko stosowane w kryptografii i kryptoanalizy . Zobacz artykuł zakazu (część) dla historycznego aplikacji.

Teoria informacji jest również stosowany w wyszukiwaniu informacji , gromadzenie informacji wywiadowczych , hazardu , statystyk , a nawet w kompozycji muzycznej .

Tło historyczne

Impreza punkt orientacyjny, że ustalone dyscypliny teorii informacji i przyniósł go do natychmiastowej uwagi światowej była publikacja Claude E. Shannon klasycznej pracy „s« teoria matematyczna Komunikacji »w Bell systemu technicznego Urzędowym w lipcu i październiku 1948 r.

Przed tym papierze, ograniczone informacje, teoretyczne pomysły zostały opracowane w Bell Labs , wszystkich niejawnie zakładając wydarzeniach z jednakowym prawdopodobieństwem. Harry Nyquist „s 1924 papier, niektóre czynniki wpływające Telegraph prędkość , zawiera część teoretyczną ilościowego«inteligencję»i«prędkość linii», w którym może on być przenoszony przez system komunikacyjny, dając stosunek W = K dziennika m (przypominając stała Boltzmanna ), gdzie w jest szybkość transmisji inteligencji, m oznacza liczbę różnych poziomach napięcia, do wyboru w każdym punkcie czasowym, a K jest stałą. Ralph Hartley jest 1928 papier, transmisja informacji , wykorzystuje słowo informacji jako mierzalną, odzwierciedlając zdolności odbiornika do odróżniania jednego sekwencji symboli z dowolnego innego, a tym samym ilościowej oceny informacji, H = log S n = n log S , gdzie S była liczba możliwych symboli, i n liczba symboli transmisji. Jednostką informacji było zatem cyfry dziesiętne , które od tej pory czasami nazywany Hartley na jego cześć jako jednostki lub skali lub środka informacji. Alan Turing w 1940 roku podobne pomysły wykorzystane jako część analizy statystycznej łamaniu niemieckich II wojny światowej Enigma szyfrów.

Wiele z matematyki za teorii informacji z różnych wydarzeń prawdopodobieństw zostały opracowane w dziedzinie termodynamiki przez Ludwiga Boltzmanna i J. Willard Gibbs . Połączenia między informacyjnego teoretyczna entropii i entropii termodynamicznej, w tym ważnych składek przez Rolfa Landauera w 1960 roku, są badane w Entropii w termodynamiki i teorii informacji .

W rewolucyjnego i przełomowego papieru Shannona, praca, dla których zostały zasadniczo zakończone w Bell Labs pod koniec 1944 roku, Shannon po raz pierwszy wprowadziła jakościowy i ilościowy model komunikacji jako procesu statystycznego bazowego teorii informacji, otwieranie się z twierdzeniem, że

„Podstawowym problemem jest to, że komunikacja z reprodukcji w jednym punkcie, albo dokładnie lub w przybliżeniu komunikat wybrana w innym miejscu.”

Wraz z nim przybył idee

Ilości informacji

Teoria informacji opiera się na teorii prawdopodobieństwa i statystyki . Teoria informacji często odnosi się do środków informacji związanych z rozkładów zmiennych losowych. Ważne ilości informacji są entropii , miara informacji w pojedynczej zmiennej losowej , a wzajemna informacja , miara informacji wspólnego między dwiema zmiennymi losowymi. Były ilość jest własnością rozkładu prawdopodobieństwa zmiennej losowej i daje limit na szybkość, z jaką dane wygenerowane przez niezależnych próbek z danej dystrybucji można wiarygodnie sprężonego . Ten ostatni jest właściwością wspólną dystrybucję dwóch zmiennych losowych i maksymalna szybkość niezawodnej komunikacji w hałaśliwym kanału w granicach długości długi blok, kiedy statystyki kanału zależą od łącznego rozkładu.

Wybór logarytmicznej bazy w następujących wzorów określa jednostkę z informacji entropii , który jest używany. Częstym jednostką informacji jest bit , w oparciu o logarytm binarny . Inne jednostki obejmują NAT , która opiera się na logarytmu naturalnego , a cyfrę dziesiętną , która opiera się na wspólnym logarytmu .

W dalszej części wyrazem forma p log P jest uważany przez konwencję być równa zeru, gdy p = 0 . Jest to uzasadnione, ponieważ dla każdej bazy logarytmicznej.

Entropia źródła informacji

W oparciu o funkcję masy prawdopodobieństwa każdego symbolu, które mają być przekazane, Shannon entropia H w jednostkach bitów na symbol () jest wyrażony

gdzie P i jest prawdopodobieństwo wystąpienia ı -ty możliwej wartości symbolu źródłowego. To równanie daje entropii w jednostkach „bity” (na symbol), ponieważ używa logarytm podstawy 2, a to podstawa-2 miarą entropii jest czasem nazywany „ Shannon ” na jego cześć. Entropia jest powszechnie obliczany za pomocą logarytmu naturalnego (podstawa E , gdzie E stanowi liczbę Eulera ), który wytwarza się pomiar entropii „ NAT ” na symbol, a czasami ułatwia analizę unikając potrzeby zawierać dodatkowe stałe we wzorach. Inne zasadami są również możliwe, lecz mniej powszechnie stosowany. Na przykład logarytm podstawy 2 8 = 256 wytworzy pomiar w bajtach na symbol i logarytm o podstawie 10 wytworzy pomiar w cyfr (lub Hartleys) przypadającą na symbol.

Intuicyjnie entropia H X dyskretnego zmiennej losowej X jest miarą ilości niepewności związanej z wartością X , gdy tylko jej rozkład jest znana.

Entropia źródła emitującego sekwencja N symboli, które są niezależne i jednakowo rozmieszczone (IID) jest N-H bitów (na przesłanie N symboli). Jeżeli symbole danych źródła są rozmieszczone w identyczny sposób, lecz nie są niezależne, entropia komunikatu o długości N jest mniejsza niż N · H .

Entropia Bernoulliego procesu jako funkcji prawdopodobieństwa sukcesu, często nazywany binarny funkcji entropii , H b ( P ) . Entropia jest największa na 1 bit w każdej próbie, gdy dwa możliwe wyniki są jednakowo prawdopodobne, a w nieobciążonym monetą.

Jeżeli jeden przesyła 1000 bitów (0 i 1), a wartość każdego z tych bitów są znane odbiornika (ma określoną wartość przy pewności) przed transmisją, oczywiste jest, że informacja nie jest transmitowany. Jeśli jednak każdy bit jest niezależnie równie prawdopodobne, aby być 0 lub 1, 1000 Shannons informacji (częściej zwane bity) zostały przekazane. Między tymi dwoma skrajnymi informacje można określić w następujący sposób. Jeśli 𝕏 jest zbiorem wszystkich wiadomości { X, 1 , ..., x n } , że X może być, i P ( x ) jest prawdopodobieństwem część , to entropia, H , Z X są zdefiniowane:

(Tutaj, I ( x ) jest self-informacja , która jest wkład entropia indywidualnej wiadomości i 𝔼 X jest wartość oczekiwana ). Właściwość entropii jest to, że jest maksymalna, gdy wszystkie komunikaty w przestrzeni wiadomości są jednakowo prawdopodobne p ( x ) = 1 / n ; czyli najbardziej nieprzewidywalne, przy czym H ( x ) = log n .

Specjalny przypadek informacji entropii zmienną losową z dwoma wynikami jest binarny funkcji entropii , zwykle przyjmuje się logarytmiczny podstawy 2, a tym samym o Shannon (SH), jako jednostka:

Wspólne entropia

Stawów entropia z dwóch oddzielnych zmiennych losowych X i Y jest jedynie entropia ich parowania: ( X , Y ) . Oznacza to, że jeśli X i Yniezależne , to ich wspólny entropia jest sumą indywidualnych entropii.

Na przykład, jeśli ( X , Y ) oznacza pozycję szachowego kawałek - X wiersza i Y kolumnę, a następnie wspólne entropia rzędu części oraz kolumny elementu będzie entropia położenia punktu kawałek.

Mimo podobnej notacji, wspólne entropia nie powinna być mylona z wzajemnej entropii .

Entropia warunkowa (dwuznaczność)

Entropia warunkowa lub niepewność uzależnione od X podano zmienną losową Y (zwany także dwuznaczność o X o Y ) jest średnią entropia warunkowa przez Y :

Ponieważ entropia może być uzależnione od zmiennej losowej lub na tej zmiennej losowej będąc pewną wartość, należy uważać, aby nie pomylić tych dwóch definicji entropii warunkowej, z których pierwsza jest bardziej powszechnym użyciu. Podstawową właściwością tej formy entropia warunkowa jest to, że:

Wymiana informacji (transinformation)

Wzajemna informacja mierzy ilość informacji, które można uzyskać około jednej zmiennej losowej obserwując innego. Jest to ważne w komunikacji, gdzie może on być stosowany w celu zmaksymalizowania ilości informacji dzielonego między wysyłanych i odbieranych sygnałów. Wzajemne informacje o X względem Y jest równa:

gdzie SI ( S zczególn wzajemna I nformacje) jest punktowa informacja wzajemna .

Podstawową właściwością jest to, że wzajemne informacji

Oznacza to, że wiedząc, Y , możemy zaoszczędzić średnio I ( X ; Y ) bitów w kodowaniu X w porównaniu do nie wiedząc Y .

Wzajemna informacja jest symetryczny :

Wymiana informacji może być wyrażony jako średnia dywergencja kullbacka-leiblera (uzyskać informacje) pomiędzy rozkładu prawdopodobieństwa posteriori z X otrzymuje wartość Y , a przed podział na X :

Innymi słowy, jest miarą tego, jak dużo, średnio, rozkład prawdopodobieństwa na X zmieni jeśli podano wartość Y . Często jest to przeliczane jako odstępstwa od iloczynu brzegowych rozkładów do rzeczywistej wspólnej dystrybucji:

Wymiana informacji jest ściśle związana z testu stosunek log-prawdopodobieństwa w kontekście tabel awaryjnych i rozkładu wielomianowego i χ Pearsona 2 testu : wzajemne informacje mogą zostać uznane statystyka oceny niezależności pomiędzy parą zmiennych, i ma dobrze określony rozkład asymptotycznej.

Dywergencja kullbacka-leiblera (zysk informacja)

Dywergencja kullbacka-leiblera (lub informacja rozbieżność , uzyskać informacje , czy krewny entropia ) jest sposobem porównywania dwóch rozkładów: „prawdziwy” rozkład prawdopodobieństwa P (X) , a dowolna rozkład prawdopodobieństwa P (X) . Jeśli kompresji danych w taki sposób, że przyjmuje q (x) jest rozkład bazowego niektórych danych, podczas gdy w rzeczywistości, p (X) jest prawidłowe rozmieszczenie dywergencja Kullback-Leiblera jest liczbą średnią dodatkowych bitów przypadających odniesienia niezbędny do kompresja. Jest zatem zdefiniowane

Chociaż czasami używane jako „odległości” metrycznej, KL rozbieżność nie jest prawdziwą metrykę , ponieważ nie jest symetryczny i nie spełnia nierówność trójkąta (co czyni go naczepa quasimetric).

Innym interpretacja rozbieżności KL „Niepotrzebna niespodzianka” wprowadzane przez uprzednie z prawdzie załóżmy, że liczba X ma być sporządzony losowo dyskretnego zestawu z rozkładu prawdopodobieństwa p (x) . Jeśli Alicja zna prawdziwego rozkładu p (x) , podczas gdy Bob wierzy (ma przed ), że rozkład jest q (x) , a następnie Bob będzie bardziej zaskoczony niż Alice, średnio, widząc wartość X . KL rozbieżność jest (cel) wartość oczekiwana Bob (subiektywna) nieuwagę minus nieuwagę Alicji, mierzona w bitach jeśli log jest w podstawie 2. W ten sposób, w jakim stopniu przed jest Bob „źle” można określić w kategoriach o tym, jak „niepotrzebnie zaskoczony” oczekuje się, aby uczynić go.

Pozostałe ilości

Inne ważne informacje teoretycznych ilości obejmują Renyi entropii (uogólnienie entropii), różniczkowych entropii (uogólnienie ilości informacji dystrybucji ciągły), oraz warunkowy wymiany informacji .

teoria kodowania

Obraz pokazano na zarysowania czytelnej powierzchni płyty CD-R. Muzyki i danych CD są kodowane za pomocą kodów korekcji błędów, a więc nadal można odczytać nawet jeśli mają drobne rysy za pomocą detekcji i korekcji błędów .

Kodowanie teorii jest jednym z najważniejszych i najbardziej bezpośrednich zastosowań teorii informacji. Można go podzielić na kodowanie źródłowe Teoria i kanału kodowania teorii. Korzystanie z opisu statystycznego dla danych, teoria informacji ilościowo liczbę bitów potrzebnych do opisania danych, która jest entropia informacji o źródle.

  • Kompresja danych (kodowanie źródłowe) znajdują się dwa preparaty do problemu kompresji:
  • bezstratnej kompresji danych : dane muszą być dokładnie zrekonstruowany;
  • kompresji stratnej : przydziela bitów potrzebnych do odtworzenia danych, w określonym poziomie wierność mierzonych w funkcji odkształcenia. Ten podzbiór teorii informacji nazywa się teoria wskaźnik zniekształceń .
  • Kody korekcji błędów (kanał kodowanie): Podczas kompresji danych usuwa tyle redundancję jak to możliwe, kod korekcji błędów dodaje tylko odpowiedni rodzaj redundancji (czyli korekcja błędów ) potrzebne do transmisji danych sprawnie i wiernie całej hałaśliwym kanału.

Ten podział teorii kodowania do kompresji i transmisji jest uzasadnione twierdzeń przesyłu informacji, czy twierdzenia separacji source-channel uzasadniające zastosowanie bitów jako uniwersalnej waluty do informacji w wielu kontekstach. Jednak te twierdzenia trzymać tylko w sytuacji, gdy jeden użytkownik przekazujący chce przekazać jednemu użytkownikowi odbiorczego. W scenariuszach z więcej niż jednego nadajnika (kanału wielodostępu), więcej niż jeden odbiornik (w kanale transmisyjnym ) lub pośredniczące „pomocników” (The przekaźnikowymi ), albo bardziej ogólnymi sieci , sprężania, a następnie transmisji może nie być optymalne. Teoria informacji o sieci odnosi się do tych modeli komunikacyjnych multiagencyjnymi.

teoria źródło

Każdy proces, który generuje kolejne wiadomości można uznać za źródło informacji. Źródło jest bez pamięci, w którym każda wiadomość jest niezależny identycznie rozmieszczone zmienną losową , zaś właściwości ergodyczności i stacjonarności nałożyć mniej restrykcyjnych ograniczeń. Wszystkie te źródła są stochastyczne . Terminy te są dobrze zbadane w sobie teorii informacji na zewnątrz.

Oceniać

Informacja stawka to średnia entropia za symbolem. Źródeł bezpamięciowe, jest to jedynie entropii każdego symbolu, przy czym, w przypadku stacjonarnego procesu losowego jest

to znaczy, że entropia warunkowa symbolu podano wszystkie poprzednie symbole wytworzonych. Dla bardziej ogólnego przypadku, w procesie, który niekoniecznie jest nieruchomy, średnia szybkość jest

to jest granica wspólnej entropii za symbolem. Dla źródeł stacjonarnych, te dwa wyrażenia dają ten sam rezultat.

Jest to powszechne w teorii informacji, aby mówić o „stopy” lub „entropia” języka. Jest to właściwe, na przykład, gdy źródłem informacji jest angielski proza. Stopa źródło informacji wiąże się z jego nadmiarowości i jak dobrze może to być kompresowane , przedmiotem kodowania źródłowego .

pojemność kanału

Łączności w kanale-, takie jak Ethernet przewód -jest podstawową motywację teorii informacji. Jako ktoś, kto kiedykolwiek używał telefonu (komórkowego lub stacjonarnego) wie jednak takie kanały często nie produkować dokładną rekonstrukcję sygnału; hałasu, okresy ciszy i inne formy korupcji często pogorszyć jakość sygnału.

Uznanie procesu komunikacyjnego na dyskretnym kanału. Prosty model procesu przedstawiono poniżej:


Model kanał


Tutaj X reprezentuje przestrzeń komunikatów przesyłanych i Y przestrzeń komunikatów otrzymanych w jednostce czasu na naszym kanale. Niech p ( r | x ) jest Prawdopodobieństwo warunkowe Funkcja dystrybucji Y danego X . Rozważymy p ( y | x ) być nieodłączną właściwość fixed naszego kanału komunikacyjnego (reprezentujący charakter szumu naszego kanału). Potem wspólny rozkład X i Y jest całkowicie określona przez naszego kanału i przez naszego wyboru f ( x ) , marginalna dystrybucja komunikatów zdecydujemy się wysłać za pośrednictwem kanału. W ramach tych ograniczeń, chcielibyśmy, aby zmaksymalizować szybkość informacji, lub sygnał , możemy komunikować się za pośrednictwem kanału. Właściwą miarą jest to wzajemne przekazywanie informacji , a to maksymalna informacja wzajemna nazywany jest pojemność kanału i jest dana przez:

Zdolność ta posiada następujące właściwości związanych z przekazywaniem informacji o kursie R (gdzie R jest zazwyczaj bitów na symbol). Na każdym przypadku informacji R <C i błędów kodowania ε> 0 o wystarczająco dużej N istnieje kod o długości N i szybkości ≥ R i algorytm dekodowania, tak że ilość prawdopodobieństwa błędu bloku jest ≤ ε; to znaczy, że zawsze można transmitować z dowolnie małym błędem bloku. Dodatkowo, dla każdej stopy R> C , to jest możliwe, aby nadawać z dowolnie małego błędu bloku.

Kodowanie kanału zajmuje się znalezieniem takich prawie optymalnych kodów , które mogą być wykorzystywane do przesyłania danych w hałaśliwym kanału z małym błędem kodowania w tempie blisko pojemności kanału.

Pojemność poszczególnych modeli kanałowych

Binary symetryczny channel.svg
  • Binarny kanał wymazywania (BEC) usuwanie z prawdopodobieństwem p jest wejściem binarny trójskładnikowy kanału wyjściowego. Możliwych wyjść kanału 0, 1, a trzeci symbol „e”, zwany usunięciem. Wymazywanie oznacza całkowitą utratę informacji o bitu wejściowego. Zdolność BEC jest 1 - P bitów na użytkowania kanałów.
Binary wymazanie channel.svg

Wnioski do innych dziedzin

Oparta na sztucznej inteligencji i aplikacje tajemnicy

Informacje teoretyczne koncepcje dotyczą kryptografii i kryptoanalizy . Turing jest jednostka informacyjny, zakaz , był używany w Ultra projektu, łamanie niemiecki Enigmy kod i przyspieszając koniec II wojny światowej w Europie . Sam Shannon zdefiniowane ważną koncepcję zwaną obecnie odległość jedyność . W oparciu o redundancji w postaci zwykłego tekstu , próbuje dać minimalną ilość szyfrogram niezbędnym do zapewnienia unikalnego decipherability.

Teoria informacji każe nam wierzyć, że jest o wiele trudniejsze do utrzymania tajemnic, niż można to pierwszy pojawiają. Brute force rozkłada systemów opartych na asymetrycznych algorytmy kluczy lub najczęściej stosowanych metod klucza symetrycznego algorytmu (nazywane klucz tajny algorytmów), takie jak szyfrów blokowych . Bezpieczeństwo wszystkich takich metod obecnie pochodzi z założenia, że nie wiadomo, atak może złamać je w praktyce ilość czasu.

Informacje teoretyczne bezpieczeństwo odnosi się do metod, takich jak szyfr z kluczem jednorazowym , które nie są narażone na tego typu atak brute force. W takich przypadkach pozytywny warunkowy wzajemnego przekazywania informacji między tekstu jawnego i szyfrogramu (uwarunkowana na klucz ) może zapewnić właściwą transmisję, natomiast bezwarunkowy wzajemna wymiana informacji między tekstu jawnego i szyfrogramu pozostaje zera, powodując absolutnie bezpiecznej komunikacji. Innymi słowy, eavesdropper nie byłby w stanie poprawić swoje przypuszczenia z tekstu jawnego poprzez zdobywanie wiedzy o szyfrogram, ale nie na klucz. Jednak, jak w każdym innym systemie kryptograficznym, należy zachować ostrożność, aby poprawnie zastosować metody informacyjnych nawet teoretycznie bezpieczna; Projekt Venona był w stanie złamać klocki Jednorazowa ZSRR z powodu ich niewłaściwego ponownego wykorzystania materiału klucza.

Generowanie liczb pseudolosowych

Generator liczb pseudolosowych są szeroko dostępne w bibliotekach język komputera i programów użytkowych. Są one niemal powszechnie, nie nadają się do użytku kryptograficznego, gdyż nie uchylać się od deterministycznego charakteru nowoczesnego sprzętu komputerowego i oprogramowania. Klasa ulepszonych generatorów liczb losowych jest określany kryptograficznego generator liczb pseudolosowych , ale nawet one wymagają losowych nasion niezależne od oprogramowania do pracy zgodnie z przeznaczeniem. Te można uzyskać za pośrednictwem wirówek , jeżeli wykonane starannie. Miarą wystarczającej losowość wirówek jest minimum entropii wartość związane Shannon entropii przez Renyi entropii ; Renyi entropia jest również stosowany do oceny losowości w systemach kryptograficznych. Jakkolwiek spokrewnione, wyróżnienia wśród tych środków oznacza, że zmienna losowa o wysokiej entropii Shannona niekoniecznie jest zadowalająca do stosowania w ekstraktora i tak dla kryptografii używa.

badanie sejsmiczne

Jeden z pierwszych komercyjnych zastosowań teorii informacji było w zakresie badań sejsmicznych poszukiwań ropy naftowej. Prace w tym zakresie możliwe było zdejmować i oddzielenia niepożądanych szumów z sygnału pożądanego sejsmicznej. Teoria informacji i cyfrowe przetwarzanie sygnału oferują znaczną poprawę rozdzielczości i jasności obrazu w stosunku do poprzednich metod analogowych.

semiotyka

Semiotycy Doede Nauta i Winfried Nöth zarówno uznane Charles Sanders Peirce jako że stworzył teorię informacji w swoich pracach nad semiotyki. Nauta zdefiniowane semiotyczną teorii informacji w badaniu „wewnętrznych procesów kodowania, filtrowanie i przetwarzanie informacji”.

Pojęcia z teorii informacji, takich jak redundancji i kontroli kodu zostały wykorzystane przez semiotycy takich jak Umberto Eco i Ferruccio Rossi-Landi wyjaśnić ideologię jako formę przekazywania komunikatów przy czym dominującym klasa społeczna emituje swoją wiadomość za pomocą znaków, które wykazują wysoki stopień redundancja taka, że tylko jeden komunikat jest dekodowany między wyborem tych konkurencyjnych.

Różne aplikacje

Teoria informacji ma również zastosowanie w hazard i inwestowanie , czarnych dziur i bioinformatyki .

Zobacz też

Aplikacje

Historia

Teoria

koncepcje

Referencje

Klasyczne dzieło

Pozostałe artykuły dla gazet

  • JL Kelly Jr. Betbubbles.com "nową interpretację informacji o szybkości" Bell systemu technicznego Journal , Vol. 35, lipiec 1956, str. 917-26.
  • R. Landauer, IEEE.org "Informacja jest fizyczny" Proc. Warsztaty na temat fizyki i Informatyki PhysComp'92 (IEEE komp. Sci.Press, Los Alamitos, 1993), str. 1-4.
  • R. Landauera, IBM.com "nieodwracalność i ciepła w procesie Computing" IBM J. Res. Dev. Cz. 5, nr 3, 1961
  • Timme, Nicholas; Alford, Wesley; Flecker Benjamin; Beggs, John M. (2012). „Wielowymiarowe działania informacyjne: eksperymentatorem perspektywy”. arXiv : 1111.6857 [ cs.IT ].

Podręczniki teorii informacji

Inne książki

Mooc na teorii informacji

Linki zewnętrzne