Historia teorii informacji - History of information theory

Decydującym wydarzeniem, które ustanowiło dyscyplinę teorii informacji i zwróciło na nią natychmiastową uwagę świata, była publikacja klasycznego artykułu Claude'a E. Shannona „ A Mathematical Theory of Communication ” w Bell System Technical Journal w lipcu i październiku 1948 roku.

W tym rewolucyjnym i przełomowym artykule, pracy, którą Shannon zasadniczo ukończył w Bell Labs do końca 1944 r., Shannon po raz pierwszy przedstawił jakościowy i ilościowy model komunikacji jako proces statystyczny leżący u podstaw teorii informacji, rozpoczynając od stwierdzenia, że

„Podstawowym problemem komunikacji jest odtworzenie w jednym punkcie, dokładnie lub w przybliżeniu, wiadomości wybranej w innym punkcie”.

Wraz z nim pojawiły się pomysły

Przed 1948 rokiem

Telekomunikacja wczesna

Niektóre z najstarszych metod telekomunikacyjnych pośrednio wykorzystują wiele pomysłów, które później zostały ujęte ilościowo w teorii informacji. We współczesnej telegrafii , począwszy od lat trzydziestych XIX wieku, używano alfabetu Morse'a , w którym bardziej popularne litery (jak „E”, które jest wyrażane jako jedna „kropka”) są przesyłane szybciej niż mniej popularne litery (np. „J”, co jest wyrażone przez jedna „kropka”, po której następują trzy „kreski”). Idea kodowania informacji w ten sposób jest podstawą bezstratnej kompresji danych . Sto lat później modulacja częstotliwości pokazała, że szerokość pasma można traktować jedynie jako inny stopień swobody. Vocoder , obecnie w dużej mierze postrzegana jako audio inżynierskiej ciekawości, został zaprojektowany w 1939 roku w użyciu mniejszej przepustowości niż w przypadku oryginalnej wiadomości, w taki sam sposób, że telefony komórkowe obecnie kompromis jakość dźwięku z pasma.

Ilościowe idee informacji

Najbardziej bezpośrednimi poprzednikami prac Shannona były dwa artykuły opublikowane w latach dwudziestych XX wieku przez Harry'ego Nyquista i Ralpha Hartleya , którzy nadal byli liderami badań w Bell Labs, kiedy Shannon przybył na początku lat czterdziestych.

Artykuł Nyquista z 1924 r., „Pewne czynniki wpływające na prędkość telegrafu”, dotyczy głównie niektórych szczegółowych aspektów inżynieryjnych sygnałów telegraficznych. Ale bardziej teoretyczna sekcja omawia kwantyfikację „inteligencji” i „szybkości linii”, z jaką może być przesyłana przez system komunikacyjny, podając zależność

gdzie W jest prędkością transmisji inteligencji, m jest liczbą różnych poziomów napięcia do wyboru w każdym kroku czasowym, a K jest stałą.

Artykuł Hartleya z 1928 roku, zatytułowany po prostu „Przekazywanie informacji”, poszedł dalej, używając słowa informacja (w sensie technicznym) i wyraźnie wyjaśniając, że informacja w tym kontekście jest mierzalną ilością, odzwierciedlającą jedynie zdolność odbiorcy do rozróżnienia tej jednej sekwencji symboli było zamierzone przez nadawcę, a nie jakikolwiek inny - bez względu na jakiekolwiek skojarzone znaczenie lub inny aspekt psychologiczny lub semantyczny, który symbole mogą przedstawiać. Tę ilość informacji, które określił ilościowo jako

gdzie S to liczba możliwych symboli, an liczba symboli w transmisji. Naturalną jednostką informacji była zatem cyfra dziesiętna, znacznie później przemianowana na hartley na jego cześć jako jednostka, skala lub miara informacji. Informacja Hartleya , H 0 , jest nadal używana jako wielkość logarytmu całkowitej liczby możliwości.

Podobną jednostkę prawdopodobieństwa log 10 , zakaz i jego jednostkę pochodną decyban (jedna dziesiąta zakazu), wprowadził Alan Turing w 1940 roku w ramach analizy statystycznej łamania szyfrów Enigmy z czasów drugiej wojny światowej. Decibannage reprezentuje redukcję (logarytmu) całkowita liczba możliwości (podobnie jak zmiany w informacji Hartley); a także iloraz logarytmu wiarygodności (lub zmianę wagi dowodów), który można wywnioskować dla jednej hipotezy na podstawie zestawu obserwacji. Oczekiwana zmiana wagi dowodów jest równoważna z tym, co później nazwano informacją o dyskryminacji Kullbacka .

Ale u podstaw tego pojęcia nadal leżała idea równych prawdopodobieństw a priori, a nie zawartość informacyjna wydarzeń o nierównym prawdopodobieństwie; ani jeszcze żadnego podstawowego obrazu pytań dotyczących przekazywania tak różnych wyników.

Entropia w mechanice statystycznej

Obszarem, w którym nierówne prawdopodobieństwa były rzeczywiście dobrze znane, była mechanika statystyczna, w której Ludwig Boltzmann w kontekście swojego twierdzenia H z 1872 r. Po raz pierwszy wprowadził wielkość

jako miara szerokości rozprzestrzeniania się stanów dostępnych dla pojedynczej cząstki w gazie podobnych cząstek, gdzie f reprezentuje względny rozkład częstotliwości każdego możliwego stanu. Boltzmann argumentował matematycznie, że efekt zderzeń między cząstkami spowodowałby nieuchronny wzrost funkcji H od dowolnej konfiguracji początkowej, aż do osiągnięcia równowagi; a ponadto zidentyfikować go jako podstawowej mikroskopowej uzasadnienie makroskopowej termodynamicznej entropii z Clausiusa .

Definicja Boltzmanna wkrótce przerobione przez American fizyka matematycznego J. Willard Gibbs w ogólnym entropii statystyczno-mechanicznego nie wymaga identyczne i nie-oddziaływanie cząstek, ale w oparciu o rozkład prawdopodobieństwa P I do całkowitego microstate I z cały system:

Można stwierdzić, że ta entropia (Gibbsa) z mechaniki statystycznej bezpośrednio odpowiada klasycznej definicji termodynamicznej Clausiusa .

Sam Shannon najwyraźniej nie był szczególnie świadomy bliskiego podobieństwa między jego nową miarą a wcześniejszymi pracami w dziedzinie termodynamiki, ale John von Neumann był. Mówi się, że kiedy Shannon zastanawiał się, jak nazwać swój nowy miernik i obawiając się, że termin „informacja” jest już nadużywany, von Neumann powiedział mu stanowczo: „Powinieneś nazwać to entropią, z dwóch powodów. Funkcja niepewności była używana w mechanice statystycznej pod tą nazwą, więc ma już swoją nazwę. Po drugie, i co ważniejsze, nikt tak naprawdę nie wie, czym naprawdę jest entropia, więc w debacie zawsze będziesz miał przewagę. "

(Związki między informacyjno-teoretyczną entropią a termodynamiczną entropią, w tym ważny wkład Rolfa Landauera w latach 60., są omówione dalej w artykule Entropia w termodynamice i teorii informacji ).

Rozwój od 1948 roku

Publikacja artykułu Shannona z 1948 r. „ A Mathematical Theory of Communication ” w Bell System Technical Journal była podstawą teorii informacji, jaką znamy dzisiaj. Od tamtego czasu dokonano wielu zmian i zastosowań tej teorii, co umożliwiło stworzenie wielu nowoczesnych urządzeń do przesyłania i przechowywania danych, takich jak CD-ROM i telefony komórkowe .

Znaczące późniejsze osiągnięcia są wymienione na osi czasu teorii informacji , w tym:

Zobacz też

Bibliografia