Claude Shannon - Claude Shannon

Claude Shannon
ClaudeShannon MFO3807.jpg
Urodzić się ( 1916-04-30 )30 kwietnia 1916 r
Petoskey, Michigan , Stany Zjednoczone
Zmarł 24 lutego 2001 (2001-02-24)(w wieku 84 lat)
Medford, Massachusetts , Stany Zjednoczone
Obywatelstwo Stany Zjednoczone
Alma Mater
Znany z
 
Małżonkowie Norma Levor (1940-41)
Betty Shannon (1949)
Nagrody
Kariera naukowa
Pola Matematyka i elektronika
Instytucje
Tezy
Doradca doktorski Frank Lauren Hitchcock
Doktoranci

Claude Elwood Shannon (30 kwietnia 1916 – 24 lutego 2001) był amerykańskim matematykiem , inżynierem elektrykiem i kryptografem, znanym jako „ojciec teorii informacji ”. Shannon założył teorię informacji w przełomowym artykule „ A Mathematical Theory of Communication ”, który opublikował w 1948 roku.

Założył również teorię projektowania obwodów cyfrowych w 1937 r., kiedy – jako 21-letni student studiów magisterskich na Massachusetts Institute of Technology (MIT) – napisał swoją pracę magisterską, wykazując, że elektryczne zastosowania algebry Boole'a mogą skonstruować dowolną logiczną zależność liczbową. Shannon wniósł wkład w dziedzinę kryptoanalizy dla obrony narodowej podczas II wojny światowej , w tym jego fundamentalne prace dotyczące łamania kodów i bezpiecznej telekomunikacji .

Biografia

Dzieciństwo

Rodzina Shannon mieszkała w Gaylord w stanie Michigan , a Claude urodził się w szpitalu w pobliskim Petoskey . Jego ojciec, Claude senior (1862-1934) był biznesmenem i przez pewien czas sędzią spadkowym w Gaylord. Jego matka, Mabel Wolf Shannon (1890–1945), była nauczycielką języka, a także dyrektorką Gaylord High School . Claude Sr. był potomkiem osadników z New Jersey , a Mabel dzieckiem niemieckich imigrantów.

Większość pierwszych 16 lat życia Shannona spędził w Gaylord, gdzie uczęszczał do szkoły publicznej, gdzie ukończył Gaylord High School w 1932 roku. Shannon wykazywał skłonność do rzeczy mechanicznych i elektrycznych. Jego najlepszymi przedmiotami były nauki ścisłe i matematyka. W domu skonstruował takie urządzenia, jak modele samolotów, zdalnie sterowany model łodzi i system telegraficzny z drutem kolczastym do domu przyjaciela oddalonego o pół mili. Dorastając pracował również jako posłaniec dla firmy Western Union .

Bohaterem dzieciństwa Shannona był Thomas Edison , którego później dowiedział się, że był dalekim kuzynem. Zarówno Shannon, jak i Edison byli potomkami Johna Ogdena (1609–1682), przywódcy kolonialnego i przodka wielu wybitnych ludzi.

Obwody logiczne

W 1932 roku Shannon wstąpił na Uniwersytet Michigan , gdzie zapoznał się z twórczością George'a Boole'a . Studia ukończył w 1936 r. z dwoma licencjatami : jednym z elektrotechniki i drugim z matematyki .

W 1936 roku rozpoczął studia Shannon absolwent elektrotechniki na MIT , gdzie pracował na Vannevar Bush „s różnicowego analizatora , wczesnym komputer analogowy . Badając skomplikowane obwody ad hoc tego analizatora, Shannon zaprojektował obwody przełączające w oparciu o koncepcje Boole'a . W 1937 r. napisał pracę magisterską pt. „Symboliczna analiza obwodów przekaźnikowych i przełączających” . Artykuł z tej pracy został opublikowany w 1938 roku. W pracy tej Shannon udowodnił, że jego układy przełączające mogą być wykorzystane do uproszczenia układu przekaźników elektromechanicznych, które były wówczas stosowane w przełącznikach telefonicznych . Następnie rozszerzył tę koncepcję, udowadniając, że te obwody mogą rozwiązać wszystkie problemy, które może rozwiązać algebra Boole'a . W ostatnim rozdziale przedstawił schematy kilku obwodów, w tym 4-bitowego pełnego sumatora.

Wykorzystanie tej właściwości przełączników elektrycznych do realizacji logiki jest podstawową koncepcją leżącą u podstaw wszystkich elektronicznych komputerów cyfrowych . Praca Shannona stała się podstawą projektowania obwodów cyfrowych , ponieważ stała się szeroko znana w społeczności elektrotechnicznej podczas i po II wojnie światowej . Teoretyczny rygor pracy Shannona zastąpił dotychczasowe metody ad hoc . Howard Gardner nazwał tezę Shannona „prawdopodobnie najważniejszą, a także najbardziej znaną pracą magisterską stulecia”.

Shannon otrzymał doktorat z MIT w 1940 roku. Vannevar Bush zasugerował, że Shannon powinien pracować nad swoją rozprawą w Laboratorium Cold Spring Harbor , w celu opracowania matematycznego sformułowania dla genetyki Mendla . Wynikiem tych badań była praca doktorska Shannona, zatytułowana An Algebra for Theoretical Genetics .

W 1940 roku Shannon został National Research Fellow w Institute for Advanced Study w Princeton, New Jersey . W Princeton Shannon miał okazję przedyskutować swoje pomysły z wpływowymi naukowcami i matematykami, takimi jak Hermann Weyl i John von Neumann , a także od czasu do czasu spotykał się z Albertem Einsteinem i Kurtem Gödelem . Shannon pracował swobodnie w różnych dyscyplinach i ta umiejętność mogła przyczynić się do jego późniejszego rozwoju matematycznej teorii informacji .

Badania wojenne

Shannon następnie dołączył do Bell Labs, aby pracować nad systemami kierowania ogniem i kryptografią podczas II wojny światowej , na mocy kontraktu z sekcją D-2 (sekcja systemów sterowania) Narodowego Komitetu Badań Obronnych (NDRC).

Shannonowi przypisuje się wynalezienie w 1942 r. wykresów przepływu sygnału . Odkrył on topologiczną formułę wzmocnienia podczas badania działania funkcjonalnego komputera analogowego.

Przez dwa miesiące na początku 1943 roku Shannon nawiązał kontakt z czołowym brytyjskim matematykiem Alanem Turingiem . Turing został wysłany do Waszyngtonu, aby podzielić się ze służbą kryptoanalityczną US Navy metodami używanymi przez brytyjski rząd Code and Cypher School w Bletchley Park do łamania szyfrów używanych przez U-booty Kriegsmarine na północnym Atlantyku . Interesował się także szyfrowaniem mowy iw tym celu spędził czas w Bell Labs. Shannon i Turing spotkali się na podwieczorku w stołówce. Turing pokazał Shannonowi swoją pracę z 1936 r., w której zdefiniowano to, co jest obecnie znane jako „ Uniwersalna maszyna Turinga ”. To zrobiło wrażenie na Shannonie, ponieważ wiele jego pomysłów uzupełniało jego własne.

W 1945 roku, gdy wojna dobiegała końca, NDRC wydała podsumowanie raportów technicznych jako ostatni krok przed ostatecznym zamknięciem. Wewnątrz tomu o kontroli ognia specjalny esej zatytułowany Wygładzanie danych i przewidywanie w systemach kierowania ogniem, którego współautorami są Shannon, Ralph Beebe Blackman i Hendrik Wade Bode , formalnie potraktował problem wygładzania danych w kontroli ognia przez analogię z „ problem oddzielenia sygnału od zakłócającego szumu w systemach komunikacyjnych.” Innymi słowy, modelował problem pod względem przetwarzania danych i sygnałów, a tym samym zwiastował nadejście ery informacyjnej .

Praca Shannona nad kryptografią była jeszcze ściślej związana z jego późniejszymi publikacjami na temat teorii komunikacji . Pod koniec wojny przygotował tajne memorandum dla Bell Telephone Labs zatytułowane „A Mathematical Theory of Cryptography”, datowane na wrzesień 1945. Odtajniona wersja tego artykułu została opublikowana w 1949 roku jako „ Communication Theory of Secrecy Systems ” w Bell Dziennik techniczny systemu . Artykuł ten zawierał wiele pojęć i sformułowań matematycznych, które pojawiły się również w jego Matematycznej teorii komunikacji . Shannon powiedział, że jego wojenne wglądy w teorię komunikacji i kryptografię rozwijały się jednocześnie i że „byli tak blisko siebie, że nie można było ich rozdzielić”. W przypisie na początku tajnego raportu Shannon ogłosił zamiar „opracowania tych wyników… w nadchodzącym memorandum w sprawie przekazywania informacji”.

Podczas gdy był w Bell Labs, Shannon udowodnił, że jednorazowa podkładka kryptograficzna jest niezniszczalna w jego tajnych badaniach, które zostały później opublikowane w 1949 roku. Ten sam artykuł dowiódł również, że każdy niezniszczalny system musi mieć zasadniczo te same cechy, co jednorazowa podkładka: klucz musi być naprawdę losowy, tak duży jak tekst jawny, nigdy nie użyty ponownie w całości ani w części i musi być utrzymywany w tajemnicy.

Teoria informacji

W 1948 roku obiecane memorandum ukazało się jako „Matematyczna teoria komunikacji”, artykuł w dwóch częściach w lipcowym i październikowym numerze Bell System Technical Journal . Praca ta skupia się na problemie, jak najlepiej zakodować wiadomość, którą nadawca chce przekazać. W tej fundamentalnej pracy wykorzystał narzędzia teorii prawdopodobieństwa opracowane przez Norberta Wienera , które znajdowały się wówczas na początkowym etapie zastosowania w teorii komunikacji. Shannon opracował entropię informacji jako miarę zawartości informacji w komunikacie, która jest miarą niepewności zmniejszoną przez komunikat. W ten sposób zasadniczo wynalazł dziedzinę teorii informacji .

Książka The Mathematical Theory of Communication przedrukowuje artykuł Shannona z 1948 roku i jego popularyzację przez Warrena Weavera , która jest dostępna dla niespecjalistów. Weaver zwrócił uwagę, że słowo „informacja” w teorii komunikacji nie odnosi się do tego, co mówisz, ale do tego, co możesz powiedzieć. Oznacza to, że informacja jest miarą wolności wyboru, kiedy wybiera się wiadomość. Koncepcje Shannona także spopularyzował, z zastrzeżeniem korekty własnej, w John Robinson Pierce „s symbole, sygnały, i hałas .

Fundamentalny wkład teorii informacji w przetwarzanie języka naturalnego i lingwistykę komputerową został później ustalony w 1951 r. w jego artykule „Prediction and Entropy of Printed English”, ukazującym górne i dolne granice entropii w statystyce języka angielskiego – co daje statystyczną podstawę do analizy języka. Ponadto udowodnił, że traktowanie białych znaków jako 27. litery alfabetu faktycznie obniża niepewność w języku pisanym, zapewniając wyraźny, wymierny związek między praktyką kulturową a poznaniem probabilistycznym.

Innym godnym uwagi artykułem opublikowanym w 1949 roku jest „ Communication Theory of Secrecy Systems ”, odtajniona wersja jego wojennej pracy nad matematyczną teorią kryptografii, w której dowiódł, że wszystkie teoretycznie niezniszczalne szyfry muszą mieć takie same wymagania jak jednorazowa klawiatura. Przypisuje mu się również wprowadzenie teorii próbkowania , która dotyczy reprezentowania sygnału w czasie ciągłym z (jednorodnego) dyskretnego zbioru próbek. Teoria ta miała zasadnicze znaczenie dla umożliwienia telekomunikacji przejścia z systemów transmisji analogowych na cyfrowe w latach 60. i później.

Wrócił do MIT, aby objąć obdarzone krzesło w 1956 roku.

Nauczanie na MIT

W 1956 Shannon dołączył do wydziału MIT, aby pracować w Laboratorium Badawczym Elektroniki (RLE). Kontynuował służbę na wydziale MIT do 1978 roku.

Poźniejsze życie

Shannon zachorował na Alzheimera i ostatnie lata życia spędził w domu opieki ; zmarł w 2001 roku, pozostawił żonę, syna i córkę oraz dwie wnuczki.

Hobby i wynalazki

MiniVac 601 , cyfrowy trener komputer zaprojektowany przez Shannon.

Poza zajęciami akademickimi Shannona interesował się żonglerką , monocyklem i szachami . Wynalazł też wiele urządzeń, w tym komputer z rzymskimi cyframi o nazwie THROBAC, maszyny żonglerskie i trąbkę miotającą płomienie . Zbudował urządzenie, które mogło rozwiązać zagadkę kostki Rubika .

Shannon zaprojektował Minivac 601 , cyfrowy trener komputerowy, aby uczyć ludzi biznesu, jak działają komputery. Został sprzedany przez Korporację Rozwoju Naukowego od 1961 roku.

Jest również uważany za współtwórcę pierwszego komputera do noszenia wraz z Edwardem O. Thorpem . Urządzenie służyło do poprawy kursów podczas gry w ruletkę .

Życie osobiste

Shannon poślubił Normę Levor, zamożną żydowską, lewicową intelektualistkę w styczniu 1940 roku. Małżeństwo zakończyło się rozwodem po około roku. Levor później poślubił Bena Barzmana .

Shannon poznał swoją drugą żonę, Betty Shannon (z domu Mary Elizabeth Moore), kiedy była analitykiem numerycznym w Bell Labs. Pobrali się w 1949 roku. Betty asystowała Claude'owi w budowie niektórych z jego najsłynniejszych wynalazków. Mieli troje dzieci.

Shannon przedstawił się jako apolityczny i ateista .

Hołdy

Istnieje sześć posągów Shannon wyrzeźbionych przez Eugene'a Dauba : jeden na Uniwersytecie Michigan; jeden na MIT w Laboratorium Systemów Informacyjnych i Decyzyjnych ; jeden w Gaylord, Michigan; jeden na Uniwersytecie Kalifornijskim w San Diego ; jeden w Bell Labs; a drugi w AT&T Shannon Labs . Po rozpadzie Bell System część Bell Labs, która pozostała w AT&T Corporation, została nazwana na jego cześć Shannon Labs.

Według Neila Sloane'a , członka AT&T, który współredagował dużą kolekcję artykułów Shannona w 1993 roku, perspektywa wprowadzona przez teorię komunikacji Shannona (obecnie zwaną teorią informacji ) jest podstawą rewolucji cyfrowej , a każde urządzenie zawierające mikroprocesor lub mikrokontroler jest koncepcyjny potomek publikacji Shannona z 1948 roku: „On jest jednym z wielkich ludzi stulecia. Bez niego nie istniałaby żadna z rzeczy, które znamy dzisiaj. Cała cyfrowa rewolucja zaczęła się od niego”. Kryptowaluta jednostka Shannon (synonim gwei) pochodzi od niego.

A Mind at Play , biografia Shannon napisana przez Jimmy'ego Soniego i Roba Goodmana, została opublikowana w 2017 roku.

30 kwietnia 2016 r. Shannon został uhonorowany Google Doodle, aby uczcić swoje życie w setne urodziny.

The Bit Player , film fabularny o Shannon w reżyserii Marka Levinsona, miał swoją premierę na World Science Festival w 2019 roku. Oparty na wywiadach przeprowadzonych z Shannonem w jego domu w latach 80., film został wydany na Amazon Prime w sierpniu 2020 roku.

Inna praca

Shannon i jego elektromechaniczna mysz Tezeusz (nazwany na cześć Tezeusza z mitologii greckiej), którą próbował rozwiązać w jednym z pierwszych eksperymentów ze sztuczną inteligencją .

Mysz Shannona

„Tezeusz”, stworzony w 1950 roku, był mechaniczną myszą sterowaną przez elektromechaniczny obwód przekaźnika, który umożliwiał jej poruszanie się po labiryncie 25 kwadratów. Konfiguracja labiryntu była elastyczna i można ją było dowolnie modyfikować poprzez przestawianie ruchomych przegród. Mysz została zaprojektowana do przeszukiwania korytarzy, aż znajdzie cel. Po przejściu przez labirynt mysz mogła zostać umieszczona w dowolnym miejscu, w którym była wcześniej, a dzięki wcześniejszemu doświadczeniu mogła udać się bezpośrednio do celu. Umieszczony na nieznanym terytorium, zaprogramowano go tak, aby szukał, dopóki nie dotrze do znanego miejsca, a następnie uda się do celu, dodając nową wiedzę do swojej pamięci i ucząc się nowego zachowania. Mysz Shannona wydaje się być pierwszym tego rodzaju sztucznym urządzeniem uczącym.

Szacunek Shannona dotyczący złożoności szachów

Główny artykuł: liczba Shannona

W 1949 Shannon ukończył pracę (opublikowaną w marcu 1950), która szacuje złożoność drzewa gry w szachy , która wynosi około 10 120 . Liczba ta jest obecnie często nazywana „ liczbą Shannona ” i nadal jest uważana za dokładne oszacowanie złożoności gry. Liczba ta jest często przytaczana jako jedna z barier w rozwiązaniu partii szachów przy użyciu wyczerpującej analizy (tj. analizy brutalnej siły ).

komputerowy program szachowy Shannona

9 marca 1949 Shannon przedstawił artykuł zatytułowany „Programowanie komputera do gry w szachy”. Referat został przedstawiony na konwencji National Institute for Radio Engineers Convention w Nowym Jorku. Opisał, jak zaprogramować komputer do gry w szachy w oparciu o punktację pozycji i wybór ruchu. Zaproponował podstawowe strategie ograniczania liczby możliwości branych pod uwagę w grze w szachy. W marcu 1950 został opublikowany w czasopiśmie Philosophical Magazine i jest uważany za jeden z pierwszych artykułów opublikowanych na temat programowania komputera do gry w szachy i wykorzystania komputera do rozwiązywania partii .

Jego proces polegający na tym, aby komputer decydował, który ruch wykonać, był procedurą minimaksową , opartą na funkcji oceny danej pozycji szachowej. Shannon podał przybliżony przykład funkcji oceny, w której wartość pozycji czarnych została odjęta od wartości pozycji białych. Materiał był liczony według zwykłej względnej wartości szachów (1 punkt za pionka, 3 punkty za skoczka lub gońca, 5 punktów za wieżę i 9 punktów za hetmana). Rozważał pewne czynniki pozycyjne, odejmując ½ punktu za każdego podwojonego pionka , pionka wstecznego i pionka izolowanego ; mobilność została uwzględniona poprzez dodanie 0,1 punktu za każdy dostępny legalny ruch.

maksyma Shannona

Shannon sformułował wersję zasady Kerckhoffsa jako „Wróg zna system”. W tej formie znana jest jako „maksyma Shannona”.

Upamiętnienia

Stulecie Shannona

Claude Shannon stulecie

Stulecie Shannon, 2016, oznaczało życie i wpływ Claude'a Elwooda Shannona w setną rocznicę jego urodzin 30 kwietnia 1916 roku. Było to częściowo zainspirowane Rokiem Alana Turinga . Komitet ad hoc Stowarzyszenia Teorii Informacji IEEE, w skład którego wchodzą Christina Fragouli, Rüdiger Urbanke, Michelle Effros , Lav Varshney i Sergio Verdú , koordynował wydarzenia na całym świecie. Inicjatywa została ogłoszona w panelu historycznym podczas warsztatów IEEE Information Theory Workshop 2015 w Jerozolimie oraz w biuletynie IEEE Information Theory Society .

Szczegółowy wykaz potwierdzonych wydarzeń był dostępny na stronie internetowej IEEE Information Theory Society.

Niektóre z planowanych działań obejmowały:

  • Bell Labs zorganizowało pierwszą konferencję Shannona na temat przyszłości ery informacji w dniach 28–29 kwietnia 2016 r. w Murray Hill w stanie New Jersey, aby uczcić Claude Shannon i ciągły wpływ jego dziedzictwa na społeczeństwo. Wydarzenie obejmuje przemówienia inauguracyjne światowych luminarzy i wizjonerów ery informacji, którzy będą badać wpływ teorii informacji na społeczeństwo i naszą cyfrową przyszłość, nieformalne wspomnienia oraz wiodące prezentacje techniczne dotyczące kolejnych powiązanych prac w innych dziedzinach, takich jak bioinformatyka, systemy ekonomiczne, i sieci społecznościowe. Istnieje również konkurs studencki
  • Firma Bell Labs uruchomiła wystawę internetową 30 kwietnia 2016 r., opisującą zatrudnienie Shannona w Bell Labs (w ramach kontraktu NDRC z rządem USA), jego późniejszą pracę tam w latach 1942-1957 oraz szczegóły dotyczące Wydziału Matematyki. Wystawa zawierała również biografie współpracowników i menedżerów z jego kadencji, a także oryginalne wersje niektórych memorandów technicznych, które później stały się dobrze znane w formie opublikowanej.
  • Republika Macedonii planuje pamiątkowy znaczek. Proponuje się pamiątkowy znaczek USPS z aktywną petycją.
  • Film dokumentalny o Claude Shannon i wpływie teorii informacji, The Bit Player , jest produkowany przez Sergio Verdú i Marka Levinsona .
  • Transatlantyckie obchody dwustulecia George'a Boole'a i stulecia Claude'a Shannona prowadzone przez University College Cork i Massachusetts Institute of Technology. Pierwszym wydarzeniem były warsztaty w Cork, Kiedy Boole spotyka Shannon, i będą kontynuowane z eksponatami w Boston Museum of Science i MIT Museum .
  • Wiele organizacji na całym świecie organizuje imprezy obserwacyjne, w tym Boston Museum of Science, Heinz-Nixdorf Museum, Institute for Advanced Study, Technische Universität Berlin, University of South Australia (UniSA), Unicamp (Universidade Estadual de Campinas), Uniwersytet z Toronto, Chiński Uniwersytet w Hongkongu, Uniwersytet Kairski, Telecom ParisTech, Narodowy Uniwersytet Techniczny w Atenach, Indyjski Instytut Nauki, Indyjski Instytut Technologii Bombaj, Indyjski Instytut Technologiczny Kanpur , Nanyang Technological University of Singapore, University of Maryland, University of Illinois w Chicago, École Polytechnique Federale de Lausanne, Pennsylvania State University (Penn State), University of California Los Angeles, Massachusetts Institute of Technology, Chongqing University of Posts and Telecommunication oraz University of Illinois w Urbana-Champaign.
  • Logo, które pojawia się na tej stronie, pochodzi z crowdsourcingu w Crowdspring.
  • Prezentacja Math Encounters z 4 maja 2016 r. w Narodowym Muzeum Matematyki w Nowym Jorku, zatytułowana Saving Face: Information Tricks for Love and Life , skupiła się na pracy Shannon w teorii informacji . Dostępne jest nagranie wideo i inne materiały.

Lista nagród i wyróżnień

Na jego cześć ustanowiono nagrodę Claude'a E. Shannona ; był także jego pierwszym odbiorcą, w 1972 roku.

Wybrane prace

  • Claude E. Shannon: A Symbolic Analysis of Relay and Switching Circuits , praca magisterska , MIT, 1937.
  • Claude E. Shannon: „Matematyczna teoria komunikacji”, Bell System Technical Journal , tom. 27, s. 379–423, 623–656, 1948 ( streszczenie ).
  • Claude E. Shannon i Warren Weaver: Matematyczna teoria komunikacji. University of Illinois Press, Urbana, Illinois, 1949. ISBN  0-252-72548-4

Zobacz też

Bibliografia

Dalsza lektura

Zewnętrzne linki