Niezależność (teoria prawdopodobieństwa) - Independence (probability theory)

Niezależność jest podstawowym pojęciem w teorii prawdopodobieństwa , podobnie jak w statystyce i teorii procesów stochastycznych .

Dwa zdarzenianiezależne , statystycznie niezależne lub stochastycznie niezależne, jeśli wystąpienie jednego nie wpływa na prawdopodobieństwo wystąpienia drugiego (równoważnie nie wpływa na szanse ). Podobnie dwie zmienne losowe są niezależne, jeśli realizacja jednej nie wpływa na rozkład prawdopodobieństwa drugiej.

Mając do czynienia ze zbiorami więcej niż dwóch wydarzeń, należy odróżnić słabe i mocne pojęcie niezależności. Zdarzenia nazywane są parami niezależnymi, jeśli dowolne dwa zdarzenia w kolekcji są od siebie niezależne, natomiast stwierdzenie, że zdarzenia są wzajemnie niezależne (lub kolektywnie niezależne ) intuicyjnie oznacza, że ​​każde zdarzenie jest niezależne od dowolnej kombinacji innych zdarzeń w kolekcji. Podobne pojęcie istnieje dla zbiorów zmiennych losowych.

Nazwa „niezależność wzajemna” (podobnie jak „niezależność zbiorowa”) wydaje się być wynikiem wyboru edukacyjnego tylko po to, by odróżnić silniejsze pojęcie od „niezależności parami”, która jest pojęciem słabszym. W zaawansowanej literaturze teorii prawdopodobieństwa, statystyki i procesów stochastycznych silniejszym pojęciem jest po prostu niezależność bez modyfikatora. Jest silniejsza, ponieważ niezależność implikuje niezależność w parach, ale nie na odwrót.

Definicja

Na imprezy

Dwa wydarzenia

Dwa zdarzenia i są niezależne (często zapisywane jako lub ) wtedy i tylko wtedy, gdy ich łączne prawdopodobieństwo jest równe iloczynowi ich prawdopodobieństw:

 

 

 

 

( Równanie 1 )

Dlaczego to definiuje niezależność, wyjaśniono, przepisując z prawdopodobieństwami warunkowymi :

i podobnie

Tak więc wystąpienie nie wpływa na prawdopodobieństwo , i na odwrót. Chociaż wyrażenia pochodne mogą wydawać się bardziej intuicyjne, nie są one preferowaną definicją, ponieważ prawdopodobieństwa warunkowe mogą być niezdefiniowane, jeśli lub wynoszą 0. Ponadto preferowana definicja jasno pokazuje przez symetrię, że kiedy jest niezależne od , jest również niezależne od .

Loguj prawdopodobieństwo i zawartość informacji

Wyrażone w kategoriach logarytmicznego prawdopodobieństwa , dwa zdarzenia są niezależne wtedy i tylko wtedy, gdy logarytmiczne prawdopodobieństwo wspólnego zdarzenia jest sumą logarytmicznego prawdopodobieństwa poszczególnych zdarzeń:

W teorii informacji prawdopodobieństwo logarytmu ujemnego jest interpretowane jako zawartość informacyjna , a zatem dwa zdarzenia są niezależne wtedy i tylko wtedy, gdy zawartość informacyjna połączonego zdarzenia jest równa sumie zawartości informacyjnej poszczególnych zdarzeń:

Zobacz Treść informacji § Addytywność niezależnych zdarzeń, aby uzyskać szczegółowe informacje.

Szanse

Wyrażone w kursie , dwa zdarzenia są niezależne wtedy i tylko wtedy, gdy iloraz szans z i jest jedność (1). Analogicznie z prawdopodobieństwem jest to równoważne kursom warunkowym równym kursom bezwarunkowym:

lub do szansy na jedno wydarzenie, biorąc pod uwagę inne wydarzenie, równej szansie na to wydarzenie, biorąc pod uwagę, że inne wydarzenie nie występuje:

Iloraz szans można zdefiniować jako

lub symetrycznie dla szans danego , a zatem wynosi 1 wtedy i tylko wtedy, gdy zdarzenia są niezależne.

Więcej niż dwa wydarzenia

Skończony zbiór zdarzeń jest parami niezależny, jeśli każda para zdarzeń jest niezależna — to znaczy wtedy i tylko wtedy, gdy dla wszystkich odrębnych par wskaźników ,

 

 

 

 

( Równanie 2 )

Skończony zbiór zdarzeń jest niezależne od siebie , jeśli każde zdarzenie jest niezależne od jakiegokolwiek skrzyżowania z innych zdarzeń, to znaczy wtedy i tylko wtedy, gdy dla każdego i na każdą -elementowe podzbioru zdarzeń z ,

 

 

 

 

( Równanie 3 )

Nazywa się to regułą mnożenia dla zdarzeń niezależnych. Zauważ, że nie jest to pojedynczy warunek obejmujący tylko iloczyn wszystkich prawdopodobieństw wszystkich pojedynczych zdarzeń; musi obowiązywać dla wszystkich podzbiorów zdarzeń.

W przypadku więcej niż dwóch zdarzeń, wzajemnie niezależny zbiór zdarzeń jest (z definicji) niezależny parami; ale odwrotność niekoniecznie jest prawdziwa .

Dla zmiennych losowych o wartościach rzeczywistych

Dwie zmienne losowe

Dwie zmienne losowe i są niezależne wtedy i tylko wtedy, gdy (iff) generowane przez nie elementy układu π są niezależne; to znaczy, dla każdego i , zdarzenia i są zdarzeniami niezależnymi (jak zdefiniowano powyżej w równaniu 1 ). Oznacza to, że i w skumulowanych funkcje rozkładu i są niezależne IFF połączone zmienną losową ma wspólny dystrybuantę

 

 

 

 

( Równanie 4 )

albo równoważnie, gdy gęstości prawdopodobieństwa i i gęstość stawów prawdopodobieństwo istnieje,

Więcej niż dwie zmienne losowe

Skończony zbiór zmiennych losowych jest parami niezależnymi wtedy i tylko wtedy, gdy każda para zmiennych losowych jest niezależna. Nawet jeśli zbiór zmiennych losowych jest parami niezależny, niekoniecznie musi być wzajemnie niezależny, jak zdefiniowano poniżej.

Skończony zbiór zmiennych losowych jest wzajemnie niezależny wtedy i tylko wtedy, gdy dla dowolnego ciągu liczb zdarzenia są zdarzeniami wzajemnie niezależnymi (jak zdefiniowano powyżej w równaniu 3 ). Jest to równoważne następującemu warunkowi funkcji łącznej skumulowanej dystrybucji . Skończony zbiór zmiennych losowych jest od siebie niezależny wtedy i tylko wtedy, gdy

 

 

 

 

( Równanie 5 )

Zauważ, że nie jest tu konieczne wymaganie faktoryzacji rozkładu prawdopodobieństwa dla wszystkich możliwych podzbiorów -elementów, jak w przypadku zdarzeń. Nie jest to wymagane, ponieważ np . implikuje .

Osoby skłaniające się teoretycznie miarowo mogą preferować podstawianie zdarzeń za zdarzenia w powyższej definicji, gdzie jest dowolny zbiór borelowski . Definicja ta jest dokładnie równoważna powyższej, gdy wartości zmiennych losowych są liczbami rzeczywistymi . Ma tę zaletę, że działa również dla zmiennych losowych o wartościach zespolonych lub dla zmiennych losowych przyjmujących wartości w dowolnej mierzalnej przestrzeni (obejmującej przestrzenie topologiczne obdarzone odpowiednimi σ-algebrami).

Dla wektorów losowych o wartościach rzeczywistych

Dwa losowe wektory i nazywane są niezależnymi, jeśli

 

 

 

 

( Równanie 6 )

gdzie i oznacza dystrybuantę skumulowaną i oraz oznacza ich łączną dystrybuantę skumulowaną. Niezależność od i jest często oznaczana przez . Pisemne składowe i nazywane są niezależnymi, jeśli

Do procesów stochastycznych

Dla jednego procesu stochastycznego

Definicję niezależności można rozszerzyć z wektorów losowych na proces stochastyczny . Dlatego dla niezależnego procesu stochastycznego wymagane jest, aby zmienne losowe otrzymane przez próbkowanie procesu w dowolnym momencie były niezależnymi zmiennymi losowymi dla dowolnego .

Formalnie proces stochastyczny nazywa się niezależnym, wtedy i tylko wtedy, gdy dla wszystkich i dla wszystkich

 

 

 

 

( Równanie 7 )

gdzie . Niezależność procesu stochastycznego jest nieruchomość w ciągu stochastycznego procesu, a nie pomiędzy dwoma procesów stochastycznych.

Dla dwóch procesów stochastycznych

Niezależność od dwóch procesów stochastycznych jest własnością dwóch procesów stochastycznych i które są zdefiniowane w tej samej przestrzeni probabilistycznej . Formalnie dwa procesy stochastyczne i są uważane za niezależne jeśli dla wszystkich i dla wszystkich , wektory losowe i są niezależne, tj. jeśli

 

 

 

 

( Równanie 8 )

Niezależne σ-algebry

Powyższe definicje ( równania 1 i 2 ) są uogólnione przez następującą definicję niezależności dla σ-algebr . Niech będzie przestrzenią prawdopodobieństwa i niech i będą dwiema pod-σ-algebrami . i mówi się, że są niezależne, jeśli, kiedykolwiek i ,

Podobnie mówi się , że skończona rodzina σ-algebr , gdzie jest zbiorem indeksów , jest niezależna wtedy i tylko wtedy, gdy

a nieskończoną rodzinę σ-algebr uważa się za niezależną, jeśli wszystkie jej skończone podrodziny są niezależne.

Nowa definicja bardzo bezpośrednio nawiązuje do poprzednich:

  • Dwa zdarzenia są niezależne (w starym sensie) wtedy i tylko wtedy , gdy generowane przez nie σ-algebry są niezależne (w nowym sensie). Algebra σ generowana przez zdarzenie jest z definicji
  • Dwie zmienne losowe i zdefiniowane przez są niezależne (w starym sensie) wtedy i tylko wtedy, gdy generowane przez nie algebry σ są niezależne (w nowym sensie). Algebra σ generowana przez zmienną losową przyjmującą wartości w pewnej mierzalnej przestrzeni składa się z definicji ze wszystkich podzbiorów postaci , gdzie jest dowolnym mierzalnym podzbiorem .

Korzystając z tej definicji, łatwo wykazać, że jeśli i są zmiennymi losowymi i są stałe, to i są niezależne, ponieważ σ-algebrę generowaną przez stałą zmienną losową jest trywialną σ-algebrą . Prawdopodobieństwo zerowych zdarzeń nie może wpłynąć na niezależność, więc niezależność obowiązuje również wtedy, gdy jest prawie na pewno stała.

Nieruchomości

Samodzielność

Zauważ, że zdarzenie jest niezależne od siebie wtedy i tylko wtedy, gdy

W ten sposób zdarzenie jest niezależne od siebie wtedy i tylko wtedy, gdy prawie na pewno zajdzie lub jego uzupełnienie prawie na pewno nastąpi; fakt ten jest przydatny przy dowodzeniu praw zero-jedynkowych .

Oczekiwanie i kowariancja

Jeśli i są niezależnymi zmiennymi losowymi, to operator oczekiwany ma właściwość

a kowariancja wynosi zero, jak wynika z

Nie zachodzi odwrotność: jeśli dwie zmienne losowe mają kowariancję równą 0, nadal mogą nie być niezależne. Zobacz nieskorelowane .

Podobnie dla dwóch procesów stochastycznych i : Jeśli są niezależne, to nie są skorelowane.

Funkcja charakterystyczna

Dwie zmienne losowe i są niezależne wtedy i tylko wtedy, gdy funkcja charakterystyczna wektora losowego spełnia

W szczególności funkcja charakterystyczna ich sumy jest iloczynem ich krańcowych funkcji charakterystycznych:

chociaż odwrotna implikacja nie jest prawdziwa. Zmienne losowe, które spełniają ten ostatni warunek, nazywane są subniezależnymi .

Przykłady

Rzucanie koścmi

Przypadki uzyskania 6 przy pierwszym rzucie kostką i przy drugim przypadku są niezależne . W przeciwieństwie do tego, wypadnięcie 6 przy pierwszym rzucie kostką i sytuacja, w której suma liczb widocznych w pierwszej i drugiej próbie wynosi 8, nie są niezależne.

Karty dobierania

W przypadku dobrania dwóch kart z zamianą z talii kart, losowanie czerwonej kartki w pierwszej próbie i czerwonej kartki w drugiej próbie jest niezależne . Natomiast, jeśli dwie karty zostaną dobrane bez wymiany z talii kart, to losowanie czerwonej kartki w pierwszej próbie i czerwonej kartki w drugiej próbie nie są niezależne, ponieważ talia, która miała czerwoną usunięta karta ma proporcjonalnie mniej czerwonych kartek.

Para i wzajemna niezależność

Zdarzenia parami niezależne, ale nie wzajemnie niezależne.
Wzajemnie niezależne wydarzenia.

Rozważmy dwie pokazane przestrzenie prawdopodobieństwa. W obu przypadkach oraz . Zmienne losowe w pierwszej przestrzeni są parami niezależne, ponieważ , , i ; ale trzy zmienne losowe nie są od siebie niezależne. Zmienne losowe w drugiej przestrzeni są zarówno parami niezależne, jak i wzajemnie niezależne. Aby zilustrować różnicę, rozważ warunkowanie na dwóch zdarzeniach. W przypadku parami niezależnymi, chociaż każde zdarzenie jest niezależne od każdego z pozostałych dwóch z osobna, nie jest niezależne od przecięcia pozostałych dwóch:

Jednak w przypadku wzajemnie niezależnym

Wzajemna niezależność

Możliwe jest stworzenie przykładu z trzema zdarzeniami, w którym:

a jednak żadne dwa z trzech zdarzeń nie są parami niezależne (a zatem zbiór zdarzeń nie jest wzajemnie niezależny). Ten przykład pokazuje, że wzajemna niezależność obejmuje wymagania dotyczące iloczynów prawdopodobieństw wszystkich kombinacji zdarzeń, a nie tylko pojedynczych zdarzeń, jak w tym przykładzie.

Warunkowa niezależność

Na imprezy

Zdarzenia i są warunkowo niezależne biorąc pod uwagę zdarzenie, gdy

.

Dla zmiennych losowych

Intuicyjnie, dwie zmienne losowe i są warunkowo niezależne podane, jeśli raz znana wartość nie dodaje żadnych dodatkowych informacji o . Na przykład dwa pomiary i tej samej wielkości bazowej nie są niezależne, ale są warunkowo niezależne (chyba że błędy w dwóch pomiarach są w jakiś sposób powiązane).

Formalna definicja niezależności warunkowej opiera się na idei rozkładów warunkowych . Jeśli , , i są dyskretnymi zmiennymi losowymi , to definiujemy i jesteśmy warunkowo niezależni biorąc pod uwagę if

dla wszystkich , i tak . Z drugiej strony, jeśli zmienne losowe są ciągłe i mają wspólny Funkcja gęstości prawdopodobieństwa , to i są warunkowo niezależne podano jeśli

dla wszystkich liczb rzeczywistych , i takie, że .

Jeżeli dane są dyskretne i warunkowo niezależne , to

dla każdego , i z . Oznacza to, że rozkład warunkowy dla danego i jest taki sam jak ten sam podany . Podobne równanie obowiązuje dla funkcji gęstości prawdopodobieństwa warunkowego w przypadku ciągłym.

Niezależność może być postrzegana jako szczególny rodzaj warunkowej niezależności, ponieważ prawdopodobieństwo może być postrzegane jako rodzaj warunkowego prawdopodobieństwa przy braku zdarzeń.

Zobacz też

Bibliografia

Zewnętrzne linki