Utajona alokacja Dirichleta - Latent Dirichlet allocation

W przetwarzaniu języka naturalnego , utajony Dirichleta alokacja ( LDA ) jest generatywna model statystyczny , który pozwala zestawy obserwacji należy wytłumaczyć niedostrzegalnych grup, które wyjaśniają, dlaczego niektóre części danych są podobne. Na przykład, jeśli obserwacje są słowami zebranymi w dokumentach, zakłada się, że każdy dokument jest mieszanką niewielkiej liczby tematów, a obecność każdego słowa można przypisać jednemu z tematów dokumentu. LDA jest przykładem modelu tematycznego i należy do dziedziny uczenia maszynowego oraz szerzej do dziedziny sztucznej inteligencji .

Historia

W kontekście genetyki populacyjnej LDA został zaproponowany przez JK Pritcharda , M. Stephensa i P. Donnelly'ego w 2000 roku.

LDA zostało zastosowane w uczeniu maszynowym przez Davida Blei , Andrew Ng i Michaela I. Jordana w 2003 roku.

Przegląd

Biologia ewolucyjna i biomedycyna

W biologii ewolucyjnej i biomedycynie model jest wykorzystywany do wykrywania obecności strukturalnej zmienności genetycznej w grupie osobników. Model zakłada, że ​​allele niesione przez badane osobniki pochodzą z różnych istniejących lub przeszłych populacji. Model i różne algorytmy wnioskowania pozwalają naukowcom oszacować częstość alleli w tych populacjach źródłowych oraz pochodzenie alleli niesionych przez badane osobniki. Populacje źródłowe można interpretować ex post w kategoriach różnych scenariuszy ewolucyjnych. W badaniach powiązanych , wykrywający obecność struktury genetycznej jest uważany za niezbędny etap wstępny, aby uniknąć mylenia .

Nauczanie maszynowe

Jednym z zastosowań LDA w uczeniu maszynowym – w szczególności odkrywanie tematów , podproblemu w przetwarzaniu języka naturalnego – jest wykrywanie tematów w zbiorze dokumentów, a następnie automatyczne klasyfikowanie każdego pojedynczego dokumentu w zbiorze pod względem tego, jak „odpowiedni” jest dla każdy z odkrytych tematów. Za temat uważa się zbiór terminów (tj. pojedynczych słów lub wyrażeń), które razem wzięte sugerują wspólny temat.

Na przykład, w zbiorze dokumentów związanych z zwierząt domowych, warunki pies , spaniel , beagle , golden retriever , szczeniak , kory i hau sugerowałyby DOG_related motyw, podczas gdy terminy kot , syjamski , główny coon , pręgowany , Manx , meow , purr i kitten sugerowałyby motyw związany z CAT_ . W kolekcji może być znacznie więcej tematów - np. związanych z dietą, pielęgnacją, opieką zdrowotną, zachowaniem itp., których dla uproszczenia nie poruszamy. (Bardzo popularne, tak zwane słowa stop w języku - np. "ten", "ten", "ta", "jest", "jest" itp. - nie rozróżniałyby tematów i są zwykle odfiltrowywane przez pre -przetwarzanie przed wykonaniem LDA.Przetwarzanie wstępne konwertuje również terminy na ich „pierwotne” formy leksykalne – np. „szczeka”, „szczekanie” i „szczekają” zostaną zamienione na „kora”.)

Jeśli zbiór dokumentów jest wystarczająco duży, LDA odkryje takie zestawy terminów (tj. tematy) w oparciu o współwystępowanie poszczególnych terminów, chociaż zadanie przypisania znaczącej etykiety do indywidualnego tematu (tj. wszystkie terminy są DOG_related) zależy od użytkownika i często wymaga specjalistycznej wiedzy (np. do zbierania dokumentów technicznych). Podejście LDA zakłada, że:

1. Treść semantyczna dokumentu składa się z połączenia jednego lub więcej terminów z jednego lub więcej tematów.
2. Niektóre terminy są niejednoznaczne , należą do więcej niż jednego tematu, z różnym prawdopodobieństwem. (Na przykład, termin szkolenia może dotyczyć zarówno psów i kotów, ale są bardziej prawdopodobne, aby odnieść się do psów, które są wykorzystywane jako zwierzęta pracy lub udziału w posłuszeństwie lub umiejętności konkursach). Jednak w dokumencie towarzyszącym obecność specyficznego sąsiednie terminy (które należą tylko do jednego tematu) ujednoznaczniają ich użycie.
3. Większość dokumentów będzie zawierać stosunkowo niewielką liczbę tematów. W kolekcji np. poszczególne tematy będą występować z różną częstotliwością. Oznacza to, że mają rozkład prawdopodobieństwa, dzięki czemu dany dokument z większym prawdopodobieństwem zawiera niektóre tematy niż inne.
4. W ramach tematu niektóre terminy będą używane znacznie częściej niż inne. Innymi słowy, terminy w ramach tematu będą miały również własny rozkład prawdopodobieństwa.

Gdy wykorzystywane jest uczenie maszynowe LDA, oba zestawy prawdopodobieństw są obliczane podczas fazy uczenia przy użyciu metod bayesowskich i algorytmu maksymalizacji oczekiwań .

LDA jest uogólnieniem starszego podejścia probabilistycznej utajonej analizy semantycznej (pLSA). Model pLSA jest równoważny LDA przy jednolitym uprzednim rozkładzie Dirichleta. pLSA opiera się tylko na dwóch pierwszych założeniach powyżej i nie dba o resztę. Chociaż obie metody są zasadniczo podobne i wymagają od użytkownika określenia liczby tematów do odkrycia przed rozpoczęciem szkolenia (jak w przypadku grupowania K-średnich ), LDA ma następujące zalety w porównaniu z pLSA:

• LDA daje lepsze ujednoznacznienie słów i dokładniejsze przyporządkowanie dokumentów do tematów.
• Obliczanie prawdopodobieństw umożliwia „generatywny” proces, za pomocą którego można wygenerować zbiór nowych „syntetycznych dokumentów”, które ściśle odzwierciedlałyby statystyczne cechy oryginalnego zbioru.
• W przeciwieństwie do LDA, pLSA jest podatny na nadmierne dopasowanie, zwłaszcza gdy zwiększa się rozmiar korpusu.
• Algorytm LDA jest łatwiej podatny na skalowanie w przypadku dużych zestawów danych przy użyciu podejścia MapReduce w klastrze obliczeniowym.

Model

Dzięki notacji płytkowej , która jest często używana do reprezentowania probabilistycznych modeli graficznych (PGM), można zwięźle uchwycić zależności między wieloma zmiennymi. Pudełka są „płytkami” reprezentującymi powtórzenia, które są powtarzającymi się jednostkami. Tabliczka zewnętrzna reprezentuje dokumenty, podczas gdy tabliczka wewnętrzna przedstawia powtarzające się pozycje słów w danym dokumencie; każde stanowisko wiąże się z wyborem tematu i słowa. Nazwy zmiennych są zdefiniowane w następujący sposób:

M oznacza liczbę dokumentów

N to liczba słów w danym dokumencie (dokument i zawiera słowa)${\ Displaystyle N_ {i}}$

α jest parametrem wcześniejszego Dirichleta w rozkładach tematów dla poszczególnych dokumentów

β jest parametrem poprzedzającym Dirichleta w rozkładzie słów według tematu

${\ Displaystyle \ theta _ {i}}$jest dystrybucją tematu dla dokumentu i

${\ Displaystyle \ varphi _ {k}}$to rozkład słów dla tematu k

${\displaystyle z_{ij}}$jest tematem j -tego słowa w dokumencie i

${\displaystyle w_{ij}}$ to konkretne słowo.

Fakt, że W jest wyszarzone oznacza, że ​​słowa są jedynymi obserwowalnymi zmiennymi , a pozostałe zmienne są zmiennymi ukrytymi . Jak zaproponowano w oryginalnym artykule, do modelowania rozkładu temat-słowo można użyć rzadkiego wcześniejszego Dirichleta, kierując się intuicją, że rozkład prawdopodobieństwa na słowa w temacie jest przekrzywiony, tak że tylko mały zestaw słów ma wysokie prawdopodobieństwo. Powstały model jest obecnie najszerzej stosowanym wariantem LDA. Notacja tablicowa dla tego modelu jest pokazana po prawej stronie, gdzie oznacza liczbę tematów i są wektorami dwuwymiarowymi przechowującymi parametry rozkładów temat-słowo rozłożonych przez Dirichleta ( jest to liczba słów w słowniku). ${\displaystyle w_{ij}}$${\ Displaystyle K}$${\ Displaystyle \ varphi _ {1}, \ kropki , \ varphi _ {K}}$ ${\ Displaystyle V}$${\ Displaystyle V}$

Pomocne jest myślenie o jednostkach reprezentowanych przez i jak o macierzach utworzonych przez rozłożenie oryginalnej macierzy wyrazów dokumentu, która reprezentuje korpus modelowanych dokumentów. W tym widoku składa się z wierszy zdefiniowanych przez dokumenty i kolumn zdefiniowanych przez tematy, natomiast składa się z wierszy zdefiniowanych przez tematy i kolumn zdefiniowanych przez słowa. Zatem odnosi się do zbioru wierszy lub wektorów, z których każdy jest rozkładem na słowach i odnosi się do zbioru wierszy, z których każdy jest rozkładem na tematy. ${\displaystyle \theta}$${\displaystyle \varphi}$${\displaystyle \theta}$${\displaystyle \varphi}$${\ Displaystyle \ varphi _ {1}, \ kropki , \ varphi _ {K}}$${\ Displaystyle \ theta _ {1}, \ kropki, \ theta _ {M}}$

Proces generatywny

Aby faktycznie wywnioskować tematy w korpusie, wyobrażamy sobie proces generatywny, w którym tworzone są dokumenty, tak abyśmy mogli to wywnioskować lub dokonać inżynierii wstecznej. Proces generatywny wyobrażamy sobie w następujący sposób. Dokumenty są przedstawiane jako losowe mieszaniny tematów ukrytych, przy czym każdy temat charakteryzuje się rozkładem na wszystkie słowa. LDA zakłada następujący proces generatywny dla korpusu składającego się z dokumentów, każdy o długości : ${\ Displaystyle D}$${\ Displaystyle M}$${\ Displaystyle N_ {i}}$

1. Wybierz , gdzie i jest rozkładem Dirichleta z symetrycznym parametrem, który zazwyczaj jest rzadki ( ) ${\ Displaystyle \ theta _ {i} \ sim \ operatorname {Dir} (\ alfa)}$${\ Displaystyle i \ w \ {1, \ kropki, M \}}$${\ Displaystyle \ operatorname {Dir} (\ alfa)}$${\ Displaystyle \ alfa}$${\ Displaystyle \ alfa <1}$

2. Wybierz , gdzie i zazwyczaj jest rzadki ${\ Displaystyle \ varphi _ {k} \ sim \ operatorname {Dir} (\ beta)}$${\ Displaystyle k \ w \ {1, \ kropki, K \}}$${\ Displaystyle \ beta}$

3. Dla każdego ze słów pozycji , gdzie , i${\displaystyle ja,j}$${\ Displaystyle i \ w \ {1, \ kropki, M \}}$${\ Displaystyle j \ w \ {1, \ kropki, N_ {i} \}}$

(a) Wybierz temat ${\ Displaystyle z_ {i, j} \ sim \ operatorname {wielomianowy} (\ theta _ {i}).}$

(b) Wybierz słowo ${\ Displaystyle w_ {i, j} \ sim \ operatorname {wielomianowy} (\ varphi _ {z_ {i, j}}}).}$

(Zauważ, że rozkład wielomianowy odnosi się tutaj do rozkładu wielomianowego z tylko jedną próbą, który jest również znany jako rozkład jakościowy ).

Długości są traktowane jako niezależne od wszystkich innych zmiennych generujących dane ( i ). Indeks dolny jest często pomijany, jak na przedstawionych tu schematach płytowych. ${\ Displaystyle N_ {i}}$${\ Displaystyle w}$${\displaystyle z}$

Definicja

Formalny opis LDA jest następujący:

Definicja zmiennych w modelu

Zmienny	Rodzaj	Oznaczający
${\ Displaystyle K}$	liczba całkowita	liczba tematów (np. 50)
${\ Displaystyle V}$	liczba całkowita	liczba słów w słowniku (np. 50 000 lub 1 000 000)
${\ Displaystyle M}$	liczba całkowita	liczba dokumentów
${\ Displaystyle N_ {d = 1 \ kropki M}}$	liczba całkowita	liczba słów w dokumencie d
${\ Displaystyle N}$	liczba całkowita	łączna liczba słów we wszystkich dokumentach; suma wszystkich wartości, tj.${\ Displaystyle N_ {d}}$${\ Displaystyle N = \ suma _ {d = 1} ^ {M} N_ {d}}$
${\ Displaystyle \ alfa _ {k = 1 \ kropki K}}$	pozytywny prawdziwy	wcześniejsza waga tematu k w dokumencie; zwykle takie same dla wszystkich tematów; zwykle liczba mniejsza niż 1, np. 0,1, aby preferować rzadkie rozkłady tematów, tj. kilka tematów na dokument
${\displaystyle {\boldsymbol {\alfa}}}$	K -wymiarowy wektor dodatnich liczb rzeczywistych	zbiór wszystkich wartości, widzianych jako pojedynczy wektor ${\ Displaystyle \ alfa _ {k}}$
${\ Displaystyle \ beta _ {w = 1 \ kropki V}}$	pozytywny prawdziwy	wcześniejsza waga słowa w w temacie; zwykle takie same dla wszystkich słów; zwykle liczba znacznie mniejsza niż 1, np. 0,001, aby zdecydowanie preferować rzadkie rozkłady słów, tj. kilka słów na temat
${\displaystyle {\boldsymbol {\beta}}}$	V -wymiarowy wektor dodatnich liczb rzeczywistych	zbiór wszystkich wartości, widzianych jako pojedynczy wektor ${\ Displaystyle \ beta _ {w}}$
${\ Displaystyle \ varphi _ {k = 1 \ kropki K, w = 1 \ kropki V}}$	prawdopodobieństwo (liczba rzeczywista od 0 do 1)	prawdopodobieństwo wystąpienia słowa w w temacie k
${\ Displaystyle {\ pogrubiony symbol {\ varphi}} _ {k = 1 \ kropki K}}$	V -wymiarowy wektor prawdopodobieństw, który musi się sumować do 1	rozkład słów w temacie k
${\ Displaystyle \ theta _ {d = 1 \ kropki M, k = 1 \ kropki K}}$	prawdopodobieństwo (liczba rzeczywista od 0 do 1)	prawdopodobieństwo wystąpienia tematu k w dokumencie d
${\ Displaystyle {\ boldsymbol {\ theta}} _ {d = 1 \ kropki M}}$	K -wymiarowy wektor prawdopodobieństw, który musi się sumować do 1	dystrybucja tematów w dokumencie d
${\ Displaystyle Z_ {d = 1 \ kropki M, w = 1 \ kropki N_ {d}}}$	liczba całkowita od 1 do K	tożsamość tematu słowa w w dokumencie d
${\ Displaystyle \ mathbf {Z}}$	N -wymiarowy wektor liczb całkowitych od 1 do K	tożsamość tematu wszystkich słów we wszystkich dokumentach
${\ Displaystyle w_ {d = 1 \ kropki M, w = 1 \ kropki N_ {d}}}$	liczba całkowita od 1 do V	tożsamość słowa w w dokumencie d
${\ Displaystyle \ mathbf {W}}$	N -wymiarowy wektor liczb całkowitych od 1 do V	tożsamość wszystkich słów we wszystkich dokumentach

Możemy wtedy matematycznie opisać zmienne losowe w następujący sposób:

${\ Displaystyle {\ zacząć {wyrównany} {\ pogrubienie {\ varphi}} _ {k = 1 \ kropki K} i \ sim \ operatorname {Dirichlet} _ {V} ({\ pogrubienie {\ beta}}) \\ {\boldsymbol {\theta }}_{d=1\dots M}&\sim \operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M, w=1\dots N_{d}}&\sim \operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,w=1 \dots N_{d}}&\sim \operatorname {Categorical} _{V}({\boldsymbol {\varphi }}_{z_{dw}})\end{aligned}}}$

Wnioskowanie

Poznanie różnych rozkładów (zestaw tematów, związane z nimi prawdopodobieństwa słów, temat każdego słowa i konkretna mieszanka tematyczna każdego dokumentu) jest problemem wnioskowania statystycznego .

Symulacja Monte Carlo

Oryginalna praca Pritcharda i in. wykorzystano aproksymację rozkładu a posteriori za pomocą symulacji Monte Carlo. Alternatywną propozycją technik wnioskowania jest próbkowanie Gibbsa .

Bayes wariacyjny

W oryginalnej pracy ML zastosowano wariacyjne przybliżenie Bayesa rozkładu a posteriori ;

Maksymalizacja prawdopodobieństwa

Bezpośrednia optymalizacja prawdopodobieństwa za pomocą algorytmu relaksacji bloków okazuje się szybką alternatywą dla MCMC.

Nieznana liczba populacji/tematów

W praktyce optymalna liczba populacji lub tematów nie jest z góry znana. Można ją oszacować przez aproksymację rozkładu a posteriori za pomocą odwracalnego skoku łańcucha Markowa Monte Carlo .

Alternatywne podejścia

Alternatywne podejścia obejmują propagację oczekiwań .

Ostatnie badania koncentrowały się na przyspieszeniu wnioskowania o ukrytej alokacji Dirichleta, aby wesprzeć uchwycenie ogromnej liczby tematów w dużej liczbie dokumentów. Równanie aktualizacji zwiniętego próbnika Gibbsa wspomniane we wcześniejszej sekcji ma naturalną rzadkość, z której można skorzystać. Intuicyjnie, ponieważ każdy dokument zawiera tylko podzbiór tematów , a słowo pojawia się również tylko w podzbiorze tematów , powyższe równanie aktualizacji można przepisać, aby wykorzystać tę rzadkość. ${\ Displaystyle K_ {d}}$${\ Displaystyle K_ {w}}$

${\ Displaystyle p (Z_ {d, n} = k) \ propto {\ Frac {\ alfa \ beta} {C_ {k} ^ {\ neg n} + V \ beta}} + {\ Frac {C_ {k }^{d}\beta }{C_{k}^{\neg n}+V\beta }}+{\frac {C_{k}^{w}(\alpha +C_{k}^{d} )}{C_{k}^{\neg n}+V\beta }}}$

W tym równaniu mamy trzy wyrazy, z których dwa są rzadkie, a drugi jest mały. Nazywamy te terminy i odpowiednio. Teraz, jeśli znormalizujemy każdy termin przez zsumowanie wszystkich tematów, otrzymamy: ${\displaystyle a,b}$${\displaystyle c}$

${\ Displaystyle A = \ suma _ {k = 1} ^ {K} {\ Frac {\ alfa \ beta} {C_ {k} ^ {\ neg n} + V \ beta}}}$

${\ Displaystyle B = \ suma _ {k = 1} ^ {K} {\ Frac {C_ {k} ^ {d} \ beta} {C_ {k} ^ {\ neg n} + V \ beta}}}$

${\ Displaystyle C = \ suma _ {k = 1} ^ {K} {\ Frac {C_ {k} ^ {w} (\ alfa + C_ {k} ^ {d})} {C_ {k} ^ { \neg n}+V\beta }}}$

Tutaj widzimy, że jest to podsumowanie tematów pojawiających się w document , a także nieliczne podsumowanie tematów, do których przypisane jest słowo w całym korpusie. z drugiej strony jest gęsty, ale ze względu na małe wartości & , wartość jest bardzo mała w porównaniu z dwoma pozostałymi warunkami. ${\ Displaystyle B}$${\displaystyle d}$${\displaystyle C}$${\ Displaystyle w}$${\ Displaystyle A}$${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

Teraz, podczas próbkowania tematu, jeśli próbkujemy zmienną losową jednolicie z , możemy sprawdzić, do którego wiadra trafia nasza próbka. Ponieważ jest mały, jest bardzo mało prawdopodobne, że wpadniemy do tego wiaderka; jeśli jednak wpadniemy w to wiadro, próbkowanie tematu zajmuje trochę czasu (tak samo jak oryginalny Collapsed Gibbs Sampler). Jeśli jednak wpadniemy do pozostałych dwóch wiader, wystarczy sprawdzić podzbiór tematów, jeśli prowadzimy rejestr rzadkich tematów. Temat może być próbkowany z zasobnika w czasie, a temat może być próbkowany z zasobnika w czasie, gdzie i oznacza liczbę tematów przypisanych odpowiednio do bieżącego dokumentu i bieżącego typu słowa. ${\ Displaystyle s \ sim U (s | \ mid A + B + C)}$${\ Displaystyle A}$${\ Displaystyle O (K)}$${\ Displaystyle B}$${\ Displaystyle O (K_ {d})}$${\displaystyle C}$${\ Displaystyle O (K_ {w})}$${\ Displaystyle K_ {d}}$${\ Displaystyle K_ {w}}$

Zwróć uwagę, że po spróbkowaniu każdego tematu aktualizacja tych zasobników to wszystkie podstawowe operacje arytmetyczne. ${\ Displaystyle O (1)}$

Aspekty szczegółów obliczeniowych

Poniżej przedstawiono wyprowadzenie równań dla załamanego próbkowania Gibbsa , co oznacza, że s i s zostaną zintegrowane. Dla uproszczenia, w tym wyprowadzeniu zakłada się, że wszystkie dokumenty mają tę samą długość . Wyprowadzenie jest równie ważne, jeśli długość dokumentu jest różna. ${\displaystyle \varphi}$${\displaystyle \theta}$${\ Displaystyle N_ {}}$

Zgodnie z modelem łączne prawdopodobieństwo modelu wynosi:

${\ Displaystyle P ({\ boldsymbol {W}}, {\ boldsymbol {Z}}, {\ boldsymbol {\ theta}}, {\ boldsymbol {\ varphi}}; \ alfa \ beta ) = \ prod _ { i=1}^{K}P(\varphi _{i};\beta )\prod _{j=1}^{M}P(\theta _{j};\alpha )\prod _{t= 1}^{N}P(Z_{j,t}\mid \theta _{j})P(W_{j,t}\mid \varphi _{Z_{j,t}}),}$

gdzie zmienne pogrubioną czcionką oznaczają wersję wektorową zmiennych. Po pierwsze i muszą zostać zintegrowane. ${\displaystyle {\boldsymbol {\varphi}}}$${\displaystyle {\boldsymbol {\theta}}}$

${\ Displaystyle {\ zacząć {wyrównany} i P ({\ boldsymbol {Z}}, {\ boldsymbol {W}}; \ alfa \ beta) = \ int _ {\ boldsymbol {\ theta}} \ int _ {\ boldsymbol {\varphi }}P({\boldsymbol {W}},{\boldsymbol {Z}},{\boldsymbol {\theta }},{\boldsymbol {\varphi }};\alpha ,\beta )\, d{\boldsymbol {\varphi }}\,d{\boldsymbol {\theta }}\\={}&\int _{\boldsymbol {\varphi }}\prod _{i=1}^{K}P (\varphi _{i};\beta )\prod _{j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_ {j,t}})\,d{\boldsymbol {\varphi }}\int _{\boldsymbol {\theta }}\prod _{j=1}^{M}P(\theta _{j}; \alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}.\end{aligned}} }$

Wszystkie s są od siebie niezależne i takie same dla wszystkich s. Możemy więc traktować każdego z osobna. Skupiamy się teraz tylko na części. ${\displaystyle \theta}$${\displaystyle \varphi}$${\displaystyle \theta}$${\displaystyle \varphi}$${\displaystyle \theta}$

${\ Displaystyle \ int _ {\ pogrubienie symbol {\ theta}} \ prod _ {j = 1} ^ {M} P (\ theta _ {j}; \ alfa) \ prod _ {t = 1} ^ {N} P(Z_{j,t}\mid \theta _{j})\,d{\boldsymbol {\theta }}=\prod _{j=1}^{M}\int _{\theta _{j }}P(\theta _{j};\alpha )\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{ J}.}$

Możemy dalej skoncentrować się tylko na jednym, takim jak: ${\displaystyle \theta}$

${\ Displaystyle \ int _ {\ theta _ {j}} P (\ theta _ {j}; \ alfa) \ prod _ {t = 1} ^ {N} P (Z_ {j, t} \ mid \ theta _{j})\,d\theta _{j}.}$

Właściwie jest to ukryta część modelu dokumentu. Teraz zastępujemy prawdopodobieństwa w powyższym równaniu wyrażeniem prawdziwego rozkładu, aby wypisać jawne równanie. ${\ Displaystyle j ^ {th}}$

${\ Displaystyle \ int _ {\ theta _ {j}} P (\ theta _ {j}; \ alfa) \ prod _ {t = 1} ^ {N} P (Z_ {j, t} \ mid \ theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _ {i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j, i}^{\alpha _{i}-1}\prod _{t=1}^{N}P(Z_{j,t}\mid \theta _{j})\,d\theta _{j }.}$

Niech będzie liczbą znaczników słów w dokumencie z tym samym symbolem słowa ( słowo w słowniku) przypisanym do tematu. Więc jest trójwymiarowy. Jeśli którykolwiek z trzech wymiarów nie jest ograniczony do określonej wartości, używamy do oznaczenia punktu w nawiasie . Na przykład oznacza liczbę znaczników słów w dokumencie przypisanych do tematu. Tak więc prawą większość powyższego równania można przepisać jako: ${\ Displaystyle n_ {j, r} ^ {i}}$${\ Displaystyle j ^ {th}}$${\ Displaystyle r ^ {th}}$${\ Displaystyle i ^ {th}}$${\ Displaystyle n_ {j, r} ^ {i}}$${\displaystyle (\cdot)}$${\ Displaystyle n_ {j, (\ cdot)} ^ {i}}$${\ Displaystyle j ^ {th}}$${\ Displaystyle i ^ {th}}$

${\ Displaystyle \ prod _ {t = 1} ^ {N} P (Z_ {j, t} \ mid \ theta _ {j}) = \ prod _ {i = 1} ^ {K} \ theta _ {j ,i}^{n_{j,(\cdot )}^{i}}.}$

Tak więc formułę integracji można zmienić na: ${\ Displaystyle \ theta _ {j}}$

${\ Displaystyle \ int _ {\ theta _ {j}} {\ Frac {\ Gamma \ lewo (\ suma _ {i = 1} ^ {K} \ alfa _ {i} \ po prawej)} {\ prod _ { i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{\alpha _{i}-1 }\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}}\,d\theta _{j}=\int _ {\theta _{j}}{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{ K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+ \alpha _{i}-1}\,d\theta _{j}.}$

Oczywiście równanie wewnątrz całkowania ma taką samą postać jak rozkład Dirichleta . Zgodnie z rozkładem Dirichleta ,

${\ Displaystyle \ int _ {\ theta _ {j}} {\ Frac {\ Gamma \ lewo (\ suma _ {i = 1} ^ {K} n_ {j, (\ cdot)} ^ {i} + \ alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{ j}=1.}$

Zatem,

${\ Displaystyle {\ zacząć {wyrównany} i \ int _ {\ theta _ {j}} P (\ theta _ {j}; \ alfa) \ prod _ {t = 1} ^ {N} P (Z_ {j ,t}\mid \theta _{j})\,d\theta _{j}=\int _{\theta _{j}}{\frac {\Gamma \left(\sum _{i=1} ^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\prod _{i=1}^{K }\theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={ }&{\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\ alfa _{i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{ \Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\int _{\theta _{ j}}{\frac {\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\ prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}}\prod _{i=1}^{K}\ theta _{j,i}^{n_{j,(\cdot )}^{i}+\alpha _{i}-1}\,d\theta _{j}\\[8pt]={}& {\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _ {i})}}{\frac {\prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}n_{j,(\cdot )}^ {i}+\alpha _{i}\right)}}.\end{wyrównany}}}$

Teraz zwracamy uwagę na tę część. W rzeczywistości wyprowadzenie części jest bardzo podobne do części. Tutaj wymieniamy tylko kroki wyprowadzenia: ${\displaystyle {\boldsymbol {\varphi}}}$${\displaystyle {\boldsymbol {\varphi}}}$${\displaystyle {\boldsymbol {\theta}}}$

${\ Displaystyle {\ zacząć {wyrównane} i \ int _ {\ pogrubienie {\ varphi }} \ prod _ {i = 1} ^ {K} P (\ varphi _ {i}; \ beta) \ prod _ {j =1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d{\boldsymbol {\varphi }}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}P(\varphi _{i};\beta )\prod _{ j=1}^{M}\prod _{t=1}^{N}P(W_{j,t}\mid \varphi _{Z_{j,t}})\,d\varphi _{i }\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1} ^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\prod _{r=1}^{V }\varphi _{i,r}^{\beta _{r}-1}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r }^{i}}\,d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}\int _{\varphi _{i}}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r} )}}\prod _{r=1}^{V}\varphi _{i,r}^{n_{(\cdot ),r}^{i}+\beta _{r}-1}\, d\varphi _{i}\\[8pt]={}&\prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\ beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}{\frac {\prod _{r=1}^{V} \Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \ left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned}}}$

Dla jasności, tutaj zapisujemy końcowe równanie z obydwoma i zintegrowanymi: ${\displaystyle {\boldsymbol {\phi}}}$${\displaystyle {\boldsymbol {\theta}}}$

${\ Displaystyle P ({\ boldsymbol {Z}}, {\ boldsymbol {W}}; \ alfa \ beta) = \ prod _ {j = 1} ^ {M} {\ Frac {\ Gamma \ lewo (\ suma _{i=1}^{K}\alpha _{i}\right)}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\frac { \prod _{i=1}^{K}\Gamma (n_{j,(\cdot )}^{i}+\alpha _{i})}{\Gamma \left(\sum _{i=1 }^{K}n_{j,(\cdot )}^{i}+\alpha _{i}\right)}}\times \prod _{i=1}^{K}{\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}} {\frac {\prod _{r=1}^{V}\Gamma (n_{(\cdot ),r}^{i}+\beta _{r})}{\Gamma \left(\sum _ {r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.}$

Celem Gibbs Sampling tutaj jest przybliżenie rozkładu . Ponieważ jest niezmienna dla każdego z Z, równania Gibbs Sampling można wyprowadzić bezpośrednio. Kluczowym punktem jest wyprowadzenie następującego prawdopodobieństwa warunkowego: ${\displaystyle P({\boldsymbol {Z}}\mid {\boldsymbol {W}};\alfa,\beta)}$${\displaystyle P({\boldsymbol {W}};\alfa,\beta)}$${\ Displaystyle P ({\ pogrubienie {Z}}, {\ pogrubienie {W}}; \ alfa \ beta)}$

${\ Displaystyle P (Z_ {(m, n)} \ mid {\ boldsymbol {Z_ {-(m, n)}}}, {\ boldsymbol {W}}; \ alfa \ beta) = {\ Frac { P(Z_{(m,n)},{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )}{P({\boldsymbol {Z_ {-(m,n)}}},{\boldsymbol {W}};\alfa ,\beta )}},}$

gdzie oznacza ukrytą zmienną tokenu słowa w dokumencie. I dalej zakładamy, że jej symbolem słownym jest słowo w słowniku. oznacza wszystkie s ale . Zauważ, że Gibbs Sampling musi tylko próbkować wartość dla , zgodnie z powyższym prawdopodobieństwem nie potrzebujemy dokładnej wartości ${\ Displaystyle Z_ {(m, n)}}$${\ Displaystyle Z}$${\ Displaystyle n ^ {th}}$${\ Displaystyle m ^ {th}}$${\ Displaystyle v ^ {th}}$${\displaystyle {\boldsymbol {Z_{-(m,n)}}}}$${\ Displaystyle Z}$${\ Displaystyle Z_ {(m, n)}}$${\ Displaystyle Z_ {(m, n)}}$

${\ Displaystyle P \ lewo (Z_ {m, n} \ mid {\ boldsymbol {Z_ {-(m, n)}}}, {\ boldsymbol {W}}; \ alfa \ beta \ prawej)}$

ale stosunki między prawdopodobieństwami, które mogą mieć wartość. Zatem powyższe równanie można uprościć jako: ${\ Displaystyle Z_ {(m, n)}}$

${\ Displaystyle {\ zacząć {wyrównany} P (i Z_ {(m, n)} = v \ mid {\ boldsymbol {Z_ {- (m, n)}}}, {\ boldsymbol {W}}; \ alfa, \beta )\\[8pt]&\propto P(Z_{(m,n)}=v,{\boldsymbol {Z_{-(m,n)}}},{\boldsymbol {W}};\alpha ,\beta )\\[8pt]&=\left({\frac {\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}{\prod _{ i=1}^{K}\Gamma (\alpha _{i})}}\right)^{M}\prod _{j\neq m}{\frac {\prod _{i=1}^{ K}\Gamma \left(n_{j,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_ {j,(\cdot )}^{i}+\alpha _{i}\right)}}\left({\frac {\Gamma \left(\sum _{r=1}^{V}\beta _{r}\right)}{\prod _{r=1}^{V}\Gamma (\beta _{r})}}\right)^{K}\prod _{i=1}^{ K}\prod _{r\neq v}\Gamma \left(n_{(\cdot ),r}^{i}+\beta _{r}\right){\frac {\prod _{i=1 }^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{ K}n_{m,(\cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{ (\cdot ),v}^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^ {i}+\beta _{r}\right)}}\\[8pt]&\propto {\frac {\prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _{i}\right)}{\Gamma \left(\sum _{i=1}^{K}n_{m,( \cdot )}^{i}+\alpha _{i}\right)}}\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v} ^{i}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _ {r}\right)}}\\[8pt]&\propto \prod _{i=1}^{K}\Gamma \left(n_{m,(\cdot )}^{i}+\alpha _ {i}\right)\prod _{i=1}^{K}{\frac {\Gamma \left(n_{(\cdot ),v}^{i}+\beta _{v}\right) }{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i}+\beta _{r}\right)}}.\end{aligned} }}$

Wreszcie niech będzie to samo znaczenie, co z wykluczonymi. Powyższe równanie można jeszcze bardziej uprościć, wykorzystując właściwość funkcji gamma . Najpierw dzielimy sumę, a następnie łączymy ją z powrotem, aby uzyskać -niezależną sumę, którą można pominąć: ${\ Displaystyle n_ {j, r} ^ {i, - (m, n)}}$${\ Displaystyle n_ {j, r} ^ {i}}$${\ Displaystyle Z_ {(m, n)}}$${\displaystyle k}$

${\ Displaystyle {\ zacząć {wyrównany} i \ propto \ prod _ {i \ neq k} \ Gamma \ lewo (n_ {m, (\ cdot)} ^ {i, - (m, n)} + \ alfa _ {i}\right)\prod _{i\neq k}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v }\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r} \right)}}\Gamma \left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}+1\right){\frac {\Gamma \left (n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}+1\right)}{\Gamma \left(\sum _{r=1}^{ V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}+1\right)}}\\[8pt]&=\prod _{i\neq k}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i\neq k}{\frac { \Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1} ^{V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\Gamma \left(n_{m,(\cdot )} ^{k,-(m,n)}+\alpha _{k}\right){\frac {\Gamma \left(n_{(\cdot ),v}^{k,-(m,n)} +\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+ \beta _{r}\right)}}\left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{ (\cdot ),v}^{k,-(m,n)}+\beta _{v}}{\ suma _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&=\prod _ {i}\Gamma \left(n_{m,(\cdot )}^{i,-(m,n)}+\alpha _{i}\right)\prod _{i}{\frac {\Gamma \left(n_{(\cdot ),v}^{i,-(m,n)}+\beta _{v}\right)}{\Gamma \left(\sum _{r=1}^{ V}n_{(\cdot ),r}^{i,-(m,n)}+\beta _{r}\right)}}\left(n_{m,(\cdot )}^{k, -(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,-(m,n)}+\beta _{v}}{ \sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\\[8pt]&\propto \ left(n_{m,(\cdot )}^{k,-(m,n)}+\alpha _{k}\right){\frac {n_{(\cdot ),v}^{k,- (m,n)}+\beta _{v}}{\sum _{r=1}^{V}n_{(\cdot ),r}^{k,-(m,n)}+\beta _{r}}}\end{wyrównany}}}$

Zauważ, że ten sam wzór został wyprowadzony w artykule o wielomianowym rozkładzie Dirichleta , jako część bardziej ogólnej dyskusji na temat całkowania a priori rozkładu Dirichleta z sieci bayesowskiej .

Powiązane problemy

Powiązane modele

Modelowanie tematyczne to klasyczne rozwiązanie problemu wyszukiwania informacji przy użyciu danych połączonych i technologii sieci semantycznej. Powiązane modele i techniki to między innymi utajone indeksowanie semantyczne , analiza niezależnych składników , probabilistyczne utajone indeksowanie semantyczne , nieujemna faktoryzacja macierzy oraz rozkład Gamma-Poissona .

Model LDA jest wysoce modułowy i dlatego można go łatwo rozbudować. Głównym polem zainteresowań jest modelowanie relacji między tematami. Osiąga się to poprzez użycie innej dystrybucji w simpleksie zamiast Dirichleta. Skorelowany model tematyczny stosuje to podejście, indukując strukturę korelacji między tematami przy użyciu logistycznego rozkładu normalnego zamiast Dirichleta. Innym rozszerzeniem jest hierarchiczna LDA (hLDA), w której tematy są łączone w hierarchię za pomocą zagnieżdżonego chińskiego procesu restauracyjnego , którego struktura jest pobierana z danych. LDA można również rozszerzyć na korpus, w którym dokument zawiera dwa rodzaje informacji (np. słowa i nazwy), tak jak w modelu dualnym LDA . Rozszerzenia nieparametryczne LDA obejmują hierarchiczny model mieszania procesów Dirichleta , który pozwala na nieograniczoną liczbę tematów i wyciąganie wniosków z danych.

Jak wspomniano wcześniej, pLSA jest podobny do LDA. Model LDA jest zasadniczo bayesowską wersją modelu pLSA. Sformułowanie bayesowskie ma tendencję do lepszej wydajności na małych zestawach danych, ponieważ metody bayesowskie mogą uniknąć nadmiernego dopasowania danych. W przypadku bardzo dużych zbiorów danych wyniki obu modeli mają tendencję do zbieżności. Jedną z różnic jest to, że pLSA używa zmiennej do reprezentowania dokumentu w zestawie szkoleniowym. Tak więc w pLSA, po przedstawieniu z dokumentem, którego model nie widział wcześniej, ustalamy — prawdopodobieństwo występowania słów w tematach — na to, czego nauczyłeś się ze zbioru uczącego i używamy tego samego algorytmu EM, aby wnioskować — rozkład tematów w ramach . Blei twierdzi, że ten krok jest oszustwem, ponieważ zasadniczo dostosowujesz model do nowych danych. ${\displaystyle d}$${\ Displaystyle \ Pr (w \ średni z)}$${\ Displaystyle \ Pr (z \ średni d)}$${\displaystyle d}$

Modele przestrzenne

W biologii ewolucyjnej często przyjmuje się, że położenie geograficzne obserwowanych osobników dostarcza informacji o ich pochodzeniu. Jest to uzasadnienie różnych modeli georeferencyjnych danych genetycznych

Wariacje na temat LDA zostały wykorzystane do automatycznego umieszczania naturalnych obrazów w kategoriach, takich jak „sypialnia” lub „las”, traktując obraz jako dokument, a małe fragmenty obrazu jako słowa; jedna z odmian nazywa się przestrzenną utajoną alokacją Dirichleta .

Zobacz też

• Wariacyjne metody bayesowskie
• Przydział Pachinko
• tf-idf
• Infer.NET

Bibliografia

Zewnętrzne linki

• jLDADMM Pakiet Java do modelowania tematów na normalnych lub krótkich tekstach. jLDADMM obejmuje implementacje modelu tematycznego LDA oraz modelu Dirichlet Multinomial Mixture jeden temat w dokumencie . jLDADMM zapewnia również implementację oceny grupowania dokumentów w celu porównywania modeli tematycznych.
• STTM Pakiet Java do modelowania krótkich tematów tekstowych ( https://github.com/qiang2100/STTM ). STTM zawiera następujące algorytmy: Dirichlet Multinomial Mixture (DMM) w konferencji KDD2014, Biterm Topic Model (BTM) w czasopiśmie TKDE2016, Word Network Topic Model (WNTM ) w czasopiśmie KAIS2018, Pseudo-Document-Based Topic Model (PTM) w konferencji KDD2016 , Self-Agregation-Based Topic Model (SATM) na konferencji IJCAI2015, (ETM) na konferencji PAKDD2017, Generalized P´olya Urn (GPU) Dirichlet Multinomial Mixturemodel (GPU-DMM) na konferencji SIGIR2016, Generalized P´olya Urn (GPU) ) oparty na modelu Dirichlet Multinomial Mixturemodel (GPU-PDMM) opartym na Poissona (GPU-PDMM) w czasopiśmie TIS2017 oraz model cech utajonych z DMM (LF-DMM) w czasopiśmie TACL2015. STTM zawiera również sześć krótkich korpusów tekstowych do oceny. STTM przedstawia trzy aspekty oceny wydajności algorytmów (tj. spójność tematu, grupowanie i klasyfikacja).
• Wykład, który obejmuje niektóre zapisy w tym artykule: LDA and Topic Modeling Video Wykład Davida Blei lub ten sam wykład na YouTube
• Bibliografia LDA D. Mimno Wyczerpujący wykaz zasobów związanych z LDA (w tym artykuły i niektóre implementacje)
• Gensim , implementacja LDA online w Python+ NumPy dla wejść większych niż dostępna pamięć RAM.
• topicmodels i lda to dwa pakiety R do analizy LDA.
• „Text Mining with R” z uwzględnieniem metod LDA , prezentacja wideo do spotkania grupy użytkowników Los Angeles R w październiku 2011 r.
• MALLET Pakiet open source oparty na Javie z University of Massachusetts-Amherst do modelowania tematów za pomocą LDA, ma również niezależnie opracowany GUI, narzędzie do modelowania tematów
• LDA w Mahout implementacji LDA przy użyciu MapReduce na platformie Hadoop
• Samouczek Latent Dirichlet Allocation (LDA) dla platformy Infer.NET Machine Computing Framework Microsoft Research C# Machine Learning Framework
• LDA w Spark : od wersji 1.3.0 Apache Spark zawiera również implementację LDA
• LDA , przykładowa implementacja LDA MATLAB