Model niezależności binarnej - Binary Independence Model

Binary Independence modelu (BIM) jest probabilistyczny wyszukiwanie informacji technika sprawia, że kilka prostych założeń, aby oszacować dokument / zapytań podobieństwa prawdopodobieństwem wykonalne.

Definicje

Założenie binarnej niezależności zakłada, że ​​dokumenty są wektorami binarnymi . Oznacza to, że rejestrowana jest tylko obecność lub brak terminów w dokumentach. Terminy są niezależnie rozpowszechniane w zbiorze odpowiednich dokumentów, a także są niezależnie rozpowszechniane w zbiorze nieistotnych dokumentów. Reprezentacja jest uporządkowanym zestawem zmiennych logicznych . Oznacza to, że reprezentacja dokumentu lub zapytania jest wektorem z jednym elementem logicznym dla każdego rozważanego terminu. Dokładniej, dokument jest reprezentowany przez wektor d = ( x ₁ , ..., x _m ), gdzie x _t = 1, jeśli termin t występuje w dokumencie d i x _t = 0, jeśli go nie ma. Dzięki temu uproszczeniu wiele dokumentów może mieć tę samą reprezentację wektorową. Zapytania są przedstawiane w podobny sposób. „Niezależność” oznacza, że ​​terminy w dokumencie są rozpatrywane niezależnie od siebie i nie jest modelowany żaden związek między terminami. To założenie jest bardzo ograniczające, ale wykazano, że daje wystarczająco dobre wyniki w wielu sytuacjach. Ta niezależność jest „naiwnym” założeniem klasyfikatora Naive Bayes , w którym właściwości, które implikują się nawzajem, są mimo wszystko traktowane jako niezależne ze względu na prostotę. To założenie pozwala traktować reprezentację jako wystąpienie modelu przestrzeni wektorowej poprzez traktowanie każdego terminu jako wartości 0 lub 1 wzdłuż wymiaru prostopadłego do wymiarów użytych dla innych terminów.

Prawdopodobieństwo, że dokument jest istotny, wynika z prawdopodobieństwa istotności wektora terminów tego dokumentu . Stosując regułę Bayesa otrzymujemy: ${\ Displaystyle P (R | d, q)}$${\ Displaystyle P (R | x, q)}$

${\ Displaystyle P (R | x, q) = {\ Frac {P (x | R, q) * P (R | q)} {P (x | q)}}}$

gdzie i są odpowiednio prawdopodobieństwa odzyskania odpowiedniego lub nieistotnego dokumentu. Jeśli tak, to reprezentacja tego dokumentu to x . Dokładnych prawdopodobieństw nie można wcześniej poznać, dlatego należy posłużyć się szacunkami ze statystyk dotyczących gromadzenia dokumentów. ${\ Displaystyle P (x | R = 1, q)}$${\ Displaystyle P (x | R = 0, q)}$

${\ Displaystyle P (R = 1 | q)}$ i wskaż poprzednie prawdopodobieństwo odzyskania odpowiedniego lub nieistotnego dokumentu odpowiednio dla zapytania q . Gdybyśmy na przykład znali procent odpowiednich dokumentów w kolekcji, moglibyśmy na jego podstawie oszacować te prawdopodobieństwa. Ponieważ dokument jest istotny lub nieistotny dla zapytania, mamy to: ${\ Displaystyle P (R = 0 | q)}$

${\ Displaystyle P (R = 1 | x, q) + P (R = 0 | x, q) = 1}$

Ważenie warunków zapytania

Biorąc pod uwagę zapytanie binarne i iloczyn skalarny jako funkcję podobieństwa między dokumentem a zapytaniem, problem polega na przypisaniu wag do terminów w zapytaniu tak, aby efektywność wyszukiwania była wysoka. Niech i będzie prawdopodobieństwo, że odnośny dokument oraz nieistotny dokument ma I ^th termin odpowiednio. Yu i Salton , którzy jako pierwsi wprowadzili BIM, sugerują, że waga i- ^tego terminu jest rosnącą funkcją . Tak więc, jeśli jest wyższa niż , waga członu i będzie wyższa niż waga członu j . Yu i Salton wykazali, że takie przypisanie wagi do zapytań daje lepszą skuteczność wyszukiwania, niż gdyby terminy zapytania miały taką samą wagę. Robertson i Spärck Jones później pokazał, że jeśli ja ^th termin przypisano wagę , to optymalne odzyskiwanie skuteczność uzyskuje się pod Binary Independence NMP. ${\ displaystyle p_ {i}}$${\ displaystyle q_ {i}}$${\ Displaystyle Y_ {i} = {\ Frac {p_ {i} * (1-q_ {i})} {(1-p_ {i}) * q_ {i}}}}$${\ displaystyle Y_ {i}}$${\ displaystyle Y_ {j}}$${\ displaystyle \ log Y_ {i}}$

Binarny model niezależności został wprowadzony przez Yu i Saltona. Nazwa Binary Independence Model została wymyślona przez Robertsona i Spärcka Jonesów.

Zobacz też

• Model worka słów

Dalsza lektura

• Christopher D. Manning; Prabhakar Raghavan; Hinrich Schütze (2008), Wprowadzenie do wyszukiwania informacji , Cambridge University Press
• Stefan Büttcher; Charles LA Clarke; Gordon V. Cormack (2010), Information Retrieval: Implementing and Evaluating Search Engines , MIT Press

Bibliografia