Średnia wzajemna ranga - Mean reciprocal rank

Średni stopień wzajemny jest statystyka miarą oceny dowolny proces, który tworzy listę możliwych odpowiedzi do próbki zapytaniami, zamówionej przez prawdopodobieństwa poprawności. Odwrotność rangi odpowiedzi na kwerendę jest Liczba odwrotna od rangi pierwszej poprawnej odpowiedzi: 1 dla pierwszej kolejności, 1 / 2 za drugie miejsce, 1 / 3 o trzecie miejsce i tak dalej. Średnia rang wzajemności jest średnią rang wzajemności wyników dla próbki zapytań Q:

${\ Displaystyle {\ tekst {MRR}} = {\ Frac {1} {| Q |}} \ suma _ {i = 1} ^ {| Q |} {\ Frac {1} {{\ tekst {rank} }_{ja}}}.\!}$

gdzie odnosi się do pozycji rangi pierwszego odpowiedniego dokumentu dla i -tego zapytania. ${\displaystyle {\text{rank}}_{i}}$

Odwrotność średniej rangi odwrotności odpowiada średniej harmonicznej rang.

Przykład

Załóżmy na przykład, że mamy następujące trzy przykładowe zapytania dotyczące systemu, który próbuje przetłumaczyć angielskie słowa na ich liczbę mnogą. W każdym przypadku system dokonuje trzech domysłów, z których pierwsze jest tym, które najprawdopodobniej uważa za poprawne:

Biorąc pod uwagę te trzy próbki, możemy obliczyć średnią wzajemną rangę jako (1/3 + 1/2 + 1)/3 = 11/18 lub około 0,61.

Jeśli żaden z proponowanych wyników nie jest poprawny, odwrotność rangi wynosi 0. Należy zauważyć, że brana jest pod uwagę tylko ranga pierwszej odpowiedniej odpowiedzi, możliwe dalsze istotne odpowiedzi są ignorowane. Jeśli użytkownicy są zainteresowani również innymi istotnymi pozycjami, średnia precyzja jest potencjalną alternatywną metryką.

Zobacz też

• Wyszukiwanie informacji
• Odpowiadanie na pytania

Bibliografia