System oceny Elo - Elo rating system

Arpad Elo , wynalazca systemu oceny Elo

System rankingowy Elo to metoda obliczania względnych poziomów umiejętności graczy w grach o sumie zerowej, takich jak szachy . Jego nazwa pochodzi od jego twórcy Arpada Elo , węgiersko-amerykańskiego profesora fizyki.

System Elo został pierwotnie wynaleziony jako ulepszony system oceny szachów w porównaniu z wcześniej stosowanym systemem Harkness , ale jest również używany jako system oceny w piłce nożnej , futbolu amerykańskim , koszykówce , Major League Baseball , tenisie stołowym , grach planszowych, takich jak scrabble i Dyplomacja i e- sport , w szczególności Counter Strike: Global Offensive i League of Legends .

Różnica w ocenach między dwoma graczami służy jako predyktor wyniku meczu. Oczekuje się, że dwóch graczy o równych ocenach, którzy grają przeciwko sobie, zdobędzie taką samą liczbę zwycięstw. Oczekuje się, że gracz, którego ocena jest o 100 punktów wyższa niż ocena przeciwnika, uzyska 64%; jeśli różnica wynosi 200 punktów, to oczekiwany wynik dla silniejszego gracza to 76%.

Ocena Elo gracza jest reprezentowana przez liczbę, która może się zmieniać w zależności od wyniku rozegranych gier ocenianych. Po każdej grze zwycięski gracz odbiera punkty przegrywającemu. Różnica między ocenami zwycięzcy i przegranego określa całkowitą liczbę punktów zdobytych lub utraconych po grze. Jeśli gracz z wysoką oceną wygra, to tylko kilka punktów rankingowych zostanie odebranych graczowi z niską oceną. Jeśli jednak gracz z niższą oceną zdobędzie niespokojną wygraną , wiele punktów rankingowych zostanie przeniesionych. W przypadku remisu gracz z niższą oceną zdobędzie również kilka punktów od gracza z wyższą oceną. Oznacza to, że ten system oceny jest samokorygujący. Gracze, których rankingi są zbyt niskie lub zbyt wysokie, powinni w dłuższej perspektywie radzić sobie lepiej lub gorzej, niż przewiduje system rankingowy, a tym samym zdobywać lub tracić punkty rankingowe, dopóki rankingi nie będą odzwierciedlać ich prawdziwej siły gry.

Rating Elo jest ratingiem porównawczym i jest ważny tylko w ramach puli ratingowej, w której został ustanowiony.

Historia

Arpad Elo był szachistą mistrz poziomu i aktywnym uczestnikiem Federacja Szachowa Stanów Zjednoczonych (USCF) od momentu powstania w 1939 roku USCF użył liczbowej oceny system, opracowany przez Kennetha Harkness , w celu umożliwienia członkom śledzić ich indywidualne postępy w warunki inne niż wygrane i przegrane turniejowe. System Harknessa był dość sprawiedliwy, ale w pewnych okolicznościach dawał wyniki, które wielu obserwatorów uważało za niedokładne. W imieniu USCF Elo opracował nowy system z bardziej solidną podstawą statystyczną .

System Elo zastąpił wcześniejsze systemy nagród konkurencyjnych systemem opartym na estymacji statystycznej. Systemy oceny wielu punktów przyznawania punktów sportowych zgodnie z subiektywnymi ocenami „wielkości” niektórych osiągnięć. Na przykład wygranie ważnego turnieju golfowego może być warte arbitralnie wybranych pięciu razy więcej punktów niż wygranie słabszego turnieju.

Natomiast próba statystyczna wykorzystuje model, który łączy wyniki gry z podstawowymi zmiennymi reprezentującymi zdolności każdego gracza.

Głównym założeniem Elo było to, że wydajność szachowa każdego gracza w każdej partii jest zmienną losową o rozkładzie normalnym . Chociaż gracz może osiągać znacznie lepsze lub gorsze wyniki z jednej gry do następnej, Elo założył, że średnia wartość wyników każdego gracza zmienia się powoli w czasie. Elo myślał o prawdziwych umiejętnościach gracza jako o średniej losowej zmiennej wydajności tego gracza.

Kolejne założenie jest konieczne, ponieważ szachów w powyższym sensie nadal nie da się zmierzyć. Nie można spojrzeć na sekwencję ruchów i wyprowadzić liczby reprezentującej umiejętności tego gracza. Wyniki można wywnioskować tylko na podstawie wygranych, remisów i przegranych. Dlatego też, jeśli gracz wygrywa grę, zakłada się, że grał na wyższym poziomie niż jego przeciwnik w tej grze. I odwrotnie, jeśli gracz przegra, zakłada się, że wykonał na niższym poziomie. Jeśli gra kończy się remisem, zakłada się, że obaj gracze zagrali na prawie tym samym poziomie.

Elo nie określił dokładnie, jak blisko powinny być dwa występy, aby zakończyć się remisem, a nie wygraną lub przegraną. I chociaż uważał, że zawodnicy mogą mieć różne odchylenia standardowe od swoich występów, przyjął upraszczające założenie, że jest inaczej.

Aby jeszcze bardziej uprościć obliczenia, Elo zaproponował prostą metodę szacowania zmiennych w swoim modelu (tj. prawdziwych umiejętności każdego gracza). Na podstawie tabel można stosunkowo łatwo obliczyć, ile gier gracze powinni wygrać, porównując ich rankingi z ocenami ich przeciwników. Oceny gracza, który wygrał więcej gier niż oczekiwano, zostaną skorygowane w górę, podczas gdy oceny gracza, który wygrał mniej niż oczekiwano, zostaną skorygowane w dół. Co więcej, korekta ta miała być liniowo proporcjonalna do liczby wygranych, o które gracz przekroczył lub nie osiągnął oczekiwanej liczby.

Z nowoczesnej perspektywy założenia upraszczające Elo nie są konieczne, ponieważ moc obliczeniowa jest niedroga i powszechnie dostępna. Kilka osób, w szczególności Mark Glickman , zaproponowało użycie bardziej wyrafinowanej maszynerii statystycznej do oszacowania tych samych zmiennych. Z drugiej strony prostota obliczeniowa systemu Elo okazała się jednym z jego największych atutów. Za pomocą kieszonkowego kalkulatora dobrze poinformowany szachista może obliczyć z dokładnością do jednego punktu, jaki będzie jego następny oficjalnie opublikowany ranking, co pomaga promować przekonanie, że rankingi są uczciwe.

Wdrażanie schematu Elo

USCF realizowane propozycje ELO w 1960 roku, a system szybko zyskał uznanie jako zarówno sprawiedliwszy i bardziej dokładne niż systemu klasyfikacji Harkness . System Elo został przyjęty przez Światową Federację Szachową (FIDE) w 1970 roku. Elo szczegółowo opisał swoją pracę w książce The Rating of Chessplayers, Past and Present , opublikowanej w 1978 roku.

Kolejne testy statystyczne sugerowały, że szachy prawie na pewno nie mają rozkładu normalnego , ponieważ słabsi gracze mają większe szanse na wygraną niż przewiduje model Elo. Dlatego USCF i niektóre strony szachowe stosują formułę opartą na dystrybucji logistycznej . Znaczące anomalie statystyczne zostały również znalezione przy użyciu rozkładu logistycznego w szachach. FIDE nadal korzysta z tabeli różnicy ratingów zaproponowanej przez Elo. Tabela jest obliczana z oczekiwaniem 0 i odchyleniem standardowym 200.

Punkty rozkładu normalnego i logistycznego są w pewnym sensie dowolnymi punktami w spektrum rozkładów, które dobrze by działały. W praktyce obie te dystrybucje sprawdzają się bardzo dobrze w wielu różnych grach.

Różne systemy ocen

Wyrażenie „Rating Elo” jest często używane w znaczeniu rankingu szachowego gracza obliczonego przez FIDE. Jednak to użycie jest mylące i mylące, ponieważ ogólne idee Elo zostały przyjęte przez wiele organizacji, w tym USCF (przed FIDE), wiele innych krajowych federacji szachowych, krótkotrwałe Professional Chess Association (PCA) i serwery szachowe online, w tym Internetowy klub szachowy (ICC), bezpłatny internetowy serwer szachowy (FICS) i Yahoo! Gry. Każda organizacja ma unikalną implementację i żadna z nich nie podąża dokładnie za oryginalnymi sugestiami Elo. Bardziej trafne byłoby odniesienie się do wszystkich powyższych ocen jako do ocen Elo, a żadnego z nich do oceny Elo.

Zamiast tego można odwołać się do organizacji przyznającej ocenę. Na przykład: „Od sierpnia 2002 r. Gregory Kaidanov miał ocenę FIDE 2638 i ocenę USCF 2742”. Oceny Elo tych różnych organizacji nie zawsze są bezpośrednio porównywalne, ponieważ oceny Elo mierzą wyniki w ramach zamkniętej puli graczy, a nie bezwzględnych umiejętności. Istnieją również różnice w sposobie, w jaki organizacje wdrażają oceny Elo.

Oceny FIDE

Dla najlepszych graczy najważniejszą oceną jest ich ocena FIDE . FIDE wydała następujące listy:

  • W latach 1971-1980 wydawana była jedna lista rocznie.
  • W latach 1981-2000 wydawano dwa wykazy rocznie, w styczniu i lipcu.
  • Od lipca 2000 r. do lipca 2009 r. wydawano cztery listy rocznie, na początku stycznia, kwietnia, lipca i października.
  • Od lipca 2009 do lipca 2012 wydawano sześć list rocznie, na początku stycznia, marca, maja, lipca, września i listopada.
  • Od lipca 2012 r. lista jest aktualizowana co miesiąc.

Poniższa analiza listy rankingowej FIDE z lipca 2015 r. daje przybliżone wrażenie, co dany ranking FIDE oznacza w kontekście światowego rankingu:

  • 5323 zawodników miało aktywny ranking w przedziale od 2200 do 2299, co zwykle kojarzy się z tytułem Candidate Master .
  • 2869 graczy miało aktywną ocenę w zakresie od 2300 do 2399, co zwykle kojarzy się z tytułem FIDE Master .
  • 1420 graczy miało aktywny ranking między 2400 a 2499, z których większość miała tytuł mistrza międzynarodowego lub arcymistrza międzynarodowego .
  • 542 graczy miało aktywny ranking między 2500 a 2599, z których większość miała tytuł międzynarodowego arcymistrza .
  • 187 graczy miało aktywny ranking między 2600 a 2699, z których wszyscy posiadali tytuł międzynarodowego arcymistrza .
  • 40 graczy miało aktywny ranking między 2700 a 2799.
  • 4 graczy miało aktywny ranking powyżej 2800. ( Magnus Carlsen uzyskał ocenę 2853, a 3 graczy zostało ocenione między 2814 a 2816).

Najwyższa w historii ocena FIDE wyniosła 2882, co Magnus Carlsen znalazł się na liście z maja 2014 roku. Lista najwyżej ocenianych graczy w historii znajduje się w Porównanie najlepszych szachistów w historii .

Ocena wydajności

1,00 +800
0,99 +677
0,9 +366
0,8 +240
0,7 +149
0,6 +72
0,5 0
0,4 −72
0,3 −149
0,2 −240
0,1 -366
0,01 -677
0,00 −800

Ocena wydajności to hipotetyczna ocena, która wynikałaby z rozgrywek tylko jednego wydarzenia. Niektóre organizacje szachowe używają „algorytmu 400” do obliczania oceny wydajności. Zgodnie z tym algorytmem ocena skuteczności zdarzenia jest obliczana w następujący sposób:

  1. Za każdą wygraną dodaj ocenę przeciwnika plus 400,
  2. Za każdą stratę dodaj ocenę przeciwnika minus 400,
  3. I podziel tę sumę przez liczbę rozegranych gier.

Przykład: 2 wygrane, 2 przegrane

Można to wyrazić następującym wzorem:

Przykład: Jeśli pokonasz gracza z rankingiem Elo równym 1000,

Jeśli pokonasz dwóch graczy z rankingiem Elo równym 1000,

Jeśli rysujesz,

Jest to uproszczenie, ale oferuje łatwy sposób na oszacowanie PR (oceny wydajności).

FIDE jednak oblicza ocenę wydajności za pomocą wzoru: Średnia ocen przeciwników + Różnica ocen. Różnica w rankingu jest oparta na procentowym wyniku gracza w turnieju , który jest następnie używany jako klucz w tabeli przeglądowej, w której jest po prostu liczba zdobytych punktów podzielona przez liczbę rozegranych gier. Należy pamiętać, że w przypadku idealnego lub braku wyniku wynosi 800. Pełną tabelę można znaleźć w Podręczniku FIDE, B. Stałe komisje, 02. Regulamin ratingowy FIDE (Komisja Kwalifikacyjna), Regulamin ratingowy FIDE obowiązujący od 1 lipca 2017 r. , 8.1a online. Uproszczona wersja tej tabeli znajduje się po prawej stronie.

Kategorie turniejów FIDE

Kategoria Średnia ocena
Minimum Maksymalny
14 2576 2600
15 2601 2625
16 2626 2650
17 2651 2675
18 2676 2700
19 2701 2725
20 2726 2750
21 2751 2775
22 2776 2800
23 2801 2825

FIDE klasyfikuje turnieje na kategorie według średniej oceny graczy. Każda kategoria ma 25 punktów oceny. Kategoria 1 dotyczy średniej oceny od 2251 do 2275, kategoria 2 to 2276 do 2300 itd. W turniejach kobiet kategorie są o 200 punktów niższe, więc Kategoria 1 to średnia ocena od 2051 do 2075 itd. Najwyższa Turniej oceniany został w kategorii 23, ze średnią od 2801 do 2825. Najwyższe kategorie znajdują się w tabeli.

Oceny na żywo

FIDE aktualizuje swoją listę rankingową na początku każdego miesiąca. Natomiast nieoficjalne „Oceny na żywo” obliczają zmianę ocen graczy po każdym meczu. Te oceny na żywo są oparte na wcześniej opublikowanych ocenach FIDE, więc ocena na żywo gracza ma odpowiadać ocenie FIDE, gdyby FIDE wydało tego dnia nową listę.

Chociaż rankingi na żywo są nieoficjalne, zainteresowanie rankingami na żywo wzrosło w sierpniu/wrześniu 2008 r., kiedy pięciu różnych graczy zajęło pierwsze miejsce w rankingu „Na żywo”.

Nieoficjalne rankingi na żywo graczy powyżej 2700 zostały opublikowane i utrzymywane przez Hansa Arilda Runde na stronie Live Rating do sierpnia 2011 roku. Inna strona, 2700chess.com , prowadzona od maja 2011 przez Artioma Tsepotana , która obejmuje również 100 najlepszych graczy jako 50 najlepszych zawodniczek.

Zmiany ocen można obliczyć ręcznie za pomocą kalkulatora zmian ocen FIDE. Wszyscy najlepsi gracze mają współczynnik K równy 10, co oznacza, że ​​maksymalna zmiana ocen z pojedynczej gry wynosi nieco mniej niż 10 punktów.

Oceny Federacji Szachowej Stanów Zjednoczonych

Szachowy Stany Zjednoczone (USCF) używa własnego klasyfikacji graczy:

  • 2400 i powyżej: Starszy Mistrz
  • 2200-2399: Mistrz Narodowy
    • 2200–2399 plus 300 gier powyżej 2200: Original Life Master
  • 2000-2199: Ekspert lub Kandydat na Mistrza
  • 1800–1999: klasa A
  • 1600-1799: klasa B
  • 1400-1599: klasa C
  • 1200-1399: klasa D
  • 1000-1199: klasa E
  • 800–999: klasa F
  • 600-799: klasa G
  • 400-599: klasa H
  • 200-399: klasa I
  • 100-199: klasa J

Współczynnik K stosowany przez USCF

K-factor , w systemie ocen USCF, można oszacować dzieląc 800 przez efektywnej liczby gier gracza ocena oparta jest na ( N e ) powiększonej o liczbę gier gracz zakończone w turnieju ( m ).

Ocena pięter

USCF utrzymuje bezwzględny dolny poziom oceny 100 dla wszystkich ocen. W związku z tym żaden członek nie może mieć oceny poniżej 100, bez względu na jego wyniki na imprezach sankcjonowanych przez USCF. Gracze mogą jednak mieć wyższe indywidualne poziomy oceny bezwzględnej, obliczane według następującego wzoru:

gdzie to liczba wygranych gier rankingowych, to liczba wylosowanych gier rankingowych i to liczba wydarzeń, w których gracz ukończył trzy lub więcej gier rankingowych.

Dla doświadczonych graczy, którzy osiągnęli wysokie oceny, istnieją wyższe poziomy ocen. Takie wyższe poziomy oceny istnieją, zaczynając od ocen 1200 w 100-punktowych przyrostach, aż do 2100 (1200, 1300, 1400, ..., 2100). Dolny poziom ratingowy jest obliczany poprzez odjęcie najwyższej ustalonej oceny gracza, odjęcie 200 punktów, a następnie zaokrąglenie w dół do najbliższego dolnego poziomu ratingowego. Na przykład gracz, który osiągnął szczytowy rating 1464, miałby dolny poziom ratingu 1464 - 200 = 1264, co zostałoby zaokrąglone w dół do 1200. W tym schemacie tylko gracze klasy C i wyższej mogą mieć wyższą ocenę piętro niż ich bezwzględna ocena gracza. Wszyscy pozostali gracze mieliby piętro najwyżej 150.

Istnieją dwa sposoby na osiągnięcie wyższych poziomów ratingowych inne niż w ramach standardowego schematu przedstawionego powyżej. Jeśli gracz osiągnął ocenę Original Life Master, jego dolna granica jest ustalona na 2200. Osiągnięcie tego tytułu jest wyjątkowe, ponieważ żaden inny uznany tytuł USCF nie zapewni nowego poziomu. W przypadku graczy z rankingiem poniżej 2000, wygranie nagrody pieniężnej w wysokości 2000 $ lub większej podnosi dolny poziom rankingowy tego gracza do najbliższego 100-punktowego poziomu, który zdyskwalifikowałby gracza do udziału w turnieju. Na przykład, jeśli gracz wygrał 4000 $ w turnieju 1750 i poniżej, miałby teraz dolny poziom rankingowy 1800.

Teoria

Porównania parami stanowią podstawę metodologii ratingu Elo. Elo odwoływał się do dokumentów Gooda, Davida, Trawińskiego i Davida oraz Buhlmana i Hubera.

Szczegóły matematyczne

Wydajność nie jest mierzona bezwzględnie; wywodzi się z wygranych, przegranych i remisów przeciwko innym graczom. Oceny graczy zależą od ocen ich przeciwników i uzyskanych wyników. Różnica w ocenie między dwoma graczami określa szacunkowy oczekiwany wynik między nimi. Zarówno średnią, jak i rozpiętość ocen można wybrać dowolnie. Elo zasugerował skalowanie ocen, tak aby różnica 200 punktów rankingowych w szachach oznaczała, że ​​silniejszy gracz ma oczekiwany wynik (który w zasadzie jest oczekiwanym średnim wynikiem) około 0,75, a USCF początkowo dążyło do tego, aby przeciętny gracz klubowy miał ocena 1500.

Oczekiwany wynik gracza to prawdopodobieństwo wygranej plus połowa prawdopodobieństwa remisu. Tak więc oczekiwany wynik 0,75 może reprezentować 75% szans na wygraną, 25% na przegraną i 0% na remis. Z drugiej strony może reprezentować 50% szans na wygraną, 0% na przegraną i 50% na remis. Prawdopodobieństwo remisu, w przeciwieństwie do rozstrzygającego wyniku, nie jest określone w systemie Elo. Zamiast tego remis jest traktowany jako pół wygranej i pół przegranej. W praktyce, ponieważ prawdziwa siła każdego gracza jest nieznana, oczekiwane wyniki są obliczane na podstawie aktualnych ocen gracza w następujący sposób.

Jeśli gracz A ma ocenę równą, a gracz B ocenę równą , dokładna formuła (przy użyciu krzywej logistycznej ) na oczekiwany wynik gracza A wynosi

Podobnie oczekiwany wynik dla Gracza B to

Można to również wyrazić przez

oraz

gdzie i . Zauważ, że w tym drugim przypadku ten sam mianownik odnosi się do obu wyrażeń i jest oczywiste, że . Oznacza to, że studiując tylko liczniki, dowiadujemy się, że oczekiwany wynik dla gracza A jest razy większy niż oczekiwany wynik dla gracza B. Z tego wynika, że ​​na każde 400 punktów rankingowych przewagi nad przeciwnikiem, oczekiwany wynik jest powiększany dziesięć razy w porównaniu do oczekiwanego wyniku przeciwnika.

Gdy rzeczywiste wyniki turniejowe gracza przekraczają jego oczekiwane wyniki, system Elo traktuje to jako dowód, że ocena gracza jest zbyt niska i należy ją podwyższyć. Podobnie, gdy rzeczywiste wyniki turniejowe gracza nie są zgodne z jego oczekiwanymi wynikami, ocena tego gracza jest korygowana w dół. Pierwotna sugestia Elo, która jest nadal szeroko stosowana, polegała na prostej liniowej korekcie proporcjonalnej do ilości, o jaką gracz osiągnął wyższy lub gorszy wynik od oczekiwanego wyniku. Maksymalna możliwa korekta na mecz, zwana współczynnikiem K, została ustalona na K = 16 dla mistrzów i K = 32 dla słabszych graczy.

Przypuśćmy, że gracz A miał zdobyć punkty, ale faktycznie zdobył punkty. Formuła aktualizacji oceny tego gracza to

Tę aktualizację można przeprowadzić po każdej grze lub każdym turnieju lub po dowolnym odpowiednim okresie oceny. Przykład może pomóc w wyjaśnieniu. Załóżmy, że gracz A ma ranking 1613 i gra w pięciorundowym turnieju. Przegrywają z graczem z rankingiem 1609, remisują z graczem z rankingiem 1477, pokonują gracza z rankingiem 1388, pokonują gracza z rankingiem 1586 i przegrywają z graczem z rankingiem 1720. Rzeczywisty wynik gracza to (0 + 0,5 + 1 + 1 + 0 ) = 2,5. Oczekiwany wynik, obliczony według powyższego wzoru, wyniósł (0,51 + 0,69 + 0,79 + 0,54 + 0,35) = 2,88. Dlatego nowa ocena gracza to (1613 + 32 (2,5 - 2,88)) = 1601, zakładając, że zastosowano współczynnik K równy 32. Równoważnie można powiedzieć, że w każdej grze gracz włożył do puli ante K razy oczekiwany wynik gry, przeciwny gracz robi to samo, a zwycięzca otrzymuje pełną pulę o wartości K; w przypadku remisu gracze dzielą pulę i każdy z nich otrzymuje K/2 punkty.

Zauważ, że chociaż dwa zwycięstwa, dwie przegrane i jeden remis mogą wydawać się wartością równą, jest to gorsze niż oczekiwano dla gracza A, ponieważ jego przeciwnicy byli średnio oceniani niżej. Dlatego gracz A jest lekko ukarany. Gdyby gracz A zdobył dwa zwycięstwa, jedną porażkę i dwa remisy, uzyskując łączny wynik trzech punktów, byłby to nieco lepszy niż oczekiwano, a nowa ocena gracza wynosiłaby (1613 + 32 (3 - 2,88)) = 1617.

Ta procedura aktualizacji jest podstawą ratingów stosowanych przez FIDE , USCF , Yahoo! Gry , Internetowy Klub Szachowy (ICC) oraz Darmowy Internetowy Serwer Szachowy (FICS). Jednak każda organizacja wybrała inną drogę, aby poradzić sobie z niepewnością związaną z ratingami, zwłaszcza ratingami nowoprzybyłych, oraz z problemem inflacji/deflacji ratingów. Nowi gracze otrzymują tymczasowe oceny, które są dostosowywane bardziej drastycznie niż oceny ustalone.

Zasady stosowane w tych systemach oceny mogą być wykorzystane do oceny innych rozgrywek — na przykład międzynarodowych meczów piłki nożnej.

Oceny Elo zostały również zastosowane do gier bez możliwości remisów oraz do gier, w których wynik oprócz jakości (wygrana/przegrana) może mieć również pewną ilość (mała/duża marża). Zobacz Ocena Go z Elo, aby uzyskać więcej informacji.

Najdokładniejszy model dystrybucji

Pierwszym problemem matematycznym, którym zajął się USCF, było zastosowanie rozkładu normalnego . Okazało się, że nie odzwierciedlało to dokładnie rzeczywistych wyników, zwłaszcza osiągniętych przez graczy o niższych ocenach. Zamiast tego przeszli na logistyczny model dystrybucji , który według USCF lepiej odpowiadał faktycznie osiągniętym wynikom. FIDE używa również przybliżenia do dystrybucji logistycznej.

Najdokładniejszy współczynnik K

Drugim poważnym problemem jest zastosowany prawidłowy „współczynnik K”. Statystyk szachowy Jeff Sonas uważa, że ​​oryginalna wartość K=10 (dla graczy z rankingiem powyżej 2400) jest niedokładna w pracy Elo. Jeśli współczynnik K-factor jest ustawiony zbyt duży, będzie zbyt duża wrażliwość na zaledwie kilka ostatnich wydarzeń, jeśli chodzi o dużą liczbę punktów wymienianych w każdej grze. A jeśli wartość K jest zbyt niska, czułość będzie minimalna, a system nie zareaguje wystarczająco szybko na zmiany w rzeczywistym poziomie gry gracza.

Oryginalna ocena współczynnika K Elo została dokonana bez korzystania z ogromnych baz danych i dowodów statystycznych. Sonas wskazuje, że współczynnik K równy 24 (dla graczy z oceną powyżej 2400) może być dokładniejszy zarówno jako narzędzie przewidywania przyszłych wyników, jak i bardziej wrażliwy na wyniki.

Niektóre internetowe strony szachowe zdają się unikać trzystopniowego oszałamiania współczynnika K w oparciu o zakres ocen. Na przykład ICC wydaje się przyjmować globalną wartość K=32, z wyjątkiem gry przeciwko graczom z oceną prowizoryczną.

USCF (który wykorzystuje rozkład logistyczny w przeciwieństwie do rozkładu normalnego ) poprzednio rozkładał współczynnik K według trzech głównych zakresów oceny:

  • Gracze poniżej 2100: użyto współczynnika K 32
  • Gracze między 2100 a 2400: używany współczynnik K wynoszący 24
  • Gracze powyżej 2400: używany współczynnik K 16.

Obecnie USCF używa formuły, która oblicza współczynnik K na podstawie czynników, w tym liczby rozegranych gier i oceny gracza. Współczynnik K jest również zmniejszony w przypadku graczy o wysokim rankingu, jeśli wydarzenie ma krótszą kontrolę czasu.

FIDE używa następujących zakresów:

  • K = 40, dla gracza nowego na liście rankingowej do czasu ukończenia wydarzeń obejmujących łącznie 30 gier oraz dla wszystkich graczy do ukończenia 18. roku życia, o ile ich ranking nie przekracza 2300.
  • K = 20, dla graczy z oceną zawsze poniżej 2400.
  • K = 10, dla graczy z opublikowanym rankingiem co najmniej 2400 i co najmniej 30 meczami rozegranymi w poprzednich wydarzeniach. Następnie pozostaje na stałe na 10.

FIDE używało następujących zakresów przed lipcem 2014 r.:

  • K = 30 (było 25), dla gracza nowego na liście rankingowej do czasu ukończenia wydarzeń z łącznie 30 grami.
  • K = 15, dla graczy z oceną zawsze poniżej 2400.
  • K = 10, dla graczy z opublikowanym rankingiem co najmniej 2400 i co najmniej 30 meczami rozegranymi w poprzednich wydarzeniach. Następnie pozostaje na stałe na 10.

Stopniowanie współczynnika K zmniejsza zmiany ocen w górnym końcu spektrum ocen, zmniejszając możliwość szybkiej inflacji lub deflacji ocen dla osób z niskim współczynnikiem K. Teoretycznie może to dotyczyć zarówno szachów online, jak i graczy spoza szachownicy, ponieważ graczom trudniej jest uzyskać znacznie wyższe oceny, gdy ich współczynnik K jest zmniejszony. Podczas gry online może to być po prostu wybór wysoko ocenianych przeciwników, który umożliwia ponad 2800 graczom dalsze zwiększenie ich oceny, ponieważ arcymistrz na stronie gry ICC może grać z szeregiem różnych przeciwników, z których wszyscy mają ranking powyżej 2700. w turniejach szachowych na bardzo wysokim poziomie gracz byłby w stanie zaangażować ponad 2700 przeciwników, podczas gdy w normalnym otwartym turnieju szachowym w parze szwajcarskiej często byłoby ich wielu. przeciwnicy ocenili mniej niż 2500, zmniejszając zyski w rankingach możliwe z jednego konkursu.

Problemy praktyczne

Aktywność w grach a ochrona własnej oceny

W niektórych przypadkach system ocen może zniechęcać graczy, którzy chcą chronić swoją ocenę, zniechęcać do gry. Aby zniechęcić graczy do zajmowania wysokiego rankingu, propozycja brytyjskiego arcymistrza Johna Nunna z 2012 roku dotycząca wyboru osób kwalifikujących do mistrzostw świata w szachach zawierała premię za aktywność, która miała być połączona z rankingiem.

Poza światem szachów obawy, że gracze unikają rywalizacji w celu ochrony swoich rankingów, spowodowały, że Wizards of the Coast porzuciło system Elo na rzecz turniejów Magic: the Gathering na rzecz własnego systemu o nazwie „Planeswalker Points”.

Selektywne parowanie

Bardziej subtelna kwestia dotyczy parowania. Kiedy gracze mogą wybierać własnych przeciwników, mogą wybierać przeciwników z minimalnym ryzykiem przegranej i maksymalną nagrodą za wygraną. Konkretne przykłady graczy z oceną 2800+ wybierających przeciwników przy minimalnym ryzyku i maksymalnej szansie na zyskanie w rankingu obejmują: wybieranie przeciwników, o których wiedzą, że mogą pokonać określoną strategią; wybieranie przeciwników, którzy ich zdaniem są przereklamowani; lub unikanie gry silnymi graczami, którzy mają kilkaset punktów niżej, ale mogą posiadać tytuły szachowe, takie jak IM lub GM. W kategorii wyboru przereklamowanych przeciwników, nowi uczestnicy systemu ocen, którzy rozegrali mniej niż 50 meczów, są teoretycznie wygodnym celem, ponieważ mogą być przecenieni w swoim tymczasowym rankingu. ICC rekompensuje ten problem, przypisując niższy współczynnik K do uznanego gracza, jeśli wygra z nowym uczestnikiem rankingu. Współczynnik K jest w rzeczywistości funkcją liczby ocenionych gier rozegranych przez nowego uczestnika.

Dlatego rankingi Elo online nadal stanowią przydatny mechanizm wystawiania oceny opartej na ocenie przeciwnika. Jego ogólną wiarygodność należy jednak postrzegać w kontekście co najmniej dwóch opisanych powyżej głównych kwestii — nadużycia silnika i selektywnego łączenia przeciwników w pary.

ICC wprowadziła ostatnio również rankingi „autoparowania”, które opierają się na losowych parach, ale z każdą wygraną z rzędu zapewnia statystycznie znacznie trudniejszego przeciwnika, który również wygrał x gier z rzędu. Z potencjalnie setkami zaangażowanych graczy, stwarza to niektóre z wyzwań dużego szwajcarskiego wydarzenia, które jest zaciekłe, a zwycięzcy rundy spotykają się ze zwycięzcami rundy. Takie podejście do parowania z pewnością maksymalizuje ryzyko ratingowe wyżej ocenianych uczestników, którzy na przykład mogą napotkać bardzo silny opór ze strony graczy poniżej 3000. Jest to osobna ocena sama w sobie i mieści się w kategoriach ocen „1 minuta” i „5 minut”. Maksymalne oceny osiągnięte powyżej 2500 są wyjątkowo rzadkie.

Inflacja i deflacja ocen

Wykresy prawdopodobieństw i zmian ocen Elo (dla K=16 i 32) oczekiwanego wyniku (krzywa ciągła) i nieoczekiwanego wyniku (krzywa kropkowana) w porównaniu z początkową różnicą ocen. Na przykład, gracz A zaczyna z oceną 1400, a B z 1800 w turnieju z K  = 32 (brązowe krzywe). Niebieska linia kreska-kropka oznacza początkową różnicę ocen wynoszącą 400 (1800-1400). Prawdopodobieństwo wygranej B, oczekiwany wynik, wynosi 0,91 (przecięcie czarnej ciągłej krzywej i niebieskiej linii); jeśli tak się stanie, ocena A spada o 3 (przecięcie brązowej ciągłej krzywej i niebieskiej linii) do 1397, a B wzrasta o tę samą wartość do 1803. I odwrotnie, prawdopodobieństwo wygranej A, nieoczekiwanego wyniku, wynosi 0,09 (przecięcie czarnej kropkowanej krzywa i niebieska linia); jeśli tak się stanie, ocena A wzrasta o 29 (przecięcie brązowej kropkowanej krzywej i niebieskiej linii) do 1429, a B spada o tę samą wartość do 1771.

Termin „inflacja”, stosowany do ocen, ma sugerować, że poziom siły gry wykazywany przez ocenianego gracza zmniejsza się z czasem; odwrotnie, „deflacja” sugeruje, że poziom się zwiększa. Na przykład, jeśli jest inflacja, współczesna ocena 2500 oznacza mniej niż historyczna ocena 2500, podczas gdy jest odwrotnie, jeśli występuje deflacja. Używanie ocen do porównywania graczy z różnych epok jest utrudnione, gdy występuje inflacja lub deflacja. (Zobacz także Porównanie najlepszych szachistów w historii .)

Analizując listy rankingowe FIDE na przestrzeni czasu, Jeff Sonas sugeruje, że inflacja mogła mieć miejsce od około 1985 roku. Sonas przygląda się najwyżej ocenianym zawodnikom, a nie wszystkim ocenianym zawodnikom i przyznaje, że zmiany w rozkładzie rankingów mogły być spowodowane podniesienie standardu gry na najwyższych poziomach, ale szuka też innych przyczyn.

Wzrosła liczba osób z ocenami powyżej 2700. Około 1979 był tylko jeden aktywny zawodnik ( Anatolij Karpow ) z tak wysoką oceną. W 1992 roku Viswanathan Anand był dopiero ósmym graczem w historii szachów, który osiągnął w tym czasie poziom 2700. W 1994 r. liczba ta wzrosła do 15 graczy. 33 graczy miało ranking 2700+ w 2009 r. i 44 we wrześniu 2012 r. Obecny poziom odniesienia dla elitarnych graczy przekracza 2800.

Jedną z możliwych przyczyn tej inflacji był dolny rating, który przez długi czas wynosił 2200, a jeśli gracz spadł poniżej tego poziomu, był skreślany z listy ratingowej. W związku z tym gracze na poziomie umiejętności tuż poniżej dolnego poziomu znajdowaliby się na liście rankingowej tylko wtedy, gdyby zostali przecenieni, a to zmusiłoby ich do dodania punktów do puli rankingowej. W lipcu 2000 r. średnia ocena 100 najlepszych wynosiła 2644. W lipcu 2012 r. wzrosła do 2703.

Używając silnego silnika szachowego do oceny ruchów rozgrywanych w grach pomiędzy ocenianymi graczami, Regan i Haworth analizują zestawy gier z turniejów ocenianych przez FIDE i wyciągają wniosek, że w latach 1976-2009 inflacja była niewielka lub żadna.

W czystym systemie Elo każda gra kończy się równą transakcją punktów rankingowych. Jeśli zwycięzca zdobędzie N punktów rankingowych, przegrany spadnie o N punktów rankingowych. Zapobiega to wchodzeniu lub wychodzeniu punktów z systemu podczas grania i oceniania gier. Jednak gracze zazwyczaj wchodzą do systemu jako nowicjusze z niską oceną i wycofują się z systemu jako doświadczeni gracze z wysoką oceną. Dlatego na dłuższą metę system z dokładnie równymi transakcjami prowadzi do deflacji ratingu.

W 1995 roku USCF przyznało, że kilku młodych szkolnych graczy poprawiało się szybciej niż system ocen był w stanie śledzić. W rezultacie ugruntowani gracze ze stabilnymi ocenami zaczęli tracić punkty rankingowe na rzecz młodych i niedocenianych graczy. Kilku starszych graczy o ugruntowanej pozycji było sfrustrowanych tym, co uważali za niesprawiedliwy spadek rankingu, a niektórzy nawet zrezygnowali z szachów.

Zwalczanie deflacji

Ze względu na znaczną różnicę w czasie, kiedy pojawia się inflacja i deflacja, a także w celu zwalczania deflacji, większość implementacji ocen Elo ma mechanizm wstrzykiwania punktów do systemu w celu utrzymania względnych ocen w czasie. FIDE ma dwa mechanizmy inflacyjne. Po pierwsze, występy poniżej „dolnego poziomu ocen” nie są śledzone, więc zawodnik z prawdziwymi umiejętnościami poniżej tego poziomu może być tylko nieoceniony lub przereklamowany, nigdy poprawnie. Po drugie, ugruntowani i wyżej oceniani gracze mają niższy współczynnik K. Nowi gracze mają K  = 40, który spada do K  = 20 po 30 rozegranych grach i do K  = 10, gdy gracz osiągnie 2400. Obecny system w Stanach Zjednoczonych obejmuje system punktów bonusowych, który zasila system punktami rankingowymi w w celu śledzenia postępujących graczy i różnych wartości K dla różnych graczy. Niektóre metody, stosowane na przykład w Norwegii, rozróżniają juniorów i seniorów i stosują większy współczynnik K dla młodych graczy, nawet zwiększając postęp w rankingu o 100%, gdy osiągają wyniki znacznie powyżej przewidywanych wyników.

Podłogi rankingowe w Stanach Zjednoczonych gwarantują, że gracz nigdy nie spadnie poniżej określonego limitu. To również zwalcza deflację, ale przewodniczący Komitetu Oceny USCF był krytyczny wobec tej metody, ponieważ nie daje ona dodatkowych punktów poprawiającym się graczom. Możliwym motywem tych pięter ratingowych jest zwalczanie worków z piaskiem, tj. celowego obniżania ratingów, aby kwalifikować się do odcinków i nagród w niższej klasie ratingowej.

Oceny komputerów

Mecze szachowe człowiek-komputer między 1997 ( Deep Blue kontra Garry Kasparov ) a 2006 rokiem pokazały, że komputery szachowe są w stanie pokonać nawet najsilniejszych graczy. Jednak oceny silników szachowych są trudne do oszacowania ze względu na zmienne czynniki, takie jak kontrola czasu i sprzęt, na którym działa program. Opublikowane listy ocen silników, takie jak CCRL, opierają się na grach tylko dla silników na standardowych konfiguracjach sprzętowych i nie są bezpośrednio porównywalne z ocenami FIDE.

Aby zapoznać się z niektórymi szacunkami ocen, zobacz Silnik szachowy § Oceny .

Użyj poza szachami

Sporty lekkoatletyczne

System oceny Elo jest używany w szachowej części boksu szachowego . Aby kwalifikować się do profesjonalnego boksu szachowego, należy mieć ranking Elo co najmniej 1600, a także uczestniczyć w 50 lub więcej meczach boksu amatorskiego lub sztuk walki.

Amerykański futbol uniwersytecki wykorzystywał metodę Elo jako część swoich systemów oceny Bowl Championship Series od 1998 do 2013 roku, po czym BCS został zastąpiony przez College Football Playoff . Jeff Sagarin z USA Today publikuje rankingi drużyn dla większości sportów amerykańskich, w tym rankingi systemu Elo dla futbolu uniwersyteckiego. Stosowanie systemów oceny zostało skutecznie zlikwidowane wraz z utworzeniem College Football Playoff w 2014 roku; uczestnicy WPRyb i związanych z nią gier w kręgle są wybierani przez komisję selekcyjną.

W innych dyscyplinach dyscypliny indywidualne utrzymują rankingi oparte na algorytmie Elo. Są one zwykle nieoficjalne, nie zatwierdzone przez organ zarządzający sportem. Do Oceny świata piłki Elo jest przykładem metody zastosowanej do męskiej piłki nożnej . W 2006 roku rankingi Elo zostały zaadaptowane dla drużyn Major League Baseball przez Nate Silvera , a następnie przez Baseball Prospectus . W oparciu o tę adaptację obaj wykonali również symulacje Monte Carlo oparte na Elo, określające szanse na awans do play-offów. W 2014 roku Beyond the Box Score, strona SB Nation , wprowadziła system rankingowy Elo dla międzynarodowego baseballu.

W tenisie uniwersalny ranking tenisa (UTR) oparty na Elo ocenia graczy w skali globalnej, niezależnie od wieku, płci czy narodowości. Jest to oficjalny system oceny głównych organizacji, takich jak Intercollegiate Tennis Association i World TeamTennis, i jest często używany w segmentach Tennis Channel . Algorytm analizuje ponad 8 milionów wyników meczów ponad 800 000 tenisistów na całym świecie. 8 maja 2018 r. Rafael Nadal – po wygraniu 46 kolejnych setów w meczach na kortach ziemnych – miał prawie doskonały UTR na kortach ziemnych wynoszący 16,42.

Jednym z nielicznych rankingów opartych na Elo, zatwierdzonych przez organ zarządzający sportem, jest FIFA Women's World Rankings , oparty na uproszczonej wersji algorytmu Elo, który FIFA wykorzystuje jako oficjalny system rankingowy dla drużyn narodowych w kobiecej piłce nożnej .

Z pierwszej listy rankingowej po Mistrzostwach Świata FIFA 2018 FIFA wykorzystała Elo do swoich światowych rankingów FIFA .

W 2015 r. Nate Silver, redaktor naczelny portalu z komentarzami statystycznymi FiveThirtyEight i Reuben Fischer-Baum opracowali oceny Elo dla każdej drużyny i sezonu Narodowego Związku Koszykówki przez cały sezon 2014. W 2014 roku FiveThirtyEight stworzyło oparte na Elo rankingi i prognozy wygranych dla amerykańskiej profesjonalnej Narodowej Ligi Futbolu .

Angielskie Stowarzyszenie Korfballa oceniało drużyny na podstawie rankingów Elo, aby określić handicapy na ich rozgrywkę pucharową na sezon 2011/12.

Opracowano ranking graczy National Hockey League oparty na Elo . Wskaźnik hokejowy-Elo ocenia ogólną grę dwustronną gracza: zdobywanie punktów ORAZ obronę, zarówno w sytuacjach równej siły, jak i gry siłowej/zabicia karnego.

Rugbyleagueratings.com korzysta z systemu rankingowego Elo do oceniania międzynarodowych i klubowych drużyn rugby .

Inne gry planszowe i karciane

Organizacje National Scrabble obliczają rozkłady Elo o rozkładzie normalnym, z wyjątkiem Wielkiej Brytanii , gdzie używany jest inny system. North American Scrabble Players Association posiada największą ocenił populację aktywnych członków, w liczbie około 2000, co od początku 2011 r Lexulous wykorzystuje również system ELO.

Popularny First Internet Backgammon Server (FIBS) oblicza oceny na podstawie zmodyfikowanego systemu Elo. Nowi gracze otrzymują ocenę 1500, z najlepszymi ocenami ludzi i botów powyżej 2000. Ta sama formuła została przyjęta przez kilka innych stron backgammon, takich jak Play65 , DailyGammon , GoldToken i VogClub . VogClub ustala ranking nowego gracza na 1600. Brytyjska Federacja Backgammon używa formuły FIBS dla swoich krajowych rankingów w Wielkiej Brytanii.

Europejska Federacja Go przyjęła system ELO oparte początkowo zainicjowane przez czeskiego Go Federacji.

Pomimo pytań o stosowność korzystania z systemu Elo do oceniania gier, w których liczy się szczęście, producenci gier karcianych często używają ocen Elo do swoich zorganizowanych działań. DCI (dawniej Duelists' Zwołanie International) stosowany Elo oceny turniejach Magic: The Gathering i inne Wizards of the Coast gier. Jednak DCI porzucił ten system w 2012 roku na rzecz nowego systemu kumulacji „Planeswalker Points”, głównie z powodu wspomnianej powyżej obawy, że Elo zachęca wysoko ocenianych graczy do unikania gry, aby „chronić swój ranking”. Pokémon USA używa systemu Elo, aby oceniać swoich rywali w zorganizowanych grach TCG. Nagrody dla najlepszych graczy w różnych regionach obejmowały wakacje i zaproszenia na mistrzostwa świata aż do sezonu 2011–2012, w którym nagrody były oparte na systemie punktów mistrzowskich, a ich uzasadnienie było takie samo jak w przypadku DCI dla Magic: The Gathering . Podobnie firma Decipher, Inc. korzystała z systemu Elo w swoich grach rankingowych, takich jak Star Trek Customizable Card Game i Star Wars Customizable Card Game .

Gry wideo i gry online

Wiele gier wideo wykorzystuje zmodyfikowane systemy Elo w rozgrywce konkurencyjnej. MOBA gry League of Legends stosowany system ELO przed drugim sezonie rozgrywek. Esports gra Overwatch , podstawą wyjątkowej Overwatch League profesjonalnych organizacji sportowej , wykorzystuje pochodną systemu Elo oceniającym konkurencyjnych graczy z różnych korekt dokonanych między konkurencyjnymi sezonów. Counter-Strike: Global Offensive i GO Battle League w Pokemon Go używa Glicko-2 , zmodyfikowanego systemu Elo, podczas gdy poza profesjonalnymi ligami do gry (takimi jak ESEA League i Faceit ) używają ocen Elo. World of Warcraft również wcześniej używał systemu Glicko-2 do łączenia i porównywania graczy Arena, ale teraz używa systemu podobnego do TrueSkill firmy Microsoft . Gra Puzzle Pirates wykorzystuje system oceny Elo do określania pozycji w różnych łamigłówkach. Roblox wprowadził ocenę Elo w 2010 roku. Ten system jest również używany w FIFA Mobile w trybach Division Rivals. Gra przeglądarkowa Quidditch Manager używa oceny Elo do mierzenia wyników drużyny. Inną niedawną grą, w której zaczął używać systemu ocen Elo, jest AirMech , wykorzystujący oceny Elo dla losowych/drużynowych dobierania graczy 1v1, 2v2 i 3v3. RuneScape 3 używał systemu Elo w ponownym wydaniu minigry łowcy nagród w 2016 roku. Mechwarrior Online ustanowił system Elo dla swojego nowego trybu „Kolejka do gier”, który wszedł w życie wraz z aktualizacją z 20 czerwca 2017.

Niewiele gier wideo korzysta z oryginalnego systemu oceny Elo. Według Lichess , internetowego serwera szachowego, system Elo jest przestarzały, a Glicko-2 jest obecnie używany przez wiele organizacji szachowych. PlayerUnknown's Battlegrounds to jedna z niewielu gier wideo, która wykorzystuje pierwszy system Elo. W Guild Wars , oceny Elo są używane do rejestrowania ocen gildii zdobytych i utraconych w bitwach gildia kontra gildia. League of Legends początkowo używało klasycznego systemu Elo do rozgrywki rankingowej, ale po trzecim sezonie przeszło na unikalny system oceny. Różne inne gry online wykorzystują oceny Elo do rankingów gracz kontra gracz. Od 2005 roku Golden Tee Live ocenia graczy w oparciu o system Elo. Nowi gracze zaczynają od 2100, z najlepszymi ocenami powyżej 3000. Początkowa wartość K wynosiła 30, ale została zmieniona na 5 w styczniu 2007, a następnie na 15 w lipcu 2009. W 1998 r. uruchomiono drabinkę gier online o nazwie Clanbase , która używał systemu punktacji Elo do rankingu drużyn. Witryna później przeszła w tryb offline w 2013 roku. Podobna alternatywna strona została uruchomiona w 2016 roku pod nazwą Scrimbase , która również wykorzystywała system punktacji Elo do rankingu drużyn.

Pomimo tego, że wiele gier wideo korzysta z różnych systemów dobierania graczy, często zdarza się, że gracze rankingowych gier wideo odnoszą się do wszystkich ocen dobierania graczy jako Elo .

Inne zastosowanie

W miękkiej biometrii zastosowano system ocen Elo , który dotyczy identyfikacji osób za pomocą ludzkich opisów. Opisy porównawcze zostały wykorzystane wraz z systemem oceny Elo, aby zapewnić solidne i rozróżniające „pomiary względne”, umożliwiające dokładną identyfikację.

System oceny Elo został również wykorzystany w biologii do oceny hierarchii męskiej dominacji oraz w automatyce i wizji komputerowej do kontroli tkanin .

Co więcej, internetowe strony sędziowskie również korzystają z systemu oceny Elo lub jego pochodnych. Na przykład Topcoder używa zmodyfikowanej wersji opartej na normalnej dystrybucji, podczas gdy Codeforces używa innej wersji opartej na dystrybucji logistycznej.

System oceny Elo został również zauważony w aplikacjach randkowych, takich jak aplikacja Tinder , która wykorzystuje wariant systemu oceny Elo.

Referencje w mediach

System oceny Elo został wyróżniony w The Social Network podczas sceny algorytmicznej, w której Mark Zuckerberg wydał Facemash . W scenie Eduardo Saverin pisze matematyczne wzory dla systemu oceny Elo na oknie pokoju akademika Zuckerberga. Film twierdzi, że za kulisami system Elo służy do oceniania dziewcząt według ich atrakcyjności. Równania sterujące algorytmem są pokazane krótko, zapisane w oknie; jednak są nieco niepoprawne.

Zobacz też

Uwagi

Bibliografia

Dalsza lektura

Zewnętrzne linki