Macierz pomyłek - Confusion matrix
Źródła: Fawcett (2006), Piryonesi i El-Diraby (2020), Powers (2011), Ting (2011), CAWCR, D. Chicco i G. Jurman (2020, 2021) , Tharwat (2018). |
W dziedzinie uczenia maszynowego i konkretnie problemu klasyfikacji statystycznej , w macierzy błędów , znany również jako matrycy o błędzie, to specyficzny układ tabeli, który umożliwia wizualizację wykonywania algorytmu, zazwyczaj nadzorowane nauki jednego (w Uczenie Nienadzorowane to jest zwykle nazywana macierzą dopasowania ). Każdy wiersz macierzy reprezentuje instancje w rzeczywistej klasie, podczas gdy każda kolumna reprezentuje instancje w przewidywanej klasie lub odwrotnie – oba warianty można znaleźć w literaturze. Nazwa wzięła się stąd, że łatwo jest zobaczyć, czy system nie myli dwóch klas (tj. często niewłaściwie oznacza jedną jako drugą).
Jest to specjalny rodzaj tabeli kontyngencji , z dwoma wymiarami („rzeczywistym” i „przewidywanym”) oraz identycznymi zestawami „klas” w obu wymiarach (każda kombinacja wymiaru i klasy jest zmienną w tabeli kontyngencji).
Przykład
Biorąc pod uwagę próbkę 12 zdjęć, 8 kotów i 4 psy, gdzie koty należą do klasy 1, a psy do klasy 0,
- rzeczywista = [1,1,1,1,1,1,1,1,1,0,0,0,0],
Załóżmy, że wyszkolony jest klasyfikator, który rozróżnia koty i psy, a my robimy 12 zdjęć i przepuszczamy je przez klasyfikator. Klasyfikator dokonuje 9 trafnych prognoz i pudłuje 3: 2 koty błędnie zaklasyfikowane jako psy (pierwsze 2 prognozy) i 1 pies błędnie zaklasyfikowany jako kot (ostatnia prognoza).
- przewidywanie = [0,0,1,1,1,1,1,1,1,0,0,0,1]
Dzięki tym dwóm zestawom oznaczonym etykietami (rzeczywiste i przewidywane) możemy utworzyć macierz pomyłek, która będzie podsumowywać wyniki testowania klasyfikatora:
Przewidywana
klasa Rzeczywista klasa
|
Kot | Pies |
---|---|---|
Kot | 6 | 2 |
Pies | 1 | 3 |
W tej macierzy pomyłek z 8 zdjęć kotów system ocenił, że 2 to psy, a na 4 zdjęcia psów przewidział, że 1 to koty. Wszystkie poprawne prognozy znajdują się na przekątnej tabeli (zaznaczone pogrubioną czcionką), więc łatwo jest wizualnie sprawdzić tabelę pod kątem błędów predykcji, ponieważ będą je reprezentować wartości spoza przekątnej.
Pod względem czułości i specyficzności macierz pomyłek przedstawia się następująco:
Przewidywana
klasa Rzeczywista klasa
|
P | N |
---|---|---|
P | TP | FN |
N | FP | TN |
Tabela zamieszania
W analiz predykcyjnych , A tabela zamieszania (czasami nazywane także matryca zamieszanie ) znajduje się tabela z dwóch wierszach i dwóch kolumnach, które raportuje liczbę fałszywych alarmów , fałszywie negatywnych , prawdziwie dodatnich i prawdziwie ujemnych . Pozwala to na bardziej szczegółową analizę niż tylko część poprawnych klasyfikacji (dokładność). Dokładność da mylące wyniki, jeśli zestaw danych jest niezrównoważony; to znaczy, gdy liczba obserwacji w różnych klasach znacznie się różni. Na przykład, jeśli w danych było 95 kotów i tylko 5 psów, określony klasyfikator może zaklasyfikować wszystkie obserwacje jako koty. Ogólna dokładność wynosiłaby 95%, ale bardziej szczegółowo klasyfikator miałby wskaźnik rozpoznawania 100% ( czułość ) dla klasy kotów, ale wskaźnik rozpoznawania 0% dla klasy psów. Wynik F1 jest jeszcze bardziej niewiarygodny w takich przypadkach i tutaj daje ponad 97,4%, podczas gdy świadomość usuwa takie uprzedzenia i daje 0 jako prawdopodobieństwo świadomej decyzji dla dowolnej formy zgadywania (tutaj zawsze zgadujący kot). Macierz pomyłek nie ogranicza się do klasyfikacji binarnej i może być również używana w klasyfikatorach wieloklasowych.
Według Davide Chicco i Giuseppe Jurmana najbardziej pouczającym wskaźnikiem do oceny macierzy pomyłek jest współczynnik korelacji Matthewsa (MCC) .
Zakładając powyższą macierz pomyłek, odpowiadająca jej tabela pomyłek dla klasy cat wyglądałaby następująco:
Przewidywana
klasa Rzeczywista klasa
|
Kot | Nie-kot |
---|---|---|
Kot | 6 prawdziwych pozytywów | 2 fałszywe negatywy negative |
Nie-kot | 1 fałszywy alarm | 3 prawdziwe negatywy |
Ostatnia tabela nieporozumień zawierałaby średnie wartości dla wszystkich klas łącznie.
Zdefiniujmy eksperyment z P pozytywnych przypadków i N negatywnych przypadków dla pewnego warunku. Cztery wyniki można sformułować w postaci macierzy pomyłek 2×2 w następujący sposób:
Przewidywany stan | Źródła: | |||||
Całkowita populacja = P + N | Przewidywany stan pozytywny (PP) |
Przewidywany stan ujemny (PN) |
Świadomość, świadomość bukmachera (BM) = TPR + TNR − 1 | Próg chorobowości (PT) = √ TPR · FPR − FPR/TPR − FPR | ||
Stan rzeczywisty dodatni (P) |
Prawdziwy pozytywny (TP) , hit |
Fałszywie ujemny (FN) , błąd typu II , brak , niedoszacowanie |
Prawdziwie dodatni wskaźnik (TPR), przywołanie , czułość (SEN), prawdopodobieństwo wykrycia, wskaźnik trafień, moc =TP/P = 1 − FNR | Współczynnik fałszywie ujemnych (FNR), współczynnik chybień =FN/P = 1 − TPR | ||
Stan rzeczywisty ujemny (N) |
Fałszywie dodatni (FP) , błąd typu I , fałszywy alarm, przeszacowanie |
Prawdziwie ujemna (TN) , prawidłowe odrzucenie |
Odsetek fałszywie dodatnich (FPR), prawdopodobieństwo fałszywego alarmu, wypadanie =FP/N = 1 − TNR | Prawdziwie ujemna stopa (TNR), swoistość (SPC), selektywność =TN/N = 1 − FPR | ||
Występowanie =P/P + N | Dodatnia wartość predykcyjna (PPV), precyzja =TP/PP = 1 − FDR | Wskaźnik fałszywych pominięć (FOR) =FN/PN = 1 − NPV | Dodatni współczynnik wiarygodności (LR+) =TPR/FPR | Ujemny współczynnik wiarygodności (LR−) =FNR/TNR | ||
Dokładność (ACC) =TP + TN/P + N | Wskaźnik fałszywych odkryć (FDR) =FP/PP = 1 − PPV | Ujemna wartość predykcyjna (NPV) =TN/PN = 1 − FOR | Oznakowanie (MK), deltaP (Δp) = PPV + NPV − 1 | Iloraz szans diagnostycznych (DOR) =LR+/LR− | ||
Zrównoważona dokładność (BA) =TPR + TNR/2 | Wynik F 1 =2 · PPV · TPR/PPV + TPR = 2TP/2TP + PR + FN | Wskaźnik Fowlkesa-Mallowsa (FM) = √ PPV·TPR |
Współczynnik korelacji Matthewsa (MCC) = √ TPR·TNR·PPV·NPV − √ FNR·FPR·FOR·FDR |
Ocena zagrożenia (TS), krytyczny wskaźnik sukcesu (CSI) =TP/TP + FN + FP |
Macierze pomyłek z więcej niż dwiema kategoriami
Omówione powyżej macierze pomyłek mają tylko dwa warunki: dodatni i ujemny. W niektórych polach macierze pomyłek mogą mieć więcej kategorii. Na przykład poniższa tabela podsumowuje komunikację gwizdanego języka między dwoma mówcami, dla jasności pominięto wartości zerowe.
Postrzegana
samogłoska Wyprodukowano samogłoskę |
ja | mi | za | o | ty |
---|---|---|---|---|---|
ja | 15 | 1 | |||
mi | 1 | 1 | |||
za | 79 | 5 | |||
o | 4 | 15 | 3 | ||
ty | 2 | 2 |
Zobacz też
Bibliografia