Macierz pomyłek - Confusion matrix

Terminologia i wyprowadzenia
z macierzy pomyłek
stan pozytywny (P)
liczba rzeczywistych pozytywnych przypadków w danych
stan ujemny (N)
liczba rzeczywistych negatywnych przypadków w danych

prawdziwy pozytywny (TP)
równ. z hitem
prawdziwie ujemny (TN)
równ. z prawidłowym odrzuceniem
fałszywie pozytywny (FP)
równ. z fałszywym alarmem , błędem typu I lub niedoszacowaniem
fałszywie ujemny (FN)
równ. z chybieniem, błędem typu II lub przeszacowaniem

czułość , przypominanie , wskaźnik trafień lub wskaźnik prawdziwie dodatnich (TPR)
swoistość , selektywność lub współczynnik prawdziwie ujemnych (TNR)
precyzja lub dodatnia wartość predykcyjna (PPV)
ujemna wartość predykcyjna (NPV)
współczynnik chybień lub współczynnik fałszywie ujemnych (FNR)
wskaźnik wypadania lub fałszywie dodatnich (FPR)
współczynnik fałszywych odkryć (FDR)
współczynnik fałszywych pominięć (DLA)
próg chorobowości (PT)
wskaźnik zagrożenia (TS) lub krytyczny wskaźnik sukcesu (CSI)

dokładność (ACC)
zrównoważona dokładność (BA)
Wynik F1
jest średnią harmoniczną z precyzją i wrażliwością :
Współczynnik korelacji Matthewsa (MCC)
Indeks Fowlkesa-Mallowsa (FM)
świadomość lub świadomość bukmacherska (BM)
zaznaczenie (MK) lub deltaP (Δp)

Źródła: Fawcett (2006), Piryonesi i El-Diraby (2020), Powers (2011), Ting (2011), CAWCR, D. Chicco i G. Jurman (2020, 2021) , Tharwat (2018).

W dziedzinie uczenia maszynowego i konkretnie problemu klasyfikacji statystycznej , w macierzy błędów , znany również jako matrycy o błędzie, to specyficzny układ tabeli, który umożliwia wizualizację wykonywania algorytmu, zazwyczaj nadzorowane nauki jednego (w Uczenie Nienadzorowane to jest zwykle nazywana macierzą dopasowania ). Każdy wiersz macierzy reprezentuje instancje w rzeczywistej klasie, podczas gdy każda kolumna reprezentuje instancje w przewidywanej klasie lub odwrotnie – oba warianty można znaleźć w literaturze. Nazwa wzięła się stąd, że łatwo jest zobaczyć, czy system nie myli dwóch klas (tj. często niewłaściwie oznacza jedną jako drugą).

Jest to specjalny rodzaj tabeli kontyngencji , z dwoma wymiarami („rzeczywistym” i „przewidywanym”) oraz identycznymi zestawami „klas” w obu wymiarach (każda kombinacja wymiaru i klasy jest zmienną w tabeli kontyngencji).

Przykład

Biorąc pod uwagę próbkę 12 zdjęć, 8 kotów i 4 psy, gdzie koty należą do klasy 1, a psy do klasy 0,

rzeczywista = [1,1,1,1,1,1,1,1,1,0,0,0,0],

Załóżmy, że wyszkolony jest klasyfikator, który rozróżnia koty i psy, a my robimy 12 zdjęć i przepuszczamy je przez klasyfikator. Klasyfikator dokonuje 9 trafnych prognoz i pudłuje 3: 2 koty błędnie zaklasyfikowane jako psy (pierwsze 2 prognozy) i 1 pies błędnie zaklasyfikowany jako kot (ostatnia prognoza).

przewidywanie = [0,0,1,1,1,1,1,1,1,0,0,0,1]

Dzięki tym dwóm zestawom oznaczonym etykietami (rzeczywiste i przewidywane) możemy utworzyć macierz pomyłek, która będzie podsumowywać wyniki testowania klasyfikatora:

Przewidywana
klasa
Rzeczywista klasa
Kot Pies
Kot 6 2
Pies 1 3

W tej macierzy pomyłek z 8 zdjęć kotów system ocenił, że 2 to psy, a na 4 zdjęcia psów przewidział, że 1 to koty. Wszystkie poprawne prognozy znajdują się na przekątnej tabeli (zaznaczone pogrubioną czcionką), więc łatwo jest wizualnie sprawdzić tabelę pod kątem błędów predykcji, ponieważ będą je reprezentować wartości spoza przekątnej.

Pod względem czułości i specyficzności macierz pomyłek przedstawia się następująco:

Przewidywana
klasa
Rzeczywista klasa
P N
P TP FN
N FP TN

Tabela zamieszania

Porównanie średniej dokładności i procentu wyników fałszywie ujemnych (przeszacowania) pięciu modeli klasyfikacji uczenia maszynowego (wieloklasowych). Modele #1, #2 i #4 mają bardzo podobną dokładność, ale różne poziomy fałszywie ujemnego lub przeszacowania.

W analiz predykcyjnych , A tabela zamieszania (czasami nazywane także matryca zamieszanie ) znajduje się tabela z dwóch wierszach i dwóch kolumnach, które raportuje liczbę fałszywych alarmów , fałszywie negatywnych , prawdziwie dodatnich i prawdziwie ujemnych . Pozwala to na bardziej szczegółową analizę niż tylko część poprawnych klasyfikacji (dokładność). Dokładność da mylące wyniki, jeśli zestaw danych jest niezrównoważony; to znaczy, gdy liczba obserwacji w różnych klasach znacznie się różni. Na przykład, jeśli w danych było 95 kotów i tylko 5 psów, określony klasyfikator może zaklasyfikować wszystkie obserwacje jako koty. Ogólna dokładność wynosiłaby 95%, ale bardziej szczegółowo klasyfikator miałby wskaźnik rozpoznawania 100% ( czułość ) dla klasy kotów, ale wskaźnik rozpoznawania 0% dla klasy psów. Wynik F1 jest jeszcze bardziej niewiarygodny w takich przypadkach i tutaj daje ponad 97,4%, podczas gdy świadomość usuwa takie uprzedzenia i daje 0 jako prawdopodobieństwo świadomej decyzji dla dowolnej formy zgadywania (tutaj zawsze zgadujący kot). Macierz pomyłek nie ogranicza się do klasyfikacji binarnej i może być również używana w klasyfikatorach wieloklasowych.

Według Davide Chicco i Giuseppe Jurmana najbardziej pouczającym wskaźnikiem do oceny macierzy pomyłek jest współczynnik korelacji Matthewsa (MCC) .

Zakładając powyższą macierz pomyłek, odpowiadająca jej tabela pomyłek dla klasy cat wyglądałaby następująco:

Przewidywana
klasa
Rzeczywista klasa
Kot Nie-kot
Kot 6 prawdziwych pozytywów 2 fałszywe negatywy negative
Nie-kot 1 fałszywy alarm 3 prawdziwe negatywy

Ostatnia tabela nieporozumień zawierałaby średnie wartości dla wszystkich klas łącznie.

Zdefiniujmy eksperyment z P pozytywnych przypadków i N negatywnych przypadków dla pewnego warunku. Cztery wyniki można sformułować w postaci macierzy pomyłek 2×2 w następujący sposób:

Przewidywany stan Źródła:
Całkowita populacja = P + N Przewidywany stan
pozytywny (PP)
Przewidywany stan
ujemny (PN)
Świadomość, świadomość bukmachera (BM) = TPR + TNR − 1 Próg chorobowości (PT) = TPR · FPR  − FPR/TPR − FPR
Stan rzeczywisty
Stan rzeczywisty
dodatni (P)
Prawdziwy pozytywny (TP) ,
hit
Fałszywie ujemny (FN) , błąd typu II , brak
, niedoszacowanie
Prawdziwie dodatni wskaźnik (TPR), przywołanie , czułość (SEN), prawdopodobieństwo wykrycia, wskaźnik trafień, moc =TP/P = 1 − FNR Współczynnik fałszywie ujemnych (FNR), współczynnik chybień =FN/P = 1 − TPR
Stan rzeczywisty
ujemny (N)
Fałszywie dodatni (FP) , błąd typu I ,
fałszywy alarm, przeszacowanie
Prawdziwie ujemna (TN) ,
prawidłowe odrzucenie
Odsetek fałszywie dodatnich (FPR), prawdopodobieństwo fałszywego alarmu, wypadanie =FP/N = 1 − TNR Prawdziwie ujemna stopa (TNR), swoistość (SPC), selektywność =TN/N = 1 − FPR
Występowanie =P/P + N Dodatnia wartość predykcyjna (PPV), precyzja =TP/PP = 1 − FDR Wskaźnik fałszywych pominięć (FOR) =FN/PN = 1 − NPV Dodatni współczynnik wiarygodności (LR+) =TPR/FPR Ujemny współczynnik wiarygodności (LR−) =FNR/TNR
Dokładność (ACC) =TP + TN/P + N Wskaźnik fałszywych odkryć (FDR) =FP/PP = 1 − PPV Ujemna wartość predykcyjna (NPV) =TN/PN = 1 − FOR Oznakowanie (MK), deltaP (Δp) = PPV + NPV − 1 Iloraz szans diagnostycznych (DOR) =LR+/LR−
Zrównoważona dokładność (BA) =TPR + TNR/2 Wynik F 1 =2 · PPV · TPR/PPV + TPR = 2TP/2TP + PR + FN Wskaźnik Fowlkesa-Mallowsa (FM) = PPV·TPR Współczynnik korelacji Matthewsa (MCC) =
TPR·TNR·PPV·NPVFNR·FPR·FOR·FDR
Ocena zagrożenia (TS), krytyczny wskaźnik sukcesu (CSI) =TP/TP + FN + FP

Macierze pomyłek z więcej niż dwiema kategoriami

Omówione powyżej macierze pomyłek mają tylko dwa warunki: dodatni i ujemny. W niektórych polach macierze pomyłek mogą mieć więcej kategorii. Na przykład poniższa tabela podsumowuje komunikację gwizdanego języka między dwoma mówcami, dla jasności pominięto wartości zerowe.

Postrzegana
samogłoska

Wyprodukowano samogłoskę
ja mi za o ty
ja 15 1
mi 1 1
za 79 5
o 4 15 3
ty 2 2

Zobacz też

Bibliografia