İçindekiler

• 1  Tahmin Hatası (Prediction Error)
• 2  Doğruluk (Accuracy)
• 3  Doğru/Sahte Pozitif Oranı
• 4  Hassasiyet (Precision) / Anma (Recall)
• 5  F1-SCORE
• 6  Özgünlük (Specificity)

SINIFLANDIRICI METRİKLERİ: "CONFUSION" MATRİS VE DİĞERLERİ

"Confusion Matrix" kafanızı mı karıştırıyor? Artık bu derdinize son veriyoruz!
Bu yazımızda bir sınıflandırıcıyı ayrıntılı bir şekilde değerlendirebilmek amacıyla kullanılan "confusion matrix"i ve bundan türetilen metrikleri inceliyoruz.

Aşağıda bir "confusion matrix" örneği bulunmakta. Bu matris ikili bir sınıflandırma problemine ait. Sınıflardan birine pozitif diğerine ise negatif diyelim. 4 adet hücreden oluşan bu matrisin her bir hücresinin özel isimleri bulunmaktadır.

Yukarıda sadece iki sınıfı için verdiğimiz bu matris birden fazla sınıflı problemler için de oluşturulabilir.

Bu matristeki tanımlamaları baz alarak hesaplanan metrikleri aşağıda özetlemeye çalıştım.

Tahmin Hatası (Prediction Error)

Adından anlaşılabileceği gibi tahminde yaptığımız hatayı bu metriği kullanarak ölçüyoruz. Bu metriği hesaplamak için aşağıdaki formül kullanılmaktadır.

\begin{equation*} Tahmin\;hatası=\frac{FP+FN}{FP+FN+TP+TN} \end{equation*}

Dikkat ettiyseniz matristeki tüm elemanların toplamı paydada, yanlış tahminlerin toplamı da pay kısmında yer almaktadır.

Doğruluk (Accuracy)

Tahmin hatasını 1'den çıkardığımız zaman kesinlik metriğini elde ederiz. Bu metrik de sınıflandırıcımızın ne kadar hassas iş çıkardığını bize göstermektedir.

\begin{equation*} Doğruluk=\frac{TP+TN}{FP+FN+TP+TN} \end{equation*}

Doğru/Sahte Pozitif Oranı

Özellikle dengesiz bir sınıflandırma problemi ile uğraşıyorsak bu metriklerden faydalanabiliriz.

\begin{equation*} Sahte\;Pozitif\;Oranı=\frac{FP}{FP+TN} \end{equation*}\begin{equation*} Doğru\;Pozitif\;Oranı=\frac{TP}{TP+FN} \end{equation*}

Hassasiyet (Precision) / Anma (Recall)

Sıklıkla kullanılan bu iki önemli metrik için tanımlamalar şöyledir.

\begin{equation*} Precision =\frac{TP}{TP+FP} \end{equation*}\begin{equation*} Recall=\frac{TP}{TP+FN} \end{equation*}

Not: "Recall" ile "True Positive Rate" aynı tanımlamaya sahiptir.

Precision: "Tahmin ettiğim örnekler içerisinde gerçekten kaç tanesi doğru?"sorusuna cevap olarak verilir.
Recall: "Poziitf sınıfa ait örneklerden kaç tanesini doğru tahmin ettim?" sorusuna cevap olarak verilir.

F1-SCORE

Matematikteki harmonic ortalama konseptini "Precision" ve "Recall" metriklerine uyguladığımızda F1 score değerini elde ederiz. Bu değerin avantajı iki sayı yerine tek bir sayıyı değerlendirmemize olanak sağlamasıdır

\begin{equation*} F1=2\frac{Precision \times Recall}{Precision+Recall} \end{equation*}

Özgünlük (Specificity)

Bu metriği yanlış pozitif oranı olarak düşünebiliriz.

\begin{equation*} Özgünlük=\frac{TN}{TN+FP} \end{equation*}