Confusion matrix (матрица ошибок)
accuracy — доля правильных ответов алгоритма:
accuracy = (TP + TN) / (TP + TN + FP + FN)
Эта метрика бесполезна в задачах с неравными классами.
Для оценки качества работы алгоритма на каждом из классов по отдельности введятся метрики precision (точность) и recall (полнота).
precision = TP / (TP + FP)
recall = TP / (TP + FN)
Precision можно интерпретировать как долю объектов, названных классификатором положительными и при этом действительно являющимися положительными, а recall показывает, какую долю объектов положительного класса из всех объектов положительного класса нашел алгоритм.
Ошибки классификации бывают двух видов: False Positive и False Negative. В статистике первый вид ошибок называют ошибкой I-го рода, а второй — ошибкой II-го рода.
Существует несколько различных способов объединить precision и recall в агрегированный критерий качества. F-мера — среднее гармоническое precision и recall