Аккуратность (Accuracy) - это одна из метрик для оценки моделей классификации. Неформально, аккуратность - это порция прогнозов, которые модель сделала правильно. Формально, аккуратность имеет следующее определение:
Аккуратность = Количество правильных прогнозов / Общее количество прогнозов
Для бинарной классификации аккуратность может быть также рассчитана в терминах позитивных и негативных результатов следующим образом:
Accuracy = (TP + TN) / (TP + TN + FP + FN)
Где TP = Истинно позитиный, TN = Истинно негативный, FP = Ложно позитивный, and FN = Ложно негативный.
Попробуем рассчитать аккуратность для следующей модели, которая классифицирует 100 опухолей как злокачественные (позитивный класс) или доброкачественные (негативный класс):
- Истинно положительный (True Positive (TP))
- Реальность: злокачественная
- Модель спрогнозировала: злокачественная
- Количество истинно положительных результатов: 1
- Ложно положительный (False Positive (FP))
- Реальность: доброкачественная
- Модель спрогнозировала: злокачественная
- Количество ложно положительных результатов: 1
- Ложно отрицательный (False Negative (FN))
- Реальность: злокачественная
- Модель спрогнозировала: доброкачественная
- Количество ложно отрицательных результатов: 8
- Истинно отрицательный (True Negative (TN))
- Реальность: доброкачественная
- Модель спрогнозировала: доброкачественная
- Количество истинно отрицательных результатов: 90
Accuracy = (TP + TN) / (TP + TN + FP + FN) = (1 + 90) / (1 + 90 + 1 + 8) = 0.91
Аккуратность оказалась 0.91, или 91% (91 правильный прогноз из 100 примеров). Это означает, что классификатор опухолей выполняет прекрасную работу по определению злокачественности, верно?
Из 100 примеров опухолей, 91 доброкачественная (90 TNs и 1 FP) и 9 злокачественных (1 TP и 8 FN).
Из 91 доброкачественных опухолей модель правильно определила 90 как доброкачественные. Это хорошо. Однако, из 9 злокачественных опухолей модель правильно определила только одну как злокачественную - ужасный результат, 8 из 9 опухолей неверно диагностированы.
Хотя 91% аккуратность может показаться хорошей на первый взгляд, другая модель классификации, которая всегда прогнозирует доброкачественную опухоль, будет иметь ту же самую аккуратность (91/100 правильных прогнозов) на наших примерах. Другими словами, наша модель ничем не лучше, чем та, что имеет нулевую способность прогнозирования в различии злокачественных опухолей от доброкачественных.
Аккуратность сама по себе не отражает всей правды, когда вы работаете с класс-несбалансированным набором данных, как тот, что мы рассмотрели, где присутствует выраженное несоответствие между количеством позитивных и негативных меток.
В следующем посте мы рассмотрим две более успешные метрики для оценки класс-несбалансированных проблем: точность и отзыв.