В этом посте мы определим основные строительные блоки метрик, которые будем использовать для оценки моделей классификации. Но сперва, небольшая басня:
Эзопова басня: мальчик, который кричал "Волк!" (сжатая)
Мальчику-пастуху наскучило пасти сельское стадо. Чтобы немного развлечься, он закричал: "Волк!", - хотя никакого волка поблизости не было. Сельчане побежали защищать стадо, и сильно разозлились, когда поняли, что мальчик играет с ними, и это была шутка.
[Итерировать предыдущий параграф N раз.]
Одной ночью мальчик-пастух увидел, что настоящий волк приближается к стаду и закричал: "Волк!" Сельчане не хотели быть обманутыми снова и остались в своих домах. Голодный волк уничтожил все стадо. В селе начался голод, поднялась паника.
Определим следующие термины:
- "Волк" - позитивный класс
- "Нет волка" - негативный класс
Мы можем подвести итог по нашей модели "прогнозирование волка", используя матрицу 2x2, которая изображает все 4 возможных исхода:
- Истинное положительный (True Positive (TP))
- Реальность: угрожает волк
- Пастух говорит: "Волк"
- Результат: пастух - герой
- Ложно положительный (False Positive (FP))
- Реальность: волка нет
- Пастух говорит: "Волк"
- Результат: сельчане злы, что пастух разбудил их напрасно
- Ложно отрицательный (False Negative (FN))
- Реальность: угрожает волк
- Пастух говорит: "Волка нет"
- Результат: волк съедает всех овец
- Истинно отрицательный (True Negative (TN))
- Реальность: волка нет
- Пастух говорит: "Волка нет"
- Результат: все в порядке
Истинно положительный - вывод, где модель правильно прогнозирует положительный класс. Аналогично, истинно отрицательный - вывод, где модель правильно прогнозирует отрицательный класс.
Ложно положительный - вывод, где модель неправильно прогнозирует положительный класс. Аналогично, ложно отрицательный - вывод, где модель неправильно прогнозирует отрицательный класс.
В следующих постах мы рассмотрим как оценивать модели классификации, используя метрики, полученные из этих четырех выводов.