Проблеми с AUC (ROC), Анализ на малки данни
Квазинаучен блог на Александър Дяконов
Има много читатели на блогове, които преподават само машинно обучение и често ме питат за различни задачи и упражнения, така че започвам заглавието на задачата.
Като начало, две упражнения, които наскоро обсъдихме с майсторите на VMK MSU.
Задача 1. Разглежда се проблемът за класифицирането в два класа. На фиг. 1 показва обекти в пространството за реакция на два алгоритма (реални отговори - преди бинаризацията на прага). Изчислете AUC (ROC) за алгоритми.
Проблем 2. Какви стойности на F1-мярката може да има класификатор при проблем с два несвързани класа (положителен и отрицателен) и три обекта?
Вижте решението под разреза ... но първо опитайте сами, ако се интересувате.
Решение 1.
1.1. Първо, разгледайте проекциите на осите (т.е. отговорите на първия и втория алгоритъм), вижте фиг. 1.2.
