Для двоичной классификации TP — найденные положительные объекты, FP — ложные тревоги, FN — пропущенные положительные, TN — верно отвергнутые. Precision = TP/(TP+FP): какая доля срабатываний верна. Recall = TP/(TP+FN): какая доля нужных объектов найдена. F1 — гармоническое среднее precision и recall; она не описывает все возможные стоимости ошибок.
Accuracy — доля правильных ответов. Для нескольких классов macro-F1 считает F1 каждого класса отдельно и усредняет с равными весами. Weighted-F1 взвешивает по числу истинных объектов классов. При дисбалансе эти оценки отвечают на разные вопросы. В отчёте сохраняйте не только одно число, но и confusion matrix, число объектов и правило усреднения.
Вероятности превращаются в решения по правилу выбора класса или порога. Меняя порог, можно увеличить recall ценой precision. Порог подбирайте на validation, не на финальном test. ROC-AUC и PR-AUC используют оценки уверенности; передача вместо них готовых классов теряет информацию. Укажите, какая именно метрика и способ усреднения используются.
MAE — средняя абсолютная ошибка в единицах цели. RMSE — корень из средней квадратичной ошибки; сильнее реагирует на большие промахи. Уточните цену выбросов и сравните с постоянным baseline. Масштаб цели влияет на численные значения: MAE 10 нельзя оценить без знания единиц.
Посмотрите на конкретные неверные объекты, классы и доступные признаки. Проверьте, не отражает ли провал ошибку разметки или недоступный признак. Не меняйте test на удобные случаи. Для маленьких выборок указывайте размер и не считайте разницу в тысячную долю доказательством превосходства.
