Зачем нужна простая модель
Значение метрики имеет смысл в сравнении. Для классификации первый baseline может всегда предсказывать самый частый класс train. Это настоящее правило с измеряемым качеством, а не подстановка желаемой цифры. Для регрессии начните с постоянного среднего или медианы train в зависимости от выбранной потери.Если положительный класс встречается редко, предсказание только отрицательного может дать высокую accuracy, не находя ни одного нужного случая. Поэтому уже до сложных алгоритмов выберите метрику, которая отражает стоимость ошибок. В Wine сравниваем macro-F1 и accuracy: три класса рассматриваются отдельно, а затем F1 усредняется с равным весом.
Одинаковая процедура
Baseline и основная модель должны обучаться на одном train и оцениваться на одном holdout. Иначе разность оценок может быть следствием разных наблюдений. Запишите правило baseline в отчёте. Не меняйте его после просмотра test, чтобы сделать сравнение красивее.В scikit-learn DummyClassifier реализует такие простые стратегии. Название класса не означает искусственные данные: он обучается на реальных метках train и выдаёт предсказания по заданному правилу. В лаборатории strategy="most_frequent" всегда выбирает наиболее частый класс train.
Критерий перехода
Превосходство над baseline необходимо, но недостаточно для полезной системы. Нужны анализ ошибок по классам, устойчивость процедуры и подходящие требования продукта. Маленькое улучшение на 36 объектах может быть нестабильным. Не обещайте перенос на другое распределение.После запуска примера проверьте, что счётчик различных предсказанных классов равен одному. Затем самостоятельно сравните accuracy и macro-F1 с отчётом полноценной модели.