Вектор, веса и предсказание
Объект с d признаками представим вектором x. Линейная модель вычисляет сумму произведений признаков на веса и добавляет смещение: prediction = x₁w₁ + ... + x_dw_d + b. Для n объектов матрица X имеет форму (n, d), вектор w — (d,), а X @ w даёт n предсказаний. Оператор * для массивов NumPy означает поэлементное умножение, @ — матричное произведение.Масштаб признака влияет на численное значение веса. Поэтому по величине коэффициента без учёта единиц нельзя автоматически судить о важности. Стандартизация вычитает среднее и делит на стандартное отклонение, вычисленные на train. Для постоянного признака нужна определённая обработка нулевого разброса, которую обеспечивает StandardScaler.
Ошибка и оптимизация
В регрессии MSE — среднее квадратов разностей предсказания и ответа. Квадрат усиливает влияние больших ошибок. Для одного веса производная MSE показывает, как меняется потеря при его небольшом увеличении. Шаг градиентного спуска: новое значение = старое − learning_rate × градиент. Слишком большой шаг может увеличивать потерю, слишком маленький замедляет обучение.Для X из n строк градиент по w равен (2/n) Xᵀ(Xw + b − y). Размерность результата d; это полезная проверка формулы. Производную можно сверить конечными разностями на маленьком примере, но такая численная проверка не заменяет устойчивый оптимизатор для большого обучения.
Вероятность и неопределённость
В классификации модель может выдавать распределение вероятностей по классам. Сумма равна единице, но уверенность не гарантирует правильность и не означает автоматически хорошую калибровку. Для оценки нужна выборка ответов. Среднее значение метрики на маленьком test имеет неопределённость: несколько наблюдений способны заметно его изменить.Следующий пример использует маленькие числа только для проверки матричной арифметики; обучающая лаборатория использует реальные данные Wine.