Принимается сильное (и во многих случаях нереальное) предположение, что целевая переменная у является линейной комбинацией признаков.
Линейная регрессия, базирующаяся на методе наименьших квадратов (ordinary least squares, OLS), является самым простым и наиболее традиционным методом регрессии.
Линейная регрессия находит параметры w и b, которые минимизируют среднеквадратическую ошибку (mean squared error) между спрогнозированными и фактическими ответами у в обучающем наборе. Среднеквадратичная ошибка равна сумме квадратов разностей между спрогнозированными и фактическими значениями.
Для одномерного массива данных опасность переобучения невелика, поскольку такая модель очень простая. Однако для высокоразмерных наборов данных (наборов данных с большим количеством признаков) линейные модели становятся более сложными и существует более высокая вероятность переобучения.
Для реализации линейной модели может использоваться библиотека языка Python:
Пример применения линейной модели на языке Python в файле: