线性回归

线性回归（Linear Regression）是统计分析、机器学习中最基础也是最重要的算法之一，利用线性函数对一个或多个自变量和因变量（y）之间的关系进行拟合模型，用来做预测。 根据自变量（样本特征）个数分为一元和多元线性回归： $$ Y=a + bx $$ $$ Y = a+ b1X1 + b2X2 + b3X3 + ... + bkXk $$ ## 开胃小菜 **什么是线性？** 首先看看线性函数的定义：一阶或零阶多项式。特征是一维时，线性模型在二维空间构成一条直线；特征是二维时，线性模型在三维空间中构成一个平面；特征是三维时，则最终模型在四维空间中构成一个体；以此类推… **线性回归具体什么时候使用呢？** 1. 回归问题，因变量是连续值 2. 自变量和因变量存在线性关系 其实，这里我们可以大概将线性回归概括为：在N维空间中找到一个线性函数（一条直线，一个平面...）来拟合数据。 看图更直观一些：   线性回归的目标就是找到图中的直线或平面来拟合图中的点，再结合上述回归方程可以得到：线性回归的目标就是找到回归参数a和b。 **怎样找到，且找到最优值呢？** 在一个二维空间找到一条直线是简单的，但是怎样找到一条最佳拟合直线是一个值得思索的问题。不妨换一种思路：预测值和真实值之间肯定是存在误差的，那么要是能将误差的最小值找到，就可以使得预测值和真实值无限接近，此时便是最优值。 因此，线性回归可以转换为最小化预测值和真实值误差的问题。 **怎样最小化误差呢？** 常见的有最小二乘法和梯度下降法。 ## 实现 机器学习相关的框架和库基本都有实现线性回归的方法，今天介绍用sklearn一个经典实例，预测房价： ```python from sklearn import datasets from sklearn.metrics import mean_squared_error from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split import matplotlib as mpl mpl.use("TkAgg") import matplotlib.pyplot as plt boston = datasets.load_boston() X = boston.data y = boston.target x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=1/5., random_state=8) lr = LinearRegression() lr.fit(x_train, y_train) y_pred = lr.predict(x_test) plt.title("linear_regression ") plt.plot(y_test, color='green', marker='o', label='test') plt.plot(y_pred, color='red', marker='+', label='predict') plt.legend() plt.show() # 用均方误差评估预测结果 mse = mean_squared_error(y_test, y_pred) print("MSE：" + repr(mse)) ``` 数据集包含了波士顿房屋以及周边环境的一些详细信息，label字段为房屋价格，数据集已经集成到scikit-learn中，可以直接加载数据，通过房屋及其相关的特征使用线性回归预测房屋价格，最后使用均方误差对预测结果进行评估。 ## 总结 线性回归很简单，但是不能拟合非线性数据，并且在实际项目中一般不会单独使用线性回归。 但是，它确是很多强大的非线性模型的基础，蕴含了机器学习中很多重要的思想，还是很值得学习的。 感兴趣的朋友可以对线性回归进行推导。 以上。