多元线性回归

多元线性回归指的是有多个样本特征,影响结果,例如影响房屋价格的因素,有位置,面积,人口密度等。

简单线性回归存在一维空间中,特征只有一个,多元线性回归中,有多个维度的多个特征,共同影响结果。
avatar
多元线性回归的目的和简单线性回归相同:
avatar
多元线性回归中,将特征转提取置为列向量,构造一个X恒等于1,X是一个矩阵,每一行代表一个样本,每一列代表一个特征,X(i)代表在X矩阵中抽出一行,本身是一个行向量:
avatar
avatar
最下的公式中,前半部分行转置为列,1m的行向量,后半部分m1的列向量:
avatar
最小二乘法,对𝜃中每一个变量求使其为0,在矩阵中进行,导出结果,得出𝜃:
avatar
不需要对数据归一化处理,运算过程中没有量纲的问题。KNN算法前对数据进行归一化处理,多元线性处理没必要。
PS:数据归一化,一般是把数据变为(0,1)的小数,方便数据处理和运算。