梯度下降（Gradien Descent），严格来说不是一个机器学习算法，是一种基于搜索的最优方法，目的是最小化一个损失函数，找到最低点。

  很久没更博客了，说说最近吧。

衡量线性回归算法好坏的指标主要有MSE，RMSE，MAE及R Squared。

多元线性回归指的是有多个样本特征，影响结果，例如影响房屋价格的因素，有位置，面积，人口密度等。

线性回归算法(Liner Regression)，线性回归与上一节的KNN不同，KNN主要解决分类问题，而LR主要解决回归问题。本篇介绍简单回归算法（SimpleLinearRegression）。

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合及其他一些优化问题。

KNN算法全称K-Nearest Neighbors，是一个适合入门机器学习的算法，KNN思想简单，数学知识少，拥有机器学习完整的流程，易于理解。

正则化是在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小过拟合。

滑动平均:记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均值可以增强模型的泛化能力。

学习率learning_rate:表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最小值附近波动，不收敛;学习率过小，会导致待优化的参数收敛缓慢。