神经网络优化主要为通过反向传播算法训练网络参数，在反向传播中，通过优化损失函数，学习率，使用滑动平均，正则化等方法优化网络参数，使神经网络的预测更加准确。

反向传播算法是训练模型的核心算法，他可以根据定义好的损失函数优化神经网络中的参数取值，本篇在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小。

前向传播就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入给出相应的输出。

神经网络(Neural Network,NN)，源于对生物脑神经元结构的研究。神经网络是一种运算模型，由大量节点(神经元)相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。

TensorFlow是谷歌研发的第二代人工智能学习系统，具有快速、灵活、开源、适合大规模应用等特点，深得全球众多开发者的喜爱，是机器学习和深度学习的必备框架。

无论是数据分析，还是机器学习，Python总是绕不开的重要语言，这里是自己整理的一些Python基础知识。推荐大家使用Python3。

无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。