贝叶斯定理是18世纪英国数学家托马斯·贝叶斯提出得重要概率论理论，在机器学习中应用十分广泛。
我们从一个故事开始吧。
有一个场景：
1.数学家开着车，行驶在笔直的大道上，快速向下一个路口驶去。数学家知道，下一个路口就要右转。
2.事情很简单，在驾驶室内，看到下一个路口，向右打方向盘就好了。
3.突然挡风玻璃碎了，无法看清前面的路，那何时右转呢？
4.开车的数学家纸上及时上线，估计在这条路上，5%是十字路口，剩余的95是直道。也就意味着，随意右转，95%是错误的。
5.数学家后视镜看去，发现后面有一辆车打右转向灯，他意识到在十字路口，25%的车会打右转向灯，剩下的直行，左转，或者不打左转向灯。
数学家意识到，此时如果右转，错误的概率比之前小很多。
这种思考方式，就是贝叶斯理论所阐述的思考方法。
结合开车来理解贝叶斯公式
贝叶斯公式为：
把刚才的开车符号化：
A：十字路口
B：打右转向灯
A|B：打右转向灯的时候在十字路口
B|A：在十字路口的时候打右转向灯
如果我们知道，在整个车辆行驶过程中，会有2%的概率打右转弯灯，即P(B)=2% ，我们就可以计算P(A|B)了。
因此贝叶斯公式实际上阐述了这么一个事情：
新信息出现后的A概率=A概率x信息带来的调整
后验概率＝先验概率 ｘ 调整因子
再通过韦恩图来理解一下这个事情：
一个点已经落入B，那么落入A的概率就大增。
推导
我们可以从条件概率的定义推导出贝叶斯定理。
根据条件概率的定义，在事件 B 发生的条件下事件 A 发生的概率为：
同样地，在事件 A 发生的条件下事件 B 发生的概率为：
结合这两个方程式，我们可以得到：
这个引理有时称作概率乘法规则。上式两边同除以 P(A)，若P(A)是非零，我们可以得到贝叶斯定理:
解释
贝叶斯公式的用途在于通过己知三个概率来推测第四个概率。它的内容是：在 B 出现的前提下，A 出现的概率等于 A 出现的前提下 B 出现的概率乘以 A 出现的概率再除以 B 出现的概率。通过联系 A 与 B，计算从一个事件发生的情况下另一事件发生的概率，即从结果上溯到源头（也即逆向概率）。