梯度下降

梯度下降并不是一个很复杂的数学工具，其历史已经有200多年了，但是人们可能不曾料到，这样一个相对简单的数学工具会成为诸多机器学习算法的基础，而且还配合着神经网络点燃了深度学习革命。

我们在训练网络的时候经常会设置 batch_size，这个 batch_size 究竟是做什么用的，一万张图的数据集，应该设置为多大呢，设置为 1、10、100 或者是 10000 究竟有什么区别呢?

所谓梯度下降法，就是一种寻找目标函数最小化的方法，它利用梯度信息，经过不断迭代调整参数来寻找合适的目标值。