优化器是什么？为什么需要它？

简单来说，优化器是引导神经网络参数（权重和偏置）更新的算法。它的核心任务是最小化损失函数。优化器的选择直接影响着模型训练的速度和最终性能。

优化器的核心思想：梯度下降

所有优化器都基于同一个基础算法：梯度下降。

梯度： 损失函数关于每个参数的导数的向量。它指明了函数值增长最快的方向。

核心步骤：

前向传播： 输入数据，计算预测值和损失。反向传播： 计算损失函数关于所有参数的梯度。参数更新： 沿着梯度的反方向（因为我们要最小化损失）更新参数。

参数更新公式为：W_new = W_old - learning_rate * gradient

这里的 学习率 是优化器中最重要的超参数，它控制了每次参数更新的步长。

主要优化器家族及其演进

优化器的发展可以看作是对基础梯度下降的不断改进，主要解决了以下几个问题：

标准梯度下降的问题： 计算整个数据集的梯度再更新，速度慢，无法处理大数据集。学习率难以选择： 固定学习率可能在山谷两侧震荡，或在山谷平坦处停滞不前。局部最优点和鞍点： 梯度为零的点可能是局部最低点（不好的解）或鞍点（平坦区域），导致训练停滞。