梯度下降是机器学习与深度学习中核心的参数优化算法，核心逻辑是“沿损失函数梯度的反方向迭代调整参数，逐步最小化损失值”。它就像人下山找最低点：把损失函数比作山地，参数是位置，梯度是坡度方向，沿坡度最陡的反方向（下坡）一步步走，最终抵达最低点（最小损失），是模型能通过数据学习到最优参数的关键驱动力。

其核心特点是“梯度导向”“迭代优化”“全局/局部最优适配”：以损失函数的梯度为调整依据，确保每一步参数更新都朝着降低损失的方向；通过多轮迭代逐步逼近最优参数，而非一次性计算最优解；在凸函数场景下可找到全局最优，非凸函数场景（如神经网络）可能找到局部最优，但已能满足多数任务需求，区别于暴力搜索等低效优化方式。

核心原理分三步迭代：一是初始化参数，随机设定模型的初始参数值（如线性回归的系数、神经网络的权重）；二是计算梯度，通过损失函数（如均方误差、交叉熵）求解参数的梯度，明确参数调整的方向和幅度；三是更新参数，按“参数 = 参数 - 学习率×梯度”公式调整，学习率控制步长（步长过大会震荡，过小则收敛慢），重复迭代直至损失值稳定或达到预设次数。

应用场景覆盖绝大多数机器学习任务：线性回归、逻辑回归等基础模型的参数求解；神经网络（含深度学习大模型）的训练，是反向传播中权重更新的核心算法；决策树、支持向量机等模型的优化环节；实际业务如房价预测、图像识别、推荐系统等，凡需通过调整参数最小化误差的场景，均依赖梯度下降实现模型优化。

局限主要集中在优化效率与最优解适配：非凸函数场景易陷入局部最优，无法找到全局最优参数；学习率需人工调试，无统一标准，适配难度大；对特征尺度敏感，需提前标准化处理数据，否则会影响梯度计算精度；传统批量梯度下降在大规模数据场景下计算量大，收敛慢，需优化为随机梯度下降等变体。

总体而言，梯度下降是机器学习的“优化引擎”，以简洁的迭代逻辑实现参数的自动优化，支撑了各类模型的学习能力。尽管存在局部最优、学习率适配等问题，但通过动量法、自适应学习率（如Adam）等变体可有效缓解，至今仍是机器学习与深度学习领域不可或缺的核心算法。