一、坐标下降法基础定义与本质

坐标下降法是用于无约束优化问题的迭代算法，核心思想是 “分而治之”：将多变量优化问题拆解为多个单变量（或低维变量组）的优化问题，每次仅对一个变量（或一组变量）优化，其余变量固定，通过循环迭代逐步逼近最优解。

“坐标” 含义：指优化变量空间的坐标轴，即每次选择一个坐标轴方向（对应一个变量）进行更新。核心逻辑：每轮迭代中，固定除目标变量外的所有变量，仅对目标变量求解一维最优值，重复至满足收敛条件。二、工作原理与迭代步骤1. 核心参数设定初始点：随机选择初始解 （n 为变量个数）；收敛阈值：设定极小值 （如 ），用于判断迭代是否停止；更新顺序：固定顺序（如按变量索引 1→n）或随机顺序（通常更优，可减少耦合影响）。2. 完整迭代流程初始化：确定初始点 与收敛阈值 ；循环迭代（第 k 轮）：按设定顺序遍历每个变量 ；固定其他变量（前 个变量用本轮更新值 ，后 n-i 个变量用上次迭代值 ）；求解单变量优化问题：；遍历所有变量后，得到本轮迭代解 ；收敛判断：若变量差异满足 ，或目标函数值差异满足 ，停止迭代，输出 为近似最优解；否则进入下一轮迭代。三、具体案例演算（二维凸函数）1. 案例背景

选择目标函数（凸函数，存在唯一全局最优解）：

理论最优解：通过偏导为 0 求解，得 ，最优值 ；迭代参数：初始点 ，收敛阈值 ，更新顺序（先 x 后 y）。2. 关键迭代过程（前 7 轮核心结果）

迭代轮次

目标函数值

与前一轮差值

（

）

0

0

0

0

-

1

2

0.5

-4.5

2.0, 0.5

2

1.5

0.75

-4.875

0.5, 0.25

3

1.25

0.875

-4.96875

0.25, 0.125

4

1.125

0.9375

-4.984375

0.125, 0.0625

5

1.0625

0.96875

-4.9921875

0.0625, 0.03125

6

1.03125

0.984375

-4.99609375

0.03125, 0.015625

7

1.015625

0.9921875

-4.998046875

0.015625, 0.0078125

3. 收敛验证第 8 轮迭代：（与 差 ），（与 差 ）；最终近似解：，接近理论最优解 (1,1)，目标函数值 （接近 - 5）。四、核心特性：优缺点分析1. 优点计算简单：单变量优化易求解（如求导找极值、简单搜索），无需复杂多变量梯度计算；内存友好：仅需保存当前变量值，无需存储梯度矩阵，适合大规模数据（如百万级特征）；实现门槛低：逻辑直观，代码编写难度低于梯度下降法（SGD、Adam 等）。2. 缺点收敛速度慢：需遍历所有变量完成一轮迭代，变量相关性强时，单变量更新 “贡献” 有限，需更多轮次；易陷局部最优：仅沿坐标轴搜索，无法跨方向探索，非凸函数下可能停留在局部最优；顺序影响效率：更新顺序（固定 / 随机）影响收敛速度，随机顺序通常更优，但需额外设计策略。五、典型应用场景L1 正则化问题（Lasso）：目标函数含 L1 范数，最优解具稀疏性，坐标下降法可针对性优化单变量，高效找到稀疏解，是 Lasso 主流求解算法；大规模机器学习：特征维度极高（如文本词袋特征、推荐系统用户 / 物品特征）时，梯度下降法梯度计算成本高，坐标下降法低内存优势凸显；梯度难计算场景：目标函数梯度表达式复杂（或不可导），单变量优化无需全局梯度，仅需一维搜索，更易实现。六、与梯度下降法（BGD）的核心对比

对比维度

坐标下降法

梯度下降法（BGD）

搜索方向

仅沿坐标轴方向（每次 1 个方向）

沿负梯度方向（多变量联合方向）

迭代单位

单个变量更新一次

所有变量同时更新一次

梯度依赖

无需全局梯度（仅单变量导数）

必须计算全局梯度

收敛速度

慢（需多轮遍历变量）

较快（单轮更新所有变量）

适用场景

大规模数据、稀疏优化（Lasso）

中小规模数据、非稀疏优化

七、坐标下降法适用条件1. 核心适用条件目标函数有下界：存在常数 m，使对所有 x 有 ，避免迭代中函数值无限下降；单变量子问题易求解：固定其他变量后，单变量函数存在最优解，且可通过显式公式、求导或低复杂度一维搜索获得；函数满足收敛性条件：凸函数场景：连续凸函数可保证迭代收敛到全局最优；非凸函数场景：需保证单变量优化使函数值严格下降，且函数局部连续（如 Lipschitz 连续），收敛到局部最优。2. 函数拆解与适用性判断

若原函数可拆解为 （ 为凸函数，为单变量函数），则：

优势：单变量子问题为 “凸函数部分（固定其他变量后仍凸）+ 单变量函数”，易求解；且 与 若均有下界，原函数必有下界，保证收敛；注意：需避免 无下界，或 变量耦合极强（如 可能导致迭代循环），可通过随机更新顺序缓解。