为网站网站做推广,网站项目管理系统,可以做贺卡的网站,手机网站开发 宽度最小二乘分为线性最小二乘和非线性最小二乘
最小二乘目标函数都是min ||f(x)||2
若f(x) ax b#xff0c;就是线性最小二乘#xff1b;若f(x) ax2 b / ax2 bx 之类的#xff0c;就是非线性最小二乘#xff1b;
1. 求解线性最小二乘
【参考】 2. 求解非线性最小二乘…最小二乘分为线性最小二乘和非线性最小二乘
最小二乘目标函数都是min ||f(x)||2
若f(x) ax b就是线性最小二乘若f(x) ax2 b / ax2 bx 之类的就是非线性最小二乘
1. 求解线性最小二乘
【参考】 2. 求解非线性最小二乘
需要用到牛顿法高斯牛顿法或者LM法 目标函数都是min F(x) min ||f(x)||2 求解的时候需要求解的是f(x)的最小值其实求解的就是f(x)0的地方
(1) 牛顿法/高斯梯度下降
牛顿法是将f(x)进行二阶泰勒展开 f(x)f(xk)f’(xk)(x-xk)1/2 f’‘(xk)(x-xk)2 因为求解的其实是上式的最小值也就是求解上式导数为0的值 核心迭代等式xk1 xk - f’(xk)/f’(xk) 其中一阶导f’(xk)可以看成雅可比矩阵J二阶导f’(xk)可以看成海森矩阵H
算法 给定初值x0对于第k次迭代求出一阶导f’(xk)和二阶导f’(xk)如果f’(xk)足够小则停止否则xk1xk - f’(xk)/f’(xk)返回2 (2) 高斯牛顿法
这里的f(x)代表的是目标函数F(x) 是将f(x)进行一阶泰勒展开f(xdx) f(x) J*dx 取得最小值的条件也就是 f(x) J * dx这个式子对dx的导数为0 可以求解得到 JTJ * dx - J * f(x) 可以简化为 H dx g 刚好利用JTJ代替H减少H计算量
算法 求解等式为 JTJ * dx - J * f(x)即增量方程这里的dx也就是每次需要寻找的变化量 给定初值x0对于第k次迭代求出雅可比J(xk) 和f(xk)将以上两值代入利用方程H dx g求解dx如果dx足够小则停止否则xk1xkdx返回2 (3) LM法
高斯牛顿本质求解的是xk1 xk - H-1 * J(xk) * f(xk) 但是H如果非正定那 H-1不存在因此将其加上单位矩阵结局正定问题 H kIdx g
计算信赖区间 ρ 算法 求解等式为 (JTJ μI) dx -J f(x)其中J J(xk)f(x) f(xk) 给定初值x0对于第k次迭代求出雅可比J(xk) 和f(xk)计算ρ若 ρ 3/4则 μ 2μ 若 ρ 1/4则 μ 0.5μ将J(xk) ,f(xk)和 μ代入利用方程 (H μI) dx g求解dx如果dx足够小则停止否则xk1xkdx返回2 参考 https://zhuanlan.zhihu.com/p/556170185?utm_id0 https://blog.csdn.net/weixin_43763292/article/details/128060801 https://blog.csdn.net/weixin_41869763/article/details/103603089
