公司备案 网站主办者名称,做一个旅游网站,网站404页面优化,北京科技网站开发分类目录#xff1a;《深入理解强化学习》总目录 目前为止我们讨论的所有方法都在一定程度上依赖于初始动作值 Q 1 ( a ) Q_1(a) Q1(a)的选择。从统计学角度来说#xff0c;这些方法#xff08;由于初始估计值#xff09;是有偏的。对于采样平均法来说#xff0c;当所有…分类目录《深入理解强化学习》总目录 目前为止我们讨论的所有方法都在一定程度上依赖于初始动作值 Q 1 ( a ) Q_1(a) Q1(a)的选择。从统计学角度来说这些方法由于初始估计值是有偏的。对于采样平均法来说当所有动作都至少被选择一次时偏差就会消失。但是对于步长为常数的情况偏差会随时间减小但不会消失。在实际中这种偏差通常不是一个问题有时甚至还会很有好处。缺点是如果不将它们全部设置为0则初始估计值实际上变成了一个必须由用户选择的参数集。好处是通过它们可以简单地设置关于预期收益水平的先验知识。
初始动作的价值同时也提供了一种简单的试探方式。比如一个10臂的测试平台我们替换掉原先的初始值0将它们全部设为 5 5 5。注意如前所述在这个问题中 q ∗ ( a ) q_*(a) q∗(a)是按照均值为0方差为1的正态分布选择的。因此 5 5 5的初始值是一个过度乐观的估计。但是这种乐观的初始估计却会鼓励动作一价值方法去试探。因为无论哪一种动作被选择收益都比最开始的估计值要小因此学习器会对得到的收益感到“失望从而转向另一个动作。其结果是所有动作在估计值收敛之前都被尝试了好几次。即使每一次都按照贪心法选择动作系统也会进行大量的试探。
下图展示了在一个10臂测试平台上设定初始值 Q 1 ( a ) 5 Q_1(a)5 Q1(a)5并采用贪心算法的结果。为了比较同时展示了 ϵ − \epsilon- ϵ−贪心算法使用初始值 Q 1 ( a ) 0 Q_1(a)0 Q1(a)0的结果。刚开始乐观初始化方法表现得比较糟糕因为它需要试探更多次但是最终随着时间的推移试探的次数减少它的表现也变得更好。我们把这种鼓励试探的技术叫作乐观初始价值。我们认为这是一个简单的技巧在平稳问题中非常有效但它远非鼓励试探的普遍有用的方法。例如它不太适合非平稳问题因为它试探的驱动力天生是暂时的。如果任务发生了变化对试探的需求变了则这种方法就无法提供帮助。事实上任何仅仅关注初始条件的方法都不太可能对一般的非平稳情况有所帮助。开始时刻只出现一次因此我们不应该过多地关注它。对于采样平均法也是如此它也将时间的开始视为一种特殊的事件用相同的权重平均所有后续的收益。但是所有这些方法都很简单其中一个或几个简单的组合在实践中往往是足够的。 参考文献 [1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022. [2] Richard S. Sutton, Andrew G. Barto. 强化学习第2版[M]. 电子工业出版社, 2019 [3] Maxim Lapan. 深度强化学习实践原书第2版[M]. 北京华章图文信息有限公司, 2021 [4] 王琦, 杨毅远, 江季. Easy RL强化学习教程 [M]. 人民邮电出版社, 2022
