男的怎么做直播网站,邯郸网站设计定制,目录和文章wordpress,咨询机构分类目录#xff1a;《深入理解强化学习》总目录 相关文章#xff1a; 强化学习的历史#xff1a;最优控制 强化学习的历史#xff1a;试错学习 强化学习的历史#xff1a;试错学习的发展 强化学习的历史#xff1a;K臂赌博机、统计学习理论和自适应系统 强化学习的…分类目录《深入理解强化学习》总目录 相关文章 · 强化学习的历史最优控制 · 强化学习的历史试错学习 · 强化学习的历史试错学习的发展 · 强化学习的历史K臂赌博机、统计学习理论和自适应系统 · 强化学习的历史时序差分学习 时序差分学习方法的特点在于它是由时序上连续地对同一个量的估计驱动的例如下赢井字棋的概率。这条主线比起其他两条更微小、更不显著但是却对这个领域有很重要的影响部分原因是因为时序差分学习方法对于强化学习来说似乎是全新且独一无二的。
时序差分学习的概念部分源于动物学习心理学特别是次级强化物的概念。次级强化物指的是一种与初级强化物例如食物或疼痛等配对并产生相似的强化属性的刺激物。Minsky可能是第一个认识到这个心理学的规律对人工智能学习系统很重要的人。ArthurSamuel首次提出并实现了一个包含时序差分思想的学习算法这个算法是他著名的跳棋程序的一部分。
SamueI既没有参考Minsky的工作也没有与动物学习的理论发生任何联系。他的灵感显然来自于Claude Shannon的建议Shannon认为计算机可以利用一个估值函数通过编程玩棋类游戏并且也许能够通过在线修改这个函数来进一步提升性能。Minsky在他的“边向人工智能论文中更详细地讨论了Sarnuel的工作提出这项工作与自然以及人工次级强化物理论的联系。
正如我们所讨论的在Minsky和Samuel发表成果之后的十年在试错学习领域很少有计算性的研究工作而时序差分学习领域完全没有计算性的工作。直到1972年Klopf将试错学习与时序差分学习的一个重要部分相结合。Klopf的研究兴趣在于能够推广到大规模系统中的学习方法因此他受局部强化的思想所启发即一个学习系统的各部分可以相互强化。他发展了“广义强化的概念即每一个组件字面上指每一个神经元将其所有的输人视为强化项将兴奋的输人视为奖励项将抑制的输人视为惩罚项。这和我们现在所说的时序差分学习的想法是不同的追溯起来这个工作比起Samuel的工作离时序差分学习差得更远。而另一方面Klopf将这个思想与试错学习联系起来并且将它和动物学习心理学的大量经验数据相关联。
Sutton进一步探索了KIopf的想法、尤其是和动物学习理论的联系。他将由变化导致的学习规则用短期的连续预测表达。他和Barto优化了这些想法并基于时序差分学习建立了一个经典条件反射的心理学模型之后又有一些其他的有影响力的基于时序差分学习的经典条件反射的心理学模型跟进。当时提出的一些神经科学的模型也可以用时序差分学习来很好地进行解释尽管这些模型大多数并没有历史上的联系。
我们早期在时序差分学习上的工作受到了动物学习理论以及Klopf的工作的很大影响。我们的工作与Minsky的“迈向人工智能论文和Samuel的跳棋程序的联系是后来才被认识到的。然而在1981年时我们完全认识到了之前提到的所有工作是时序差分学习和试错学习主线的一部分。那时我们提出了一种方法用来在试错学习中使用时序差分学习即“行动器-评判器Actor-Critic架构并将这种方法应用于Michie和Chambers的平衡杆问题。Sutton在他的博士论文中详细地研究了这个方法并在Anderson的博士论文中进一步引人了反向传播的神经网络。大约在同一时间Holland将时序差分的思想通过他的救火队算法应用到他的分类器系统。时序差分算法发展的一个关键步骤是Sutton在1988年推进的他将时序差分学习从控制中分离出来将其视作一个一般的预测方法。那篇论文同时介绍了 TD ( λ ) \text{TD}(\lambda) TD(λ)算法并证明了它的一些收敛性质。
在1981年当我们正在完成“行动器-评判器架构的工作时我们发现了lan Witten的一篇论文它是已知最早的一篇包含时序差分学习规则的论文。他提出了我们现在称为 TD ( 0 ) \text{TD}(0) TD(0)的方法将其作为自适应控制器的一部分来处理马尔可夫决策过程。这个成果起初于1974年提交到杂志发表并在Witten的1976年的博士论文中出现。Witten做了Andreae早年用STeLLA以及其他试错学习系统进行实验的后继工作。因此Witten1977年的论文囊括了强化学习研究的两个主要方向一一试错学习以及最优控制同时在时序差分学习方面做出了重要的早期贡献。
在1989年Chris watkins提出的Q学习将时序差分学习和最优控制完全结合在了一起。这项工作拓展并整合了强化学习研究的全部三条主线的早期工作。PauI Werbos自1977年以来证明了试错学习和动态规划的收敛性也对这项整合做出了贡献。自watkins的成果发表后强化学习的研究有了巨大的进步主要是在机器学习领域当然也包括神经网络以及更广泛的人工智能领域。在1992年Gerry Tesauro的西洋双陆棋程序TD-Garnmon的巨大成功使这个领域受到了更多的关注。
除此之外神经科学方面产生了一个多产的子领域这个子领域关注强化学习算法和神经系统中的强化学习的关系。这个领域的兴起主要是由于许多研究者发现了时序差分算法的行为和大脑中产生多巴胺的神经元的活动的神奇的相似性。《深入理解强化学习》系列后面的文章会介绍强化学习这一令人兴奋的特点。
参考文献 [1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022. [2] Richard S. Sutton, Andrew G. Barto. 强化学习第2版[M]. 电子工业出版社, 2019 [3] Maxim Lapan. 深度强化学习实践原书第2版[M]. 北京华章图文信息有限公司, 2021 [4] 王琦, 杨毅远, 江季. Easy RL强化学习教程 [M]. 人民邮电出版社, 2022
