强化学习

出自 MBA智库百科(http://wiki.mbalib.com/)

强化学习(reinforcement learning)

目录

什么是强化学习

  强化学习人工智能中策略学习的一种,是一种重要的机器学习方法,又称再励学习、评价学习,是从动物学习、参数扰动自适应控制等理论发展而来.所谓强化学习是指从环境状态到动作映射的学习,以使动作从环境中获得的累积奖赏值最大。该方法不同于监督学习技术那样通过正例、反例来告知采取何种行为,而是通过试错(trial and error)来发现最优行为策略。常用的强化学习算法包括TD(Temporal Difference)算法、Q学习算法、Sarsa算法等。

强化学习的基本原理

  强化学习是从动物学习、参数扰动自适应控制等理论发展而来,其基本原理是:

  如果Agent的某个行为策略导致环境正的奖赏(强化信号),那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。

  强化学习把学习看作试探评价过程,Agent选择一个动作用于环境,环境接受该动作后状态发生变化,同时产生一个强化信号(奖或惩)反馈给Agent,Agent根据强化信号和环境当前状态再选择下一个动作,选择的原则是使受到正强化(奖)的概率增大。选择的动作不仅影响立即强化值,而且影响环境下一时刻的状态及最终的强化值。

  强化学习不同于连接主义学习中的监督学习,主要表现在教师信号上,强化学习中由环境提供的强化信号是Agent对所产生动作的好坏作一种评价(通常为标量信号),而不是告诉Agent如何去产生正确的动作。由于外部环境提供了很少的信息,Agent必须靠自身的经历进行学习。通过这种方式,Agent在行动一一评价的环境中获得知识,改进行动方案以适应环境。

  强化学习系统学习的目标是动态地调整参数,以达到强化信号最大。若已知r/A梯度信息,则可直接可以使用监督学习算法。因为强化信号r与Agent产生的动作A没有明确的函数形式描述,所以梯度信息r/A无法得到。因此,在强化学习系统中,需要某种随机单元,使用这种随机单元,Agent在可能动作空间中进行搜索并发现正确的动作。

强化学习的应用

  强化学习主要应用在过程控制、调度管理、机器人控制、游戏比赛和信息检索等方面,其中最为广泛的莫过于智能控制及智能机器人领域。在过程控制领域中,典型的应用实例是倒摆控制系统和Archon系统;在调度管理中最成功的应用是Crites和Barto的电梯调度问题,它们将单步强化学习算法应用到一个4部电梯、10层楼的运行调度中;在游戏比赛中,最成功的应用是由Gerry Tesauro运用瞬时差分算法发明的Backgammon下棋游戏,它采用TD的误差来训练3层BP神经网络,达到了很高的水平;在机器人领域,HeePakBeen利用模糊逻辑和强化学习实现陆上移动机器人导航系统,Wilfriedllg利用强化学习使6足昆虫机器人学会6条腿协调动作,Christopher利用强化学习控制机器人手臂运动,Mataria采用改进的Q—Learning算法实现了4个机器人执行Foraging任务,张汝波等利用强化学习实现了智能机器人的避障行为学习;信息检索主要用于与Intemet有关的信息采集信息过滤,即从海量的Web信息中查询出用户最为关心的信息。

本条目对我有帮助1

分享到:
  如果您认为本条目还有待完善,需要补充新内容或修改错误内容,请编辑条目

本条目由以下用户参与贡献

Mis铭.

评论(共0条)

提示:评论内容为网友针对条目"强化学习"展开的讨论,与本站观点立场无关。

发表评论请文明上网,理性发言并遵守有关规定。

以上内容根据网友推荐自动排序生成