分层强化学习理论与方法
分類: 图书,计算机/网络,人工智能,
作者： 沈晶 编著
出 版 社： 哈尔滨工业大学出版社
出版时间： 2007-12-1字数：版次： 1页数： 141印刷时间：开本： 16开印次：纸张：I S B N ： 9787811330281包装： 平装内容简介
强化学习通过试错与环境交互获得策略的改进，其自学习和在线学习的特点使其成为机器学习研究的一个重要分支。但是，强化学习一直被维数灾难所困扰，近年来，分层强化学习在克服维数灾难方面取得了显著进展。本书系统地介绍了强化学习、分层强化学习的理论基础和学习算法以及作者在分层强化学习领域的研究成果和该领域的最新研究进展。
本书可作为高等院校和科研机构从事计算机应用、人工智能和机器学习等相关专业和方向的教师、研究人员、研究生及高年级本科生参考使用。
作者简介
第1章 绪论
分层强化学习是在强化学习的基础上通过增加“抽象机制”而形成的一种效率更高的机器学习方法。本章将对机器学习、强化学习、分层强化学习的定义以及研究现状进行介绍。
1.1 机器学习
1.1.1 机器学习的定义
机器学习（Machine Learning）的核心是学习。学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。这是因为进行这一研究的人们分别来自不同的学科，更重要的是学习是一种多侧面、综合性的心理活动，它与记忆、思维、知觉、感觉等多种心理行为都有着密切的联系，人们难以把握学习的机理与实现。社会学家、逻辑学家和心理学家都各有其不同的看法。按照人工智能大师Simon的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。这一阐述包含过程、系统与改进性能这样三个要点。学习的基本模型就是基于这一观点建立起来的。
机器学习至今还没有统一的定义，而且也很难得到一个公认的和准确的定义。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍微严格的提法：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。
目录
第1章 绪论
1.1 机器学习
1.1.1 机器学习的定义
1.1.2 机器学习的发展史
1.1.3 机器学习系统的基本模型
1.1.4 机器学习的主要策略
1.2 强化学习
1.2.1 强化学习的定义
1.2.2 强化学习的发展史
1.3 分层强化学习
1.3.1 分层强化学习的定义
1.3.2 研究现状与发展趋势
第2章 强化学习
2.1 强化学习的基本原理
2.2 强化学习的基本方法
2.3 部分可观测马氏过程
第3章 分层强化学习
3.1 半马氏过程
3.2 分层与抽象
3.3 典型分层强化学习方法
3.3.1 Option分层强化学习方法
3.3.2 HAM分层强化学习方法
3.3.3 MAXQ分层强化学习方法
3.3.4 典型分层强化学习方法的比较分析
3.4 OMQ分层强化学习方法
3.4.1 测试用例描述
3.4.2 OMQ理论框架
3.4.3 OMQ学习算法
3.4.4 OMQ学习算法最优性分析
3.4.5 OMQ学习算法收敛性证明
3.4.6 OMQ学习算法实验分析
第4章 动态分层强化学习
4.1 学习任务的自动分层
4.1.1 瓶颈和路标状态法
4.1.2 共用子空间法
4.1.3 多维状态法
4.1.4 马氏空间法
4.1.5 其他有关方法
4.1.6 任务自动分层方法评价
4.2 基于免疫聚类的自动分层算法
4.2.1 免疫原理剖析
4.2.2 基于免疫聚类的Option自动生成算法
4.3 基于二次应答机制的动态分层算法
4.3.1 算法描述
4.3.2 实验分析
4.4 未知动态环境中的分层强化学习方法
4.4.1 移动机器人路径规划问题
4.4.2 未知动态环境中的OMQ分层强化学习算法
4.4.3 实验分析
……
第5章 多智能体分层强化学习
参考文献
