近年来，随着深度强化学习在诸多复杂的博弈对抗、序贯决策等问题中取得巨大突破，人工智能俨然成为当今社会的关注焦点。而棋类游戏在人工智能发展中一直占据着重要地位。2016年，AlphaGo战胜李世石引起了社会各界的广泛关注,大量的报道与文献争相介绍了有关AlphaGo在围棋领域的发展状况，这些都使得人们对其背后的奥秘产生了前所未有的学习热情，也让越来越多的人对人工智能技术抱有新的期望。人工智能被称为第四次科技革命，人工智能技术已成为世界各国角逐的技术高地。未来人工智能产业必将成为经济发展和产业变革的重要驱动力量。
本书主要内容
本书可视为一本以解决实际问题为导向的书籍，非常适合具备一定数学基础和Python基础的读者学习。读者可以在短时间内掌握本书中介绍的所有算法。
全书共分为三大部分，共有10章。
第一部分介绍计算机围棋的基础知识和传统的智能算法，包括第1～3章。第1章围棋： 黑白的世界，包括什么是围棋、围棋的规则、围棋的胜负判定方法以及围棋棋手棋力的介绍。第2章实现一个围棋软件，包括本书使用的应用软件版本、围棋软件建模概述、佐布里斯特散列算法、实践围棋智能体、实践围棋棋盘、实践围棋规则判定和实践完整的围棋软件。第3章传统的棋类智能，包括极小化极大算法的原理和应用举例、AlphaBeta剪枝算法的原理和应用举例、棋类局面评估、蒙特卡罗模拟的原理和应用举例、传统监督学习的简要介绍以及对传统方法的讨论。
第二部分介绍基于神经网络的机器学习，包括第4～6章。第4章机器学习入门，包括人工神经网络的基础知识介绍、优化神经网络和对其他人工智能方法的简介。第5章第一个围棋智能体，包括对计算机围棋棋谱的介绍、对HDF5大数据存储文件格式的介绍、围棋智能体的数据模型、如何获取训练样本以及应用示例代码的演示。第6章通用化围棋智能体程序，包括如何搭建自己的围棋对弈网络平台、如何让围棋智能体支持第三方围棋程序的调用，如何让围棋智能体在公开的网络平台上下棋。
第三部分介绍强化学习，包括第7～10章。第7章策略梯度，包括原理、应用举例，并以此为基础实践围棋智能体。第8章深度价值网络，包括传统QLearning、Sarsa及Sarsaλ算法的原理、应用举例，并以此为基础实践围棋智能体。第9章ActorCritic算法，包括算法原理及如何实践围棋智能体。第10章AlphaGo和AlphaZero，包括AlphaGo算法和AlphaZero算法原理，指导实践深度强化学习与蒙特卡罗树搜索相结合的算法。
本书特色
(1) 问题驱动，由浅入深。
本书通过分解问题，由浅入深，逐步地对如何实践超越人类大师级水平的计算机棋类智能体的重要概念及原理进行讲解与探究，为读者更好地掌握其背后的计算机强化学习原理提供便利和支持。
(2) 突出重点，强化理解。
本书结合作者多年的教学与实践经验，针对应用型本科的教学要求和学生特点，突出重点，深入分析，同时在内容方面全面兼顾知识的系统化要求。
(3) 注重理论，联系实际。
本书为重要的知识点均配备了代码讲解，采用Python语言结合Keras和PyTorch工具库，通过对围棋智能体的代码实践，加深读者对机器学习，特别是强化学习的再认识。
(4) 风格简洁，使用方便。
本书风格简洁明快，对于非重点的内容不做长篇论述，以便读者在学习过程中明确内容之间的逻辑关系，更好地掌握深度强化学习的内容。
配套资源
为便于教与学，本书配有微课视频(280分钟)、源代码、软件安装包。
(1) 获取微课视频方式： 读者可以先扫描本书封底的文泉云盘防盗码，再扫描书中相应的视频二维码，观看视频。
(2) 获取源代码、软件安装包、彩色图片和全书网址方式： 先扫描本书封底的文泉云盘防盗码，再扫描下方二维码，即可获取。
源代码
软件安装包
彩色图片
全书网址
(3) 其他配套资源可以扫描本书封底的书圈二维码，关注后回复本书书号，即可下载。
读者对象
本书主要面向广大从事数据分析、机器学习、数据挖掘或深度学习的专业人员，从事高等教育的专任教师，高等学校的在读学生以及相关领域的广大科研人员。
作者在编写本书过程中，参考了诸多相关资料，在此对相关资料的作者表示衷心的感谢。限于个人水平和时间仓促，书中难免存在疏漏之处，欢迎广大读者批评指正。
作者2023年1月
书单推荐
