随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。
本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。
本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。
1、本书以MindSpore人工智能框架在大语言模型领域的应用为主要内容，详尽阐述了MindSpore框架在大语言模型中的应用。
2、无论是开发者、从业者还是学生，希望能够快速理解并构建大模型，本书以实践为主，能够帮助开发者快速理解并打造自己的大模型。
3、本书强调实战应用，提供了丰富的实战案例和代码示例，助力读者在实践中掌握构建和优化大语言模型的关键技术。
陈雷 加拿大滑铁卢大学计算机博士。现担任香港科技大学(广州)信息枢纽院长，数据科学与分析学域讲座教授，广州市大数据智能重点实验室主任。研究方向包括数据驱动的人工智能、大数据分析、知识图谱、众包、区块链、图数据库、概率和不确定数据库，以及时空和时间序列数据库。曾获2020年度中国电子学会科学技术奖一等奖、2015年ACM SIGMOD时间检测奖2022 WLDB研究论文奖、2014LDB示范奖。曾担任ICDE2023和VLDB2019 PC联合主席、VLDB Journal联合主编、VLDB基金会执行委员。目前担任IEEETKDE主编、DASFAA国际会议指导委员会主席、长江讲座教授，当选IEEE会士和ACM杰出科学家，获得国家杰出青年科学基金海外青年学者合作研究项目支持。
第1章 大语言模型的发展 001
1.1 人工智能的发展阶段 002
1.2 从深度学习到大语言模型 004
第2章 Transformer模型 006
2.1 Transformer模型的基本原理 007
2.1.1 注意力机制 007
2.1.2 自注意力机制 010
2.1.3 多头注意力机制 011
2.2 Transformer模型的结构和模块 013
2.2.1 位置编码 014
2.2.2 编码器 016
2.2.3 解码器 020
2.2.4 模型代码 024
2.3 Transformer模型在NLP任务中的应用 025
2.4 使用MindSpore实现基于Transformer模型的文本机器翻译模型 026
2.4.1 数据集准备与数据预处理 026
2.4.2 模型构建 033
2.4.3 模型训练与评估 034
2.4.4 模型推理 037
2.5参考文献 040
第3章 BERT实践 041
3.1 BERT基本原理 042
3.2 BERT结构 043
3.3 BERT预训练 045
3.4 BERT微调 046
3.5 使用MindSpore实现数据并行的BERT预训练 047
3.6 参考文献 050
第4章 GPT实践 051
4.1 GPT基本原理 052
4.2 GPT训练框架 053
4.2.1 无监督预训练 054
4.2.2 有监督微调 054
4.2.3 GPT下游任务及模型输入 055
4.3 使用MindSpore实现GPT的微调 056
4.3.1 数据预处理 056
4.3.2 模型定义 059
4.3.3 模型训练 066
4.3.4 模型评估 067
4.4 参考文献 067
第5章 GPT-2实践 068
5.1 GPT-2的基本原理 069
5.2 GPT-2的技术创新与改进 070
5.3 GPT-2的优缺点 071
5.4 使用MindSpore实现GPT-2的微调 072
5.5 参考文献 076
第6章 自动并行 077
6.1数据并行原理 078
6.2 算子并行原理 080
6.3 优化器并行原理 082
6.3.1 背景及意义 082
6.3.2 基本原理 083
6.4 流水线并行原理 085
6.4.1 背景及意义 085
6.4.2 基本原理 085
6.5 MoE并行原理 086
6.5.1 背景及意义 086
6.5.2 算法原理 088
6.6 自动并行策略搜索 089
6.6.1 策略搜索定位 090
6.6.2 策略搜索算法 091
6.6.3 MindSpore实践 092
6.7 异构计算 092
6.7.1 计算流程 092
6.7.2 优化器异构 093
6.7.3 词表异构 094
6.7.4 参数服务器异构 095
6.7.5 多层存储 096
6.8 大语言模型性能分析 097
6.8.1 缩短单个模块耗时 097
6.8.2 提高不同模块任务间的并行度 097
6.9 MindFormers接口 099
6.9.1 准备工作 099
6.9.2 Trainer高阶接口快速入门 099
6.9.3 Pipeline推理接口快速入门 101
6.9.4 AutoClass快速入门 101
6.9.5 Transformer接口介绍 102
6.10 参考文献 103
第7章 大语言模型预训练与微调 106
7.1 预训练大语言模型代码生成 107
7.1.1 多语言代码生成模型CodeGeeX 107
7.1.2 多语言代码生成基准HumanEval-X 109
7.2 提示调优 111
7.2.1 提示流程 111
7.2.2 提示模板 114
7.2.3 优缺点分析 115
7.3 指令调优 116
7.3.1 基本流程 116
7.3.2 指令模板 117
7.3.3 优缺点分析 118
7.4 参考文献 119
第8章 基于人类反馈的强化学习 121
8.1 基本原理 122
8.2 强化学习 122
8.2.1 核心思想 122
8.2.2 关键元素 123
8.2.3 策略与价值函数 123
8.2.4 PPO算法 124
8.3 InstructGPT和ChatGPT中的RLHF 126
8.3.1 训练流程 126
8.3.2 训练任务 127
8.3.3 模型效果 128
8.4 优缺点分析 129
8.5 参考文献 130
第9章 BLOOM和LLaMA模型实践 131
9.1 BLOOM介绍 132
9.1.1 模型结构 132
9.1.2 预训练数据集 134
9.2 BLOOM实现 136
9.2.1 BLOOM架构实现 136
9.2.2 BLOOM总结 142
9.3 基于BLOOM的微调 142
9.3.1 数据集准备 142
9.3.2 Checkpoint转换 142
9.3.3 生成集群通信表 143
9.3.4 启动预训练或微调 143
9.3.5 微调后的对话效果 144
9.4 LLaMA模型介绍 148
9.4.1 模型结构 148
9.4.2 预训练 152
9.4.3 SFT与RLHF 152
9.5 LLaMA模型实现 153
9.5.1 LLaMA模型模块实现 153
9.5.2 LLaMA模型结构实现 155
9.6 基于LLaMA模型的微调 159
9.6.1 数据集准备 159
9.6.2 ckpt转换 159
9.6.3 生成集群通信表 159
9.6.4 启动微调 160
9.6.5 微调效果 160
9.7 参考文献 161
书单推荐
