本书是由中国大数据应用联盟人工智能专家委员会主任刘鹏教授主编的一本系统学习数据标注技术的教材。本书使用浅显易懂的语言，系统地介绍了数据标注的基本概念、分类、流程、质量检验、管理和应用等。通过理论与实战相结合的方式，帮助读者由浅入深进行学习，从而真正掌握数据标注的核心技术、实施和管理方法。本书既可以作为培养应用型人才的课程教材，也适用于初学者，以及广大的数据标注行业从业者。数据标注行业迅速成长，目前正缺乏一本权威教材，希望本书能够填补这个空白。
随着人工智能技术的迅猛发展，数据标注行业也异军突起。本书是为了能够更系统地培养数据标注工程师而编写的，从数据标注基本概念开始，介绍数据标注的前世今生以及发展趋势，然后系统地梳理了数据标注分类及数据标注流程，再对数据标注质量检验和数据标注管理进行了详细介绍，*后分析学习在热门行业中数据标注的应用，对四大重点行业给出数据标注实战案例。
有多少智能，就有多少人工。随着人工智能技术突飞猛进地发展，数据标注行业也随之异军突起。经过短短几年的发展，我国专职从事数据标注行业的人员已经突破20万，兼职人员的数量突破100万。在未来5年，专职数据标注工程师的缺口将高达100万。人工智能行业巨头纷纷寻找专业的数据标注工程师，但目前接受过系统培训的数据标注工程师少之
又少。
早期的数据标注工作是由专门研究人工智能算法的工程师进行小规模的数据标注，但在人工智能第三次浪潮之下，小规模的数据标注已经不能满足人工智能的发展需求，所以在2011年开始出现专门从事数据标注工作的团队，并且慢慢形成了数据标注行业。从2017年开始，人工智能的应用开始呈爆炸式增长，大规模的数据标注需求涌入，让数据标注行业迎来真正的爆发，正式进入人们的视野。
在快速膨胀的需求与国家扶持政策的推动下，全国高职、中职院校纷纷启动数据标注应用型人才培养计划。然而，数据标注专业建设却面临重重困难。首先，数据标注是一个新生事物，懂数据标注的教师少之又少，院校缺人；其次，尚未形成完善的数据标注人才培养和课程体系，院校缺机制；最后，院校没有数据标注项目，开展数据标注教学实践工作缺原材料。
为了能够更系统地培养数据标注工程师，我们的团队经过大量的市场考察与调研，深入了解数据标注行业，对数据标注各个环节进行调查整理，推出了这本教材。本书先从数据标注基本概念开始，介绍数据标注的前世今生以及发展趋势，然后系统地梳理了数据标注分类及数据标注流程，再对数据标注质量检验和数据标注管理进行详细介绍，最后分析学习热门行业数据标注应用，对四大重点行业进行数据标注实战。本书致力于将理论与实践结合在一起，让读者真正掌握数据标注的核心技术。
VIII 数据标注工程
本书是集体智慧的结晶，在此谨向付出辛勤劳动的各位作者致敬！书
中难免会有不当之处，请读者不吝赐教。我的邮箱：gloud@126.com，微信
公众号：刘鹏看未来（lpoutlook）。
刘鹏 教授
于南京大数据研究院
2019 年1 月1 日
刘鹏 清华大学博士毕业。现任中国大数据技术与应用联盟副理事长、中国大数据应用联盟人工智能委员会主任、中国云计算专家咨询委员会专家委员、工业和信息化部云计算研究中心专家。
第1章 数据标注概述…………………………………………1
1.1 数据标注的起源与发展…………………………………………1
1.1.1 什么是数据标注 …………………………………………3
1.1.2 数据标注分类概述 ………………………………………4
1.1.3 数据标注流程概述 ………………………………………6
1.2 数据标注的应用场景……………………………………… 7
1.2.1 出行行业 …………………………………………………7
1.2.2 金融行业 …………………………………………………8
1.2.3 医疗行业 …………………………………………………8
1.2.4 家居行业 …………………………………………………8
1.2.5 安防行业 …………………………………………………9
1.2.6 公共服务 …………………………………………………9
1.2.7 电子商务 …………………………………………………10
1.3 有多少智能，就有多少人工……………………………………10
1.3.1 有监督的机器学习 ………………………………………10
1.3.2 最后一批人工智能的老师 ……………………………11
1.4 数据越多，智能越好……………………………………………12
1.5 作业与练习………………………………………………………14
参考文献… ……………………………………………………………14
第2章 数据采集与清洗………………………………………16
2.1 标注对象…………………………………………………………16
2.1.1 主要的数据来源 …………………………………………16
2.1.2 常见的标注数据 …………………………………………17
X 数据标注工程
2.2 数据采集………………………………………………………… 18
2.2.1 数据采集方法 …………………………………………… 18
2.2.2 数据采集流程 …………………………………………… 19
2.2.3 标注数据采集 …………………………………………… 20
2.3 数据清洗…………………………………………………………23
2.3.1 数据清洗方法 …………………………………………… 24
2.3.2 数据清洗流程 …………………………………………… 26
2.3.3 MapReduce 数据去重 …………………………………… 26
2.4 作业与练习………………………………………………………28
参考文献… ……………………………………………………………28
第3 章 数据标注分类…………………………………………29
3.1 图像标注…………………………………………………………29
3.1.1 什么是图像标注 ………………………………………… 29
3.1.2 图像标注应用领域 ……………………………………… 30
3.2 语音标注…………………………………………………………35
3.2.1 什么是语音标注 ………………………………………… 35
3.2.2 客服录音数据标注规范 ………………………………… 35
3.3 文本标注…………………………………………………………38
3.3.1 什么是文本标注 ………………………………………… 38
3.3.2 文本标注应用领域 ……………………………………… 38
3.4 作业与练习……………………………………………………… 41
参考文献… …………………………………………………………… 41
第4 章 数据标注质量检验……………………………………42
4.1 数据质量影响算法效果…………………………………………42
4.2 数据标注质量标准………………………………………………44
4.2.1 图像标注质量标准 ……………………………………… 44
4.2.2 语音标注质量标准 ……………………………………… 47
4.2.3 文本标注质量标准 ……………………………………… 48
4.3 数据标注质量检验方法…………………………………………48
4.3.1 实时检验 ………………………………………………… 48
目 录XI
4.3.2 全样检验 ………………………………………………… 50
4.3.3 抽样检验 ………………………………………………… 50
4.4 作业与练习………………………………………………………53
参考文献… ……………………………………………………………53
第5 章 数据标注管理………………………………………… 55
5.1 数据标注工厂设计………………………………………………55
5.2 数据标注管理架构………………………………………………59
5.3 数据安全管理与质量管理体系…………………………………60
5.3.1 数据存储安全管理要求 ………………………………… 60
5.3.2 工厂人员行为管理 ……………………………………… 61
5.3.3 溯源体系建设 …………………………………………… 61
5.3.4 质量管理体系建设 ……………………………………… 62
5.4 数据标注项目评估………………………………………………63
5.5 数据标注订单管理………………………………………………64
5.6 数据标注客户关系管理…………………………………………65
5.7 作业与练习………………………………………………………66
参考文献… ……………………………………………………………66
第6 章 数据标注应用…………………………………………68
6.1 自动驾驶…………………………………………………………68
6.1.1 自动驾驶的发展 ………………………………………… 68
6.1.2 自动驾驶的9 种数据标注 ……………………………… 70
6.2 智能安防…………………………………………………………75
6.2.1 智能安防的发展分析 …………………………………… 75
6.2.2 智能安防的5 种数据标注 ……………………………… 77
6.3 智能医疗…………………………………………………………80
6.3.1 智能医疗的发展 ………………………………………… 80
6.3.2 智能医疗应用的4 种数据标注 ………………………… 80
6.4 作业与练习………………………………………………………82
参考文献… ……………………………………………………………83
XII 数据标注工程
第7 章 数据标注实战…………………………………………84
7.1 实战环境搭建……………………………………………………84
7.1.1 标注工具安装环境搭建 ………………………………… 84
7.1.2 LabelImg 标框标注工具的使用方法 …………………… 92
7.1.3 Labelme 工具的安装与使用方法 ……………………… 100
7.2 医疗影像标注………………………………………………… 104
7.3 遥感影像标注………………………………………………… 106
7.4 车牌图像标注………………………………………………… 109
7.4.1 车牌图像标框标注 …………………………………… 109
7.4.2 车牌图像分类标注 …………………………………… 110
7.5 人像数据标注………………………………………………… 113
7.5.1 行人图像标注 ………………………………………… 113
7.5.2 人脸数据标注 ………………………………………… 116
7.6 作业与练习…………………………………………………… 121
参考文献… ………………………………………………………… 121
附录 大数据实验平台（数据标注版）… ………………… 122
书单推荐
