网络爬虫是按照一定规则自动请求服务器上的网页，并采集网页数据的一种程序或脚本，它可以代替人进行数据采集，也可以自动采集网页数据、高效利用互联网数据，因此在市场应用中占据了重要位置。本书以Windows操作系统为主要开发平台，系统、全面地讲解了网络爬虫的相关知识。本书的主要内容包括保存服务器网页到本地、使用正则表达式提取网页内容、爬取豆瓣电影TOP250栏目、使用requests库爬取电影网站、通过模拟用户登录爬取网站、使用Scrapy框架爬取图片网站、使用分布式爬虫爬取腾讯招聘频道，主要知识点囊括网络爬虫基础知识、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、网络爬虫的优化、数据的持久化存储、识别验证码、搭建网络爬虫框架、网络分布式爬虫Scrapy-Redis的开发和部署等。本书内容通俗易懂，案例丰富，实用性强，特别适合Python语言的基础学习者和进阶学习者，也适合Python程序员、爬虫工程师等编程爱好者。本书不仅可以作为高校教材，也可以作为相关培训机构的教材，还可以作为广大网络爬虫开发者的参考书。此外，本书开发了丰富的教学资源库，并免费提供所有素材。
钱游，副教授，重庆市名师工作室学员，主要从事人工智能、数据挖掘研究。主持市级项目2项、校级在线课程1门。发表论文16篇，其中中文核心期刊论文3篇，教研教改论文5篇。编写教材5部，获国家级实用新型专利5项，软件著作权4项，软件开发社会服务项目近30项，荣获市级教学成果奖、全国嵌入式竞赛优秀指导老师奖、全国大学生电子设计竞赛（重庆赛区"TI杯”）一等奖等十余项奖项。
目 录
项目一 保存服务器网页到本地 1
任务1 认识网络爬虫 2
任务演示 2
知识准备 2
1. 初步认识网络爬虫 2
2. 网络爬虫的结构及其工作原理 4
3. 爬虫技术的风险与Robots协议 5
4. Python的安装 6
5. Pygame的简单使用 11
任务实施 12
任务拓展 13
1. 反爬虫的目的与手段 13
2. Windows环境下的MongoDB数据库安装和配置 14
3. Linux环境下的MongoDB数据库安装和配置 16
任务2 将请求到的网页保存到本地 18
任务演示 18
知识准备 19
1. 使用urllib请求网页 19
2. 安装和配置MySQL数据库 20
任务实施 28
任务拓展 29
小结 30
复习题 31
项目二 使用正则表达式提取网页内容 32
任务1 在网页上展示伟大抗疫精神 33
任务演示 33
知识准备 33
1. HTML基础知识 33
2. CSS基础知识 35
3. CSS样式选择器 38
任务实施 44
任务拓展 45
1. JavaScript的引入 45
2. JavaScript的基本语法 48
任务2 使用正则表达式提取文本中的指定内容 53
任务演示 53
知识准备 53
1. 正则表达式的基本语法 54
2. 正则表达式的使用 57
任务实施 61
任务拓展 62
小结 63
复习题 63
项目三 爬取豆瓣电影TOP250栏目 65
任务1 使用urllib框架请求网页 66
任务演示 66
知识准备 66
1. 网络爬虫开发的基本流程 66
2. urllib框架的基本模块 66
3. 字符的编码和解码 74
任务实施 76
1. URL分析 76
2. 编码规范 77
3. 爬取豆瓣电影TOP250栏目 77
任务拓展 81
任务2 使用BeautifulSoup4解析网页 82
任务演示 82
知识准备 82
1. BeautifulSoup4的四个对象 82
2. 文档的遍历 86
3. 文档的搜索 91
任务实施 95
任务拓展 97
任务3 使用XPath解析网页数据 99
任务演示 99
知识准备 99
任务实施 105
任务拓展 106
任务4 数据的持久化存储 108
任务演示 108
知识准备 108
任务实施 116
任务拓展 118
小结 121
复习题 121
项目四 使用requests库爬取电影网站 123
任务1 使用requests库请求网页 124
任务演示 124
知识准备 124
1. requests库的安装 124
2. GET请求 125
3. POST请求 126
任务实施 129
任务拓展 131
任务2 使用requests-html库解析网页 136
任务演示 136
知识准备 136
1. requests-html库的新功能 136
2. requests-html库的安装 136
3. requests-html库的使用 137
任务实施 139
任务拓展 142
1. 网络爬虫的优化 142
2. 将请求到的数据保存到MySQL数据库中 145
小结 149
复习题 149
项目五 通过模拟用户登录爬取网站 151
任务1 模拟用户登录 152
任务演示 152
知识准备 152
1. 使用ddddocr模块识别验证码 153
2. 使用在线平台进行打码 153
任务实施 160
1. 对古诗文网的登录验证码进行验证 160
2. 实现模拟用户登录 163
任务拓展 167
1. 携带Cookies请求网页 167
2. 古诗文网登录实现 169
3. 在登录成功后进行数据采集 174
任务2 使用Selenium模拟用户登录豆瓣网 175
任务演示 175
知识准备 176
1. 什么是Selenium 176
2. Selenium的安装 176
任务实施 180
任务拓展 182
小结 184
复习题 185
项目六 使用Scrapy框架爬取图片网站 186
任务1 Scrapy开发环境搭建 187
任务演示 187
知识准备 187
1. 常见的爬虫框架 187
2. Scrapy框架概述 188
任务实施 189
任务拓展 196
任务2 使用Scrapy框架爬取代理IP 200
任务演示 200
知识准备 200
1. XPath选择器 200
2. CSS选择器 201
任务实施 202
任务拓展 210
任务3 Scrapy数据的持久化存储 211
任务演示 211
知识准备 211
1. 基于终端命令存储 212
2. 基于管道存储 212
任务实施 214
1. 实现基于终端命令的数据持久化存储 214
2. 实现基于管道的数据持久化存储——使用文本存储数据 215
3. 实现基于管道的数据持久化存储—使用MySQL数据库存储数据 219
4. 实现基于管道的数据持久化存储——使用Redis数据库存储数据 221
5. 实现基于管道的数据持久化存储——使用MongoDB数据库存储数据 224
任务拓展 227
任务4 爬取图片网站 230
任务演示 230
知识准备 230
任务实施 231
任务拓展 235
1. 将爬取的图片名及其路径保存到MySQL数据库中 235
2. 使用Scrapy框架爬取图说历史栏目 236
小结 239
复习题 239
项目七 使用分布式爬虫爬取腾讯招聘频道 241
任务1 搭建Scrapy-Redis开发环境 242
任务演示 242
知识准备 242
1. 分布式爬虫的基本概念 242
2. 分布式环境的搭建 243
3. 在Ubuntu系统上安装Scrapy 247
4. 在CentOS 7系统上安装Scrapy 249
任务实施 250
任务拓展 251
任务2 开发分布式爬虫 252
任务演示 252
知识准备 253
任务实施 254
1. 创建Scrapy爬虫 254
2. 初始化配置 256
3. 网站结构分析 256
4. 爬虫的核心代码 261
5. 部署分布式爬虫 266
任务拓展 271
1. 随机请求头 271
2. 爬取视频 273
小结 277
复习题 277
书单推荐
