·使用传感器来收集网络、服务、主机和主动领域中的数据。
·使用 SiLK 工具集、Python 编程语言，以及其他一些工具与技术，来操作你所收集的数据。
·通过探索性的数据分析（EDA），并辅以可视化技术与数学技术来探测网络中的反常情况。
·分析文本数据，获知流量所表示的行为，以及检测通信过程中的错误。
·把网络建模成图，以便通过分析该图来了解网络中比较重要的结构。
·检查与内部威胁有关的数据，获取威胁情报。
·通过网络映射工作来编制网络资源目录，并确定其中较为重要的主机。
·与运维人员协作以制定有效的防御及分析技术。
传统的入侵探测手段与日志文件分析技术，已经无法适应当今这么复杂的网络状况了。在经过更新的这本书里，本书作者会给信息安全人员提供最新的技术与工具，告诉大家怎样收集网络流量，并对这些数据集进行分析。你会学到怎样掌握网络的使用情况，以及如何采取必要的措施来巩固并守护网络中的系统。
本书由三部分组成，其中会讲到数据收集与数据整理工作所依循的流程，并告诉你怎样使用各类分析工具和如何运用各种分析技巧来处理不同的情况。有一些新的章节会专门讨论主动监控、流量操纵、内部威胁检测、数据挖掘、回归分析。
Michael Collins是RedJack,LLC的首席科学家，RedJack是位于美国华盛顿哥伦比亚特区的网络安全与数据分析公司。Collins主要关注网络测量与流量分析，尤其是对较大的流量数据集所做的分析。
目录
前言 1
第I 部分 数据
第1 章 整理数据：视点、领域、行动及验证 .17
1.1 领域 19
1.2 视点 21
1.3 行动：传感器对数据所做的处理 25
1.4 有效性与行动 27
1.5 延伸阅读 .34
第2 章 视点：了解传感器在网络中的摆放情况 .36
2.1 网络分层的基础知识 36
2.2 在网络中的各个层面上进行寻址 45
2.3 延伸阅读 .57
第3 章 网络领域内的传感器 .58
3.1 数据包与帧的格式 .59
3.2 NetFlow 67
3.3 通过IDS 收集数据 70
3.4 提高IDS 的工作成效78
3.5 中间盒日志及其影响 91
3.6 延伸阅读 .94
第4 章 服务领域中的数据 .96
4.1 什么叫做服务领域中的数据？为什么要收集这些数据？ .96
4.2 日志文件——最为基础的服务数据 98
4.3 获取并操纵日志文件 98
4.4 日志文件的内容 101
4.5 延伸阅读 112
第5 章 服务领域内的传感器 113
5.1 典型的日志文件格式 . 114
5.2 简单邮件传输协议（SMTP） 119
5.3 其他一些较为有用的日志文件 .125
5.4 传输日志文件的三种方式：文件传输、Syslog 和消息队列 .127
5.5 延伸阅读 130
第6 章 主机领域中的数据与传感器 .131
6.1 从网络的角度观察主机 .132
6.2 与网络接口（网卡）有关的信息 .134
6.3 可以用来追踪身份的主机信息 .138
6.4 进程 140
6.5 文件系统 145
6.6 历史数据：用户执行过的命令以及与登录有关的信息 148
6.7 其他数据与传感器：HIPS 及AV .149
6.8 延伸阅读 150
第7 章 主动领域内的数据及传感器 .151
7.1 发现、评估及维护 152
7.2 发现：ping、traceroute、netcat 等工具的用法，以及nmap 工具的
其中一部分用法 153
7.3 评估：nmap、一些客户端和许多资源库 161
7.4 用主动收集到的数据来进行验证 .168
7.5 延伸阅读 169
第Ⅱ部分 工具
第8 章 把数据集中到一起 173
8.1 宏观结构 176
8.2 日志数据与CRUD 范式 184
8.3 NoSQL 系统简介 .187
8.4 延伸阅读 190
第9 章 SiLK 工具包 191
9.1 什么是SiLK ？它的工作原理是怎样的？ 191
9.2 取得并安装SiLK .192
9.3 用rwcut 命令操纵字段，并按照一定的格式将其输出 .194
9.4 用rwfilter 命令对字段进行基本的操纵 200
9.5 用rwfileinfo 命令查询数据文件的出处 210
9.6 用rwcount 命令把信息流合起来统计 213
9.7 rwset 与IP set 215
9.8 rwuniq 命令 .220
9.9 rwbag 命令 222
9.10 SiLK 工具包的高级功能 223
9.11 收集SiLK 数据 226
9.12 延伸阅读 233
第10 章 参照与查询——用相关工具确定用户身份235
10.1 MAC 与硬件地址 236
10.2 IP 地址 239
10.3 DNS .246
10.4 搜索引擎 266
10.5 延伸阅读 268
第Ⅲ部分 分析
第11 章 探索性数据分析及其视觉呈现275
11.1 EDA 的目标：应用分析 .277
11.2 EDA 的工作流程 280
11.3 变量与可视化 282
11.4 适用单个变量的可视化技术 284
11.5 对双变量的数据集进行呈现 291
11.6 对多变量的数据集进行呈现 293
11.7 拟合与估算 307
11.8 延伸阅读 315
第12 章 文本分析 316
12.1 文本的编码 316
12.2 基本技能 325
12.3 文本分析技术 332
12.4 延伸阅读 339
第13 章 Fumbling .340
13.1 由于错误的配置、自动化的软件或扫描行为而引起的fumble 现象 341
13.2 如何识别fumbling 攻击 .344
13.3 服务层面的fumbling 357
13.4 探测并分析Fumbling 现象 361
第14 章 流量与时间 .367
14.1 办公时间方面的规律及其对网络流量的影响 .368
14.2 beaconing 371
14.3 文件传输/raiding 374
14.4 集中度 .377
14.5 对流量与集中度进行分析 .389
14.6 延伸阅读 395
第15 章 图 396
15.1 图的定义与特征 .396
15.2 标记、权重与路径 401
15.3 节点与连接性 407
15.4 聚集系数 408
15.5 对图进行分析 410
15.6 延伸阅读 415
第16 章 来自内部的威胁 .416
16.1 把内部威胁与其他几种攻击区别开 .418
16.2 避免互相伤害 421
16.3 攻击方式 422
16.4 收集并分析与内部威胁有关的数据 .424
16.5 延伸阅读 428
第17 章 威胁情报 429
17.1 什么是威胁情报？ 429
17.2 创建威胁情报计划 434
17.3 对威胁情报的创建工作进行小结 439
17.4 延伸阅读 440
第18 章 应用程序判定 .441
18.1 可用来认定应用程序的各种手段 442
18.2 认定应用程序的banner 并对其分类 456
18.3 延伸阅读 459
第19 章 网络映射 460
19.1 创建初始的网络资源目录与网络映射图 460
19.2 更新网络资源目录，以便持续地进行审计 481
19.3 延伸阅读 482
第20 章 与运维团队合作 .483
20.1 运维工作概述 483
20.2 运维工作中的各种流程 485
20.3 延伸阅读 496
第21 章 结论 498
书单推荐
