本书以交通大数据为基点,结合公路、铁路、水路、民航、邮政、管道六大业务领域,依次介绍了交通大数据概述、交通大数据技术、大数据中心平台建设、交通数据常用分析方法、高速公路应用、民航应用、港口应用、交通大数据发展展望,实现了从行业需求到核心内容建设,从专业技术落地研究到实际应用,最后到发展趋势展望的全贯通。本书能够帮助智能交通、人工智能、交通运输、大数据等相关专业的学生系统了解以大交通、大数据、人工智能、综合应用为特征的最新的学科知识,并能够使以本科生、研究生为主的读者具备一定实践和初步研究的能力。
本书可作为高等院校交通类专业课程的教材,也可供IT行业、交通行业的从业人员自学使用。
本书内容点面结合,面上尽量涵盖交通行业必要的知识,使读者能概览大交通的全貌;点上突出交通大数据建设、研究、应用的新情况。
编写风格体现了通俗易懂、由浅入深的特点,大量采用了本书各研究及实践团队的最新成果图片、工程案例、研究算法等内容。
满足本科生满足基本落地操作的要求,启发研究生针对智能交通的一些新的算法研究和应用,有利于智能交通专业人员跟踪国内智能交通项目发展趋势。
进入21世纪后,随着大数据、人工智能、云计算、物联网、智联网、5G等技术的出现,传统的交通行业发生了很大的变化,由此产生了智能交通概念并促进了相关技术在交通行业内的蓬勃发展。智能交通的基础是数据,其核心是解决交通大数据的汇聚和应用两大问题。
本书的策划思路有2个特点。
1.点面结合,面上尽量涵盖交通行业必要的知识,使读者能概览大交通的全貌;点上突出交通大数据建设、研究、应用的最新情况,有利于本科生满足基本落地操作的要求,有利于启发研究生针对智能交通的一些新的算法研究和应用,有利于智能交通专业人员跟踪国内最新智能交通项目发展趋势。
2.编写风格体现了通俗易懂、由浅入深的特点,大量采用了本书各研究及实践团队的最新成果图片、工程案例、研究算法等内容。
本书包含8章。
第1章概述了交通发展史,介绍了公路、铁路、水路、民航、邮政、管道六大交通运输领域的基本概念,定义了人流、物流、运输工具流、资金流、交通数据流,介绍了国内外交通大数据现状,为初学者提供了系统的交通大数据入门基础知识。
第2章介绍了交通大数据相关的主要技术,在终端技术方面重点介绍了终端传感技术、边缘计算技术、业务系统,介绍了与交通紧密相关的地理信息系统、卫星定位技术、硬件通信技术、软件通信技术、数据传输和存储技术、ETL技术、数据计算技术、主流开发技术、前后端分离技术、专题二维三维展示组件技术、虚拟现实技术、人工智能技术,为读者进行大数据分析提供了技术选择路线,并进行了技术落地可操作性导入介绍。
第3章介绍了大数据中心平台主要建设内容,包括交通数据种类、数据全生命周期、数据接口及格式,大数据中心形成条件、构建交通三级大数据中心、交通大数据中心主要任务,大数据综合业务框架、综合功能框架、综合存储框架、数据分类设计,基于大数据中心平台的数据分析基础、大数据中心平台应用定位、数据标准、数据制度等。
第4章介绍了交通数据常用分析方法,包括基于交通的GIS数据分析方法、交通流预测分析方法、交通模拟试验分析方法等。
第5章、第6章、第7章介绍了基于大数据、人工智能的高速公路、民航、港口应用场景及相关算法。
第8章对交通大数据发展趋势进行了展望。
本书可作为交通专业的本科生、研究生的教材,也可供从事交通领域项目开发和研究的IT工程师,以及相关专业的高校老师、研究人员或相似产业的技术人员参考。
需要注意的是,第4章部分带*的内容,适合研究生学习使用,本科生可以将其作为课外阅读内容。另外,本书实践部分采用了Python语言作为代码编写工具,建议高校在开设本课程的同时开设一门Python语言编程课程。
读者可通过本书学习交流QQ群获取相关资料,本书配套的PPT、习题及实验手册见QQ群文件夹(学习交流QQ群号:435486822)。
任课老师若需要其他帮助,可以与QQ群群主联系。
在编写本书过程中得到了国内智能交通行业相关专家、高校相关专业老师、IT企业相关领导的大力支持,在此表示感谢。
由于作者能力有限,书中难免有疏漏之处,请读者朋友们多多指正,问题反馈联系方式见本书相关QQ群,特此感谢。
编者
顾明臣,硕士,交通运输部规划研究院交通规划基础研究所所长,高级工程师,在智能交通技术创新应用与研发方面具有丰富经验,发表相关专业SCI/EI检索论文8篇,参编著作4种,参编行业标准5项。
周卫峰,天津大学博士后,教授级工程师,天津市智能交通运行监测中心主任,道路领域知名专家。著书1种,发明专利4项,实用新型专利2项,发表国内外期刊论文20余篇,已独立培养硕士10名,独立在培硕士1名。
薛桂香,天津大学计算机应用技术专业博士,河北工业大学土木与交通学院博士后,主持或主研国家级项目5项,省部级项目8项,发表SCI等高水平论文十余篇,获省部级科技进步一等奖1项。
赵怀柏,复旦大学硕士,正高级工程师,上海电科智能系统股份有限公司副总经理,长年从事智能交通行业前沿技术研究、软件研发和项目管理工作。获软件著作权30多项、发明专利5项、发表论文16篇,主持编写地方标准3个,荣获省部级科技进步奖6项。
李海丰,博士,副教授,中国民航大学计算机科学与技术学院副院长,主持完成国家重点研发计划课题、国家自然科学基金课题各1项,参与完成国家级与省部级科研项目8项,发表学术论文50余篇,国家发明专利授权6项。
刘瑜,硕士,高级工程师、高级信息项目管理师,天津智能交通联合研发中心副主任,从事智能交通工作20余年,承担上亿元级别智能交通项目1个、千万元级别5个,出版软件工程项目管理、编程、数据库、大数据、人工智能等专著16种,发表论文10余篇,参与行标编写2项,主持地标编写1项,承担厅局级课题2项。
前言
第1章交通大数据概述1
1.1交通发展史1
1.1.1传统交通发展1
1.1.2智能交通发展2
1.2交通运输领域3
1.2.1公路3
1.2.2铁路4
1.2.3水路5
1.2.4民航5
1.2.5邮政6
1.2.6管道7
1.3交通流7
1.3.1人流7
1.3.2物流8
1.3.3运输工具流9
1.3.4资金流10
1.3.5交通数据流11
1.4国内外交通大数据现状11
习题及实验13
第2章交通大数据技术14
2.1终端技术14
2.1.1终端传感技术14
2.1.2边缘计算技术15
2.1.3业务系统16
2.2地理信息系统及卫星定位技术16
2.2.1地理信息系统16
2.2.2卫星定位技术17
2.3通信技术17
2.3.1硬件通信技术17
2.3.2软件通信技术18
2.4数据管理及开发技术19
2.4.1数据传输技术20
2.4.2数据存储技术21
2.4.3ETL技术21
2.4.4数据计算技术22
2.4.5主流开发技术23
2.5展示技术24
2.5.1前后端分离技术24
2.5.2专题二维三维展示组件技术25
2.5.3虚拟现实技术26
2.6人工智能技术27
2.6.1Scikit-learn28
2.6.2PyTorch30
2.6.3TensorFlow31
习题及实验34
第3章大数据中心平台建设35
3.1交通数据35
3.1.1交通数据种类35
3.1.2数据全生命周期37
3.1.3数据接口及格式38
3.2国内交通大数据中心现状39
3.2.1大数据中心形成条件40
3.2.2构建交通三级大数据中心40
3.2.3交通大数据中心主要任务41
3.3大数据中心平台框架设计43
3.3.1综合业务框架设计43
3.3.2综合功能框架设计44
3.3.3综合存储框架设计45
3.3.4数据分类设计47
3.4数据分析基础48
3.4.1编程语言分析49
3.4.2SQL分析51
3.4.3大数据分析52
3.4.4文件数据分析54
3.4.5AI分析55
3.4.6可视化分析58
3.4.7其他专用工具分析60
3.5大数据中心平台应用定位61
3.5.1数据汇聚与共享62
3.5.2大屏展示与交流62
3.5.3交通指挥调度62
3.5.4视频会议协调65
3.5.5综合决策应用65
3.5.6定向数据研究66
3.6数据标准及制度建设67
3.6.1数据标准67
3.6.2数据制度68
习题及实验68
第4章交通数据常用分析方法70
4.1基于交通的GIS数据分析方法70
4.1.1热力图及实现70
4.1.2OD迁徙图及实现75
4.1.3最优路径算法及实现76
4.1.4核密度估计模型及实现*77
4.2交通流预测分析方法80
4.2.1线性回归预测分析80
4.2.2K最近邻算法预测分析84
4.2.3贝叶斯网络预测分析*87
4.2.4多层感知机预测分析*89
4.2.5支持向量机预测分析*94
4.2.6深度神经网络预测分析*98
4.3交通模拟试验分析方法102
4.3.1虚拟仿真方法102
4.3.2试验仪器方法105
习题及实验107
第5章高速公路应用108
5.1高速公路业务及数据108
5.1.1高速公路主要业务108
5.1.2高速公路主要数据110
5.2高速公路主要业务系统及发展方向112
5.3高速公路车辆目标轨迹跟踪定位113
5.3.1车辆跟踪需求分析113
5.3.2研究进展115
5.3.3雷达车辆目标识别方法115
5.3.4运动目标轨迹跟踪方法116
5.3.5雷达视频联动目标跟踪定位方法117
5.3.6雷达视频联动应用118
5.4高速固定视频图像识别120
5.4.1固定视频图像识别需求分析120
5.4.2研究进展121
5.4.3运动目标提取方法122
5.4.4运动模式识别方法123
5.4.5各类交通事件检测方法123
5.4.6固定视频图像识别应用125
5.5高速短时交通流预测127
5.5.1短时交通流预测需求分析127
5.5.2研究进展128
5.5.3基于LSTM的短时交通流预测应用129
习题及实验130
第6章民航应用132
6.1民航业务及数据132
6.1.1民航主要业务132
6.1.2民航主要数据133
6.2民航主要业务系统及发展方向134
6.3航空飞行器检修135
6.3.1检修需求分析135
6.3.2飞机外观检测类型136
6.3.3研究进展137
6.3.4绕机检查技术方案实现142
6.4FOD检测146
6.4.1FOD检测需求分析146
6.4.2研究进展147
6.4.3无人机FOD检测实现149
6.5机场跑道病害检测150
6.5.1机场跑道病害检测需求分析150
6.5.2机场道面自动化运维方法151
6.5.3机场道面病害图像检测算法实现151
6.5.4机场道面地表病害检测算法实现153
习题及实验156
第7章港口应用157
7.1港口业务及数据157
7.1.1港口主要业务157
7.1.2港口主要数据159
7.2港口主要系统及发展方向160
7.3港口作业调度164
7.3.1港口作业调度需求分析164
7.3.2研究进展165
7.3.3码头外部主要影响因素分析167
7.3.4基于云缓冲区设计思路168
7.3.5三级云缓冲区模型及实现169
7.3.6云缓冲区调度模型及实现170
7.3.7作业趋势分析模型及实现170
7.3.8作业机力兑现率分析模型及实现171
7.4集装箱货车到港预约172
7.4.1集装箱货车到港预约需求分析172
7.4.2研究进展173
7.4.3基于大数据的预约模型设计方法173
习题及实验175
第8章交通大数据发展展望177
8.1运输行业新业态发展177
8.2数据深入融合应用发展178
8.3高级分布式数据中心发展180
8.4数据安全、确权及交易发展182
习题及实验183
附录配套代码清单184
参考文献185
后记190