《无人机图像去云技术》结合具体工程应用,系统阐述了无人机图像云去除及去除效果评价相关的技术和方法,重点突出了厚云去除部分的介绍。全书共7章,包含了绪论、无人机含云图像去除涉及的基础知识以及无人机图像的云区检测、云浓度分级、薄云雾去除、厚云去除和去除效果评价等内容。
《无人机图像去云技术》内容是作者及团队多年的研究成果,涉及的相关技术模型和算法都经过代码测试和实验对比验证,实用性较强。
《无人机图像去云技术》可作为高等院校无人机运用工程专业的本科生参考教材,也可以作为从事无人机图像分析、无人机应用技术等相关研究人员的参考资料。
无人机等航拍设备拍摄时易受云雾天气的影响,云雾噪声的存在严重干扰了航拍图像的后续处理。为研究方便,一般情况下可将云雾分为薄云、厚云两类,学者们经常将雾归为薄云加以处理且取得了较好效果,厚云的出现会导致遮挡部分的信息不可逆损失,造成图像质量降低,地物信息不连续,目标区域不完整,给后续的语义分割、目标检测与识别带来不可预知的影响。采取合适的云雾去除算法能有效地增强无人机等航拍图像的清晰度和利用率,具有十分重要的理论意义和应用价值。
目前对于厚云的研究主要集中在卫星遥感领域,其目的是增加遥感图像信息的可用性,该领域每年在顶级会议和期刊上均有论文发表,已形成不少研究成果。去厚云可理解为云区像素的“填充生成”,常用方法可归为多光谱法、多时相法和图像修复法三类。多光谱法利用各光谱的相关性,假设在图像局部某些光谱像素值具有确定的函数关系。多时相法利用不同时间同一地区的图像进行云区图像块的拼接和预测。图像修复法假设云覆盖区域与其他像素具有像素值和纹理的一致性,利用空间信息对缺失像素进行插值。无人机图像云去除与遥感图像云去除具有相似性,同时也具有自身的特点,如无人机载荷和存储的限制,很难携带类似卫星的多光谱成像装置,成像高度不同且航迹不固定。
本书研究的无人机图像拍摄于2000m以上高空,不同于卫星遥感图像和民用无人机图像,已有的遥感图像去云的相关工作为本书的研究提供了很好的参考和借鉴,但直接作用于无人机图像去云存在一定障碍:一是在无人机飞行高度和分辨率水平上,不同图像呈现多种地物多种分布,现有方法对此还缺少研究;二是现有图像修复方法大多是针对单幅图像,没有充分利用图像间的信息;三是对于大云区遮挡、多分布、多类型地物的无人机图像,修复结果往往会出现纹理断裂、预测失误、轮廓模糊,造成伪迹伪影的情况。
另外,图像去云属于不适定问题,去云后填充的像素值可能存在多种解,解空间的不同选择产生的效果也各有差异,一般来说云去除恢复的准确度随着云遮盖区域面积的增加而下降,如何对恢复的准确度进行客观评价也是一个重要问题。目前针对无人机含云图像的去除问题研究刚刚起步,因此本书的内容具有一定的新颖性。
全书分为7章:第1章介绍研究背景并综述分析国内外图像去云雾技术的研究现状,给出本书的研究内容和章节安排;第2章介绍无人机图像云雾去除相关的基础知识,包括了大气中云雾的成像机理和图像特征,简要描述薄云雾和厚云环境下的图像退化模型,最后给出后续使用的深度学习和图像质量评价相关知识;第3章介绍一种基于阈值递归选取和引导滤波的航拍图像云检测算法;第4章尝试分析从图像质量角度出发给出的云等级划分,为后续的云去除提供自动化选择手段;第5章针对无人机图像中的薄云提出一种改进的暗通道快速去除方法;第6章设计了一种基于深度卷积对抗生成网络的图像修复去厚云技术及方法;第7章针对厚云去除以后的效果评价问题进行了探讨。
本书利用当前深度学习理论针对无人机图像云去除问题进行研究,既有明确的工程应用背景,也是新技术的拓展尝试;撰写过程中,已毕业研究生张思雨、薛松两位同志也做了相关内容构建的工作。
借此机会对审阅本书的专家表示诚挚的感谢,他们提出的意见对本书的成稿帮助极大。由于作者水平有限,加上可供借鉴的无人机图像云去除资料较少,故书中难免会出现不妥或错误之处,恳请读者进行批评和指教。
本书出版得到了国防工业出版社的大力支持,获军队重点课题(LJ2019A020098)的出版资助。
第1章 绪论
1.1 研究背景及意义
1.2 图像云雾去除技术现状
1.2.1 图像去薄云雾方法研究现状
1.2.2 图像去厚云方法研究现状
1.3 研究内容及特点
1.3.1 研究的主要内容
1.3.2 本书特点
参考文献
第2章 无人机图像云雾去除的相关理论
2.1 大气中云雾的形成机理
2.2 无人机云雾图像的特征分析
2.2.1 时域特征
2.2.2 频谱特性
2.3 云雾图像的退化模型
2.3.1 雾、薄云图像的退化模型
2.3.2 厚云图像的退化模型
2.4 深度学习概念及技术
2.4.1 深度学习
2.4.2 自动编码器
2.4.3 卷积神经网络
2.4.4 生成对抗网络
2.4.5 深度卷积生成对抗网络
2.4.6 卷积运算
2.4.7 转置卷积
2.4.8 激活函数
2.4.9 批标准化
2.5 图像质量评价相关知识
2.5.1HVS基本特性
2.5.2NR评价模型及方法
2.5.3 图像质量评价数据库
2.5.4 衡量IQA算法的指标
2.6 本章小结
参考文献
第3章 无人机图像云区检测方法
3.1 经典图像分割算法
3.1.1 0tsu阈值分割算法
3.1.2 最小误差阈值分割算法
3.1.3 最大熵阈值分割算法
3.2 基于阈值递归选取和引导滤波的云区检测方法
3.2.1 初步云区检测
……
第4章 无人机图像云浓度分级
第5章 无人机图像薄云雾去除
第6章 无人机图像厚云去除
第7章 厚云去除的效果评价
后记