无人机高光谱影像处理方法的探索
张晶晶 杨 盼 张德成
(自然资源部第一大地测量队,陕西 西安 710054)
摘要：针对目前已有无人机影像处理软件不支持高光谱影像预处理,及低版本遥感图像处理平台(ENVI)批量化处理数据困难的问题,研究了利用交互式数据语言(interactive data language,IDL)与无人机遥感图像处理软件(PIE-UAV)相结合进行无人机高光谱影像处理的方法。首先,使用IDL实现影像预处理,包括影像配准、影像白板校正。其中,影像配准阶段包含单波段影像配准、配准后影像外扩、多波段合成以及影像裁切等步骤。其次,使用PIE-UAV进行影像正射纠正,使用ENVI软件进行影像镶嵌。实验结果表明,该方法能够得到色彩过渡均匀且满足要求的拼接高光谱影像。
0 引言
高光谱遥感是利用成像光谱仪,在电磁波的可见光、近红外、中红外和热红外波段范围内,获取多个光谱连续的影像技术,该影像的光谱分辨率较高[1]。高光谱影像的每个像元能够提供几乎连续的地物光谱曲线,能够同时反映地物的空间特征和光谱特征。随着紧凑型低成本光谱仪的快速发展,及无人机便于携带、起降灵活、风险小等优点,基于无人机的高光谱成像系统应用越来越广泛,如林火监测、地质勘探、海洋探测等[2-3]。
目前已有很多成熟的商业软件用于处理无人机遥感数据,如Inpho、PixelGrid、Correlator3D、pixel information expert,unmanned aerial vehicle(PIE-UAV)、PIX4D Mapper、PhotoScan等[4-5]。其中Inpho、PixelGrid对于源数据(相机参数、影像外定向参数等)要求较为严格,难以处理没有地理参考的影像。PIX4D Mapper、PhotoScan、Correlator3D仅需影像数据就可以进行影像拼接,但不支持高光谱影像的处理。PIE-UAV软件系列包含PIE-UAV、PIE-Hyp、PIE-Ortho等模块,PIE-Hyp为高光谱分析模块,可以对星载高光谱数据进行图谱分析、目标探测等处理,无法进行无人机高光谱影像的纠正、拼接处理。目前一些研究人员对机载高光谱影像处理进行研究,如邹松采用了基于运动恢复结构(Structure from motion,SFM)和多视图立体(multi-view stereo,MVS)的影像拼接方法,实现高光谱影像的快速拼接[6];牛璐璐首先将单波段影像进行空间拼接,然后将所有单波段进行融合,最后将融合后的光谱影像与颜色系统(red green blue,RGB)合成影像再次进行融合,实现高光谱影像的拼接[7]。虽然这两种方法都可以进行多张无人机高光谱影像的拼接,但其精度不高。Rikola高光谱仪随机软件RegMosaic自动一步完成所有处理,人工无法对中间过程成果进行干预,造成生成的影像有明显拼接痕迹等问题,影响光谱分析。
为此,本文探索利用多光谱影像的纠正方法处理无人机高光谱影像,提高结果精度。PIE-UAV软件能够支持高光谱影像的部分处理,如空三加密、数字地表模型(digital surface model,DSM)匹配、正射纠正等。但由于光谱仪的成像特点,导致同一幅影像中不同波段的空间位置出现差异,无法直接利用PIE-UAV软件进行纠正。因此,本文通过交互式数据语言(interactive data language,IDL)[8]进行影像预处理以得到PIE-UAV支持的高光谱影像。首先,本文进行单波段影像配准、波段合成、裁切;其次,进行白板校正;然后,利用PIE-UAV进行空三处理、DSM匹配、影像纠正;最后,利用遥感图像处理平台(The Environment for Visualizing Images，ENVI)软件进行影像镶嵌,得到拼接高光谱影像。
1 高光谱影像预处理 1.1 单波段影像配准裁切
1.1.1 影像配准
图1 不同单波段影像存在位置差异
影像配准的目的是将两幅影像中对应于空间同一位置的点一一对应起来[9]。本文主要采用特征点配准方法来完成,该方法具有计算量少、效率高、鲁棒性等特点[10]。通过以下4个步骤进行：
(1)特征点检测。特征点检测结果的好坏,直接影响配准的精度,乃至影像拼接的最终结果。本文使用特征点检测算法Moravec,因为该算法检测到的特征点较多,准确率也相对更高。
(4)重采样与转换。使用映射函数转换待匹配影像,并进行重采样。
无人机高光谱影像的波段数目较多,进行单波段灰度影像配准时需要选择一个波段作为基准波段,将其余波段与基准波段进行配准,得到配准后的单波段影像。这种方法的配准误差最小,且可以避免出现误差累积的情况。
1.1.2 波段合成
通过空间变换将两个影像进行配准之后,不可避免地会出现两个单波段影像角点不对齐的情况,如图2所示,会直接导致无法进行波段合成。
图2 配准后波段3影像角点偏移
为此,本文首先将基准波段影像进行外扩处理,即东南西北四个方位均外扩200个像素,然后将配准后的其余波段也进行外扩处理,每个方位外扩的像素数目由此波段与基准影像的相对位置关系决定。设基准影像的左上角坐标为(0,0),影像的尺寸为1 010×648,则外扩后基准影像的尺寸为1 410×1 048。图2中配准后波段3影像的像素大小为1 011×646,左上角坐标相对于基准波段的坐标为(2,-6),则配准后波段3影像的西边应外扩202个像素,北边应外扩206个像素,东边应外扩197个像素,南边应外扩196个像素,如图3所示。
图3 配准后波段3影像外扩示意图
进行单波段影像配准并外扩后,得到多个同一空间位置点一一对应且尺寸一致的单波段影像,将其进行波段合成,便可得到波段配准后的高光谱影像[11-12]。
1.1.3 影像裁切
为了波段合成,外扩处理后的影像与原始数据的尺寸不一致,会导致PIE中影像纠正失败。为此,需要进行影像裁切。为了不改变裁切后影像与原始影像的空间位置,本文以基准波段的位置为基础,裁掉外扩的像素,得到与原始影像尺寸一致的配准后高光谱影像。
1.2 影像白板校正
配准后的影像依然包含白板[13],因此,需要通过以下步骤进行高光谱影像白板校正。
(1)白板辐射量S3：利用ENVI软件获得10个或更多像素点每个波段的光谱值,并取每个波段光谱值的平均值,作为白板辐射量。
(2)标准白板反射率数据S2：依据标准白板反射率得到对应波长的反射率。若波长介于标准白板两个波长之间,则可取平均值作为该波段的反射率,或将两个波长的反射率进行加权得到该波段的反射率。
(3)高光谱影像白板校正：在ENVI软件的spectral math窗口中输入式(1),即可获得白板校正后的高光谱影像。
其中，S表示白板校正后的高光谱影像；S1表示进行图像配准后的影像；S2表示标准白板反射率；S3表示白板辐射量。
ENVI软件中每次操作只能校正一幅影像,但航空影像像幅小、数据量大,利用ENVI软件进行白板校正,需要消耗大量的时间。为此,本文利用交互式数据语言编写白板校正批处理工具,提高影像校正效率。
1.3 PIE-UAV影像纠正及镶嵌
利用PIE-UAV软件建立工程进行影像处理时,需要导入配准后的高光谱影像、高精度位置与姿态测量系统(position and orientation system,POS)数据及相机文件[14]。通常高光谱仪难以获得地物的地理位置信息,因此,需要借助全球导航卫星系统(global navigation satellite system,GNSS)模块配件获得影像的位置信息。在正射纠正过程中,为了保持光谱值不变,本文不进行影像匀光匀色处理[15]。
进行影像纠正后,利用ENVI软件进行高光谱正射影像镶嵌,同样不进行匀光匀色处理。ENVI软件编辑镶嵌线时,只能显示单个波段,且为灰度影像,若出现像素缺失问题,则无法发现。因此,本文先利用ENVI生成镶嵌线并导出,然后在Arcgis中加载影像及镶嵌线,并根据影像纹理编辑镶嵌线,最后将编辑好的镶嵌线导入ENVI中,进行影像镶嵌。
综上所述,本文无人机高光谱影像处理流程如图4所示。
图4 本文无人机高光谱影像处理流程
2 实验 2.1 实验数据
本文实验使用的数据是通过无人机搭载的高光谱成像仪Rikola采集的影像,Rikola高光谱仪的焦距是9 mm,波段范围为500～900 nm,波段个数最大可达380个。本文实验数据选取的波段个数为50个,波长范围为504.01～847.05 nm,影像尺寸1 010×648像素。由于高光谱影像波段多,数据量大,所以本文研究在三条航带中选取具有重叠部分的一小块区域。
2.2 实验结果及分析
2.2.1 影像配准裁切
本文研究使用的无人机高光谱影像具有50个波段,本文将波段1影像作为基准影像,将其余49个波段影像与基准影像进行配准。图5给出了本文使用Moravec特征点检测算法在基准影像及待批准影像检测到的连接点。表1给出了同一高光谱影像的波段1影像及其余影像中同名点的个数及误差。图6给出了配准之后的结果。
(a)基准影像检测到的同名点
(b)待配准影像检测到的同名点
图5 Moravec算法检测到的同名点
从图5及表1中可看出虽然单波段影像为灰度影像,没有色彩特征,但Moravec算法依然能够检测到足够多的同名点,均匀分布在影像中;且同名点间的误差小于1个像素,精度较好。这些均避免了由于同名点数量少、同名点分布有漏洞导致的配准失败。从图6可知,本文使用Moravec算法检测特征点并配准的方法能够得到较好的配准结果。
表1 基准影像与单波段影像同名点的个数及误差
(a)波段3和波段2影像 (b)波段1和波段15影像图6 不同单波段影像配准结果
为进行波段合成,本文将原始尺寸为1 010×648像素的基准影像及配准后的单波段影像进行外扩,外扩的光谱值给定0,得到尺寸为1 410×1 048像素的多个单波段影像,并进行合成。如图7所示,其中图7(a)为基准波段外扩后影像,图7(b)为配准后波段5外扩后影像,图7(c)为多波段合成后影像。
(a)基准波段外扩后影像 (b)配准后波段5外扩后影像
(c)多波段合成后影像
图7 配准、外扩后的单波段影像及波段合成影像
从图7(d)可知,本文将基准波段影像的东南西北四个方位外扩200个像素,能够满足其余波段影像配准后的像素溢出,并为波段合成提供方便。
波段合成后以基准波段(波段1)影像为基础进行影像裁切,得到与原始影像像素大小相同的配准后高光谱影像,如图8所示。从图中可知,配准后的高光谱影像的有效范围缩小,这是因为高光谱影像是逐波段不同时间获取的,同一地物在同一景影像的不同波段中的像不一致,导致配准后的影像有效使用范围减小。但由于航空影像的重叠度高,所以这并不会影响到后续的数据处理。
(a)影像1 (b)影像2
图8 裁切后影像
2.2.2 白板校正
本文研究的高光谱影像有50个波段,波长在504.01～847.05 nm之间,利用ENVI软件获得的光谱辐射量和依据波长得到的标准反射率如表2所示。
表2 白板校正参数
利用1.2节所述的式(1)及表2中的光谱辐射量与标准反射率即可进行白板校正。本文使用IDL编写的批量白板校正工具进行批处理,节省时间及人力。图9给出了白板校正前后同一点的光谱曲线图。从图中可看出,同一点的波谱曲线的趋势是一致的,说明白板校正的结果是有效的、准确的。
(a)白板校正前
(b)白板校正后
图9 同一空间点白板校正前后光谱曲线
2.2.3 影像纠正与拼接
利用PIE-UAV处理高光谱影像,建立高光谱工程,导入高光谱影像、POS数据、相机文件及控制点文件,即可进行空三加密、DSM匹配及正射纠正。纠正后的单片影像如图10所示。
图10 PIE-UAV正射纠正后影像
PIE-UAV软件处理影像时,不需要严格的相机参数及影像的外方位信息,操作也相对简单易学,操作人员能够快速上手,为无人机影像的数据处理提供方便。
使用1.3节所述的镶嵌方法,得到拼接影像,如图11(a)所示。图11(b)为Rikola光谱仪随机软件ReMosaic处理后的拼接影像。
(a)本文方法拼接图 (b)ReMosaic拼接图
图11 本文方法与ReMosaic软件结果
从图11(b)中可以看出,Rikola光谱仪随机软件ReMosaic处理影像后的结果不理想,存在较严重的拉花问题,且拼接处的色彩过渡比较生硬。从图11(a)中可看出,本文方法处理效果较好,影像镶嵌线两侧和相邻影像色调应基本一致色彩过渡自然,地物合理接边,无模糊、重影和发虚现象,在高差较大的地区未出现拉花现象,效果和质量均能够满足分类的要求。本文使用ArcGIS编辑镶嵌线的方法能够尽量避免拼接影像镶嵌线附近出现一些色彩偏差问题,减少后期工作量,提高工作效率。
3 结束语
本文研究了无人机高光谱影像的处理方法,使用交互式数据语言完成无人机高光谱影像的预处理、PIE-UAV软件进行正射纠正、ENVI软件进行影像镶嵌,得到无人机高光谱影像拼接图。影像预处理阶段,本文首先进行单波段影像配准等步骤得到配准后的高光谱影像;其次,进行影像白板校正,为后续影像处理做好准备。通过使用Rikola高光谱成像仪采集影像的实验证明,本文方法能够得到无波段损失且精度满足要求的拼接影像,结果优于ReMosaic软件的拼接成果,且在部分处理步骤上使用批处理工具,一定程度上提高了工作效率。
本文研究的不足有以下两点：①影像配准工具处理时占用内存较大;②PIE-UAV软件处理时,人工干预较少,匹配出来的DSM数据无法进行编辑。在以后的工作中,本文会以这两点为主要目标,寻找解决办法,进一步提高精度及效率。
（原文有删减）
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.