高分遥感影像拥有高空间分辨率,更有利于进行高可靠性的算法研发和精细化的行业应用,但数据成本高昂。近期,AI Earth平台新上了【影像超分辨率】功能,可提高低分遥感影像的空间分辨率,有效降低数据成本,提升低分影像的应用价值。当前功能分别适用于Sentinel-2影像和2m分辨率影像。
高分遥感影像(如GF2等)通常拥有高空间分辨率,有利于进行高可靠性的算法研发和精细化的行业应用,然而却面临高昂的数据成本;
低分遥感影像(如哨兵2等),免费开源,可以有效降低数据使用成本,同时拥有丰富的波谱信息,能提供更多的应用潜力;
图像融合,是将低分辨率的多光谱影像与高分辨率单波段影像重采样生成一幅高分辨率多光谱影像遥感的图像处理技术,使得处理后的影像既有较高的空间分辨率,又具有多光谱特征。
改进了PCA中信息过分集中的问题,不受波段限制,较好的保持空间纹理信息,尤其能高保真保持光谱特征。专为最新高空间分辨率影像设计,能较好保持影像的纹理和光谱信息
HSV融合分别将多光谱数据和高分辨率单波段数据从RGB转换为HSV,将得到的多光谱v分量替换为高分辨率的v分量,再将HSV逆变换为RGB。该融合方法由于涉及不同色彩空间的转换,因此对于非8bit数据,将被强制专为8bit,因此光谱信息存在丢失。同时,该方法只能融合三个波段,一般选择对应的RGB三个波段。
PCA变换首先对多光谱影像数据提取第一主成分,然后对高分辨率影像和第一主成分进行直方图匹配,使其具备相似的灰度值分布,再用全色高分辨率替换第一主成分,最后使用PCA逆变换得到融合图像。
算法流程为:原始图像—>重采样到全色图像大小—>PCA变换得到主成分图像—>用全色图像“替换”第一成分—>PCA反变换
遥感影像超分的主要意义和目的,是将低分辨率遥感影像转换为高分辨率遥感影像,从而提高遥感影像的空间分辨率和细节信息,以满足遥感下游任务的需求,如地物识别、变化检测等。
而遥感影像融合的主要意义和目的,则是将不同波段或不同分辨率的遥感影像信息进行融合,综合利用不同波段或分辨率的数据优势,从而提高遥感影像的质量和应用效益,如土地利用分类、环境监测等。
遥感影像超分主要采用图像插值和深度学习两种方法。其中,图像插值是一种基于传统数学方法的简单高效的处理方式;而深度学习是一种新兴的处理方法,利用神经网络等技术,实现遥感影像的高效处理和复原。
遥感影像融合可以分为像素级融合、特征级融合和决策级融合。常用像素级融合来提高遥感影像的质量。以全色波段和多光谱波段的融合为例,全色波段的影像一般有较高的分辨率但无法显示地物色彩,可见光波段分辨率一般较低,因此可以采用全色和多光谱融合的方法提高影像质量。常用的融合方法包括彩色变换(如RGB彩色合成)、图像代数运算(如图像相加或相乘)、图像变换(如KL变换)等方法。
遥感影像超分需要低分辨率遥感影像作为输入,以及高分辨率遥感影像的样本数据作为训练数据;而遥感影像融合需要不同波段或不同分辨率的遥感影像数据作为输入,以及相应的融合方法和参数。
在数据处理方面,遥感影像超分需要对输入数据进行预处理、特征提取和模型训练等步骤,以获得高质量的超分辨率遥感影像;而遥感影像融合需要对输入数据进行配准、预处理、变换和融合等步骤,以获得高质量的融合遥感影像。
选择建筑物提取和道路提取两个任务,验证超分影像的应用效果。任务中所采用的目标提取AI模型均由AI Earth团队自研。AI模型是利用真实高分影像数据集训练产生,我们将其在超分重建后的高分影像上进行推理,以判别AI模型是否能在超分重建后的影像上提取相应目标。
从上图可以看出,AI模型在低分影像(LR)上是无法判别提取相应目标的。但是能够在超分重建的影像(SR)上,提取建筑物、道路目标,并且得到的结果接近直接在真实高分影像(HR)上的效果。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.