本文介绍了复旦大学等机构在国际人工智能领域顶会AAAI20 上发表的论文《DeepDualMapper: A Gated Fusion Network for Automatic Map Extractionusing Aerial Images and Trajectories》。该论文提出了一种门控神经网络机制，融合遥感影像及车辆轨迹数据，自动生成地图。
01
问题背景
地图生成是基于位置服务的基础，例如导航、自动驾驶等都依赖于精准的地图服务。遥感影像数据和车辆轨迹数据对地图生成很有帮助，例如谷歌地球利用遥感影像提供即时的地图服务，车辆轨迹活动可以充分反映地图路网情况。然而，使用单一的数据源会造成信息损失，例如图1所示，在遥感影像图中，有些路段会被建筑物和植被遮挡；在轨迹数据中，有些偏远的路段只有少量甚至没有车辆经过。如果使用单一数据源，这种信息缺失会极大影响地图生成的准确性。遥感影像数据与车辆轨迹数据是不同类型的数据源，一方缺失的信息在另一数据源中可能可以被找到，因此将两种不同类型的数据源融合起来，对提高地图生成的精度会有很大帮助。然而现有工作融合的方式局限于简单将两个数据源的信息叠加起来或者求平均，无法很好地最大化利用不同数据源的优势，因此本文提出一个全新的融合模型，DeepDualMapper，旨在将遥感影像数据和车辆轨迹数据无缝衔接式的融合。本文设计了一个门控融合模块Gated Fusion Module (GFM)和一个精细化解码器DenselySupervised Refinement (DSR)，根据数据源的置信度，自动选择数据源，进而从粗粒度数据精细化至细粒度数据，更好地生成地图。
图1 背景介绍
02
模型结构
为了融合遥感影像数据以及车辆轨迹数据，本文提出了DeepDaulMapper。与现有的地图生成模型类似，本文将地图生成问题转化为像素级二元分类问题，即将地图转为黑白图片，判断每一个像素点上是否有道路。本文主要借鉴了U-Net思想，在此基础上添加了门控模块以及精细化模块，图2展示其基本结构。本文提出的方法的目标在于融合两种不同的数据源，因此设计了两个分支分别提取遥感影像数据以及车辆轨迹的数据的特征
，而后将他们通过门控模块融合起来
，最后通过精细化模块生成最终的地图。下面将详细介绍DeepDaulMapper每个模块的构建过程。
图2 模型结构图
1、门控模块
在特征提取阶段，本文主要借鉴了U-Net模型结构，这里不再做详细阐述。门控模块的设计灵感来源于人们做决策时的过程，当人们使用两种数据源做任务分析时，会选择其中一个数据质量更高的数据源。类比至地图生成任务，面对遥感影像数据以及车辆轨迹数据，我们会选择清晰度更高、置信度更高的数据源来生成地图（如图1所示），而门控模块可以帮助实现此目标。
图3 门控模块结构图
首先，本文引入了一个1X1 卷积层，将遥感影像数据源的特征与轨迹数据源的特征转化成同一个维度的特征
，而后利用下述公式，将两者线性组合至一起：
其中，
分别代表两个数据源的门控值。由于两个数据源的门控值和为1，因此如果一个数据源有更强的置信度，则门控值会高，反之则低。
2、精细化模块
通过门控模块线性融合两种数据源的结果生成地图时，可能仍会面临细节不够清晰、线路不够光滑等问题，如图4所示。为了更好的修正地图生成的效果，受残差精细化学习的启发，本文也利用了类似的信息为地图生成提供更多的特征，公式如下：
图4 精细化前的生成结果
图5展示了精细化模块的结构，本文提出的精细化解码器模块仍旧借鉴了U-Net结构，区别在于U-Net跳跃式连接了激活图，而本文是连接了经过门控模块的融合特征。需要强调的是，本文不可以只依赖于精细化模块的结果来最小化损失函数，因为这样的目标函数会无法很好地学习门控融合。因此，本文设计了一个共享预测模块，门控融合的特征与精细化模块修正的特征会同时输入至最后一层，共同优化目标。
图5 精细化模块结构
03
实验结果
为了验证模型的有效性，本文分别在Porto、上海、新加坡三个城市的数据集上进行了实验。本文比较了三种类型的模型，其一以TCI、KDE和COBWEB为代表的基于轨迹数据生成地图的模型；其二以DeconvNet等为代表的基于遥感影像数据生成地图的模型；其三以Early-fusion等为代表的多源数据融合生成地图的模型。本文选择IoU(intersection of union) 以及F1-score做为评估标准，实验结果如表1所示。实验结果表明，本文提出的DeepDualMapper生成的地图，在不同数据集上，对比不同基准模型，均取得最优性能。其中，在Porto数据集上表现最好，是因为该城市的遥感影像数据相较于上海、新加坡，质量最佳。
表1 不同方法不同数据集下的地图生成准确率
此外， 本文还分析了门控模块以及精细化模块的性能，实验结果如图6所示。可视化结果展示了门控模块是如何控制、选择遥感影像数据以及轨迹数据来生成地图。其中，白色表明门控选择值大，黑色表明选择比重小。可以明显的看出，本文设计的门控模块会自动选择质量更高的数据源来生成地图。
图6 门控模块可视化
图7可视化的展示了精细化模块的效果。可以明显的看出，经过精细化模块，生成的地图更加连续、光滑，地图生成的效果也有了进一步的提高。
图7 精细化模块可视化
04
总结
本文提出了一种融合遥感影像数据以及车辆轨迹数据自动化生成地图的方法DeepDaulMapper。通过门控模块以及精细化模块，DeepDaulMapper进一步提高了模型的准确性。在三个数据集上的实验结果表明DeepDaulMapper在地图生成的有效性。