band_1,band_2
卫星图像数据,band_1和band_2是以特定入射角下不同极化方式产生的雷达后向散射为特征的信号,分别对应HH(水平发射/水平接收)和HV(水平发射/垂直接收)两种极化方式的数据,其大小均为。
inc_angle
获得该数据时的入射角度。该字段部分缺少数据,标记为“na”。
is_iceberg
类标,0:船只,1:冰山。
我们将数据可视化后进行观察,如图1所示。图像上方是冰山图像的可视化效果,三幅图分别对应“HH”计划方式、“HV”计划方式以及两者结合后的数据。图像下方是船只图像的可视化效果。
图1训练数据可视化效果
图1中的冰山和船只,通过观察可以较为容易的区分出来,但是还有很多如图2所示的数据,即使仔细观察也很难区分开来。
图2 训练数据可视化效果
三、数据预处理
首先我们导入需要的包:
接下来我们定义一个数据预处理的函数:
第11行到第17行代码中,我们对样本数据进行了处理,除了原有的“band_1”和“band_2”,我们增加了“band_3”,band_3=band_1+band_2。最后我们使用numpy的“dstack”将三种数据进行堆叠,因此我们单个样本的数据维度为75x75x3。
第20行代码是调用“create_more_data”函数对训练数据进行扩充,第26行代码是对训练集的类标数据进行扩充,因为“create_more_data”函数将训练数据扩充为了原来的6倍,因此这里对应的也要将类标扩充为原来的6倍。
“create_more_data”函数的实现如下:
在“create_more_data”函数中我们通过对图像进行旋转和翻转来扩充数据集,虽然旋转前后的图像是同一张,但是由于特征的位置发生了变化,因此对于模型来说就是不同的数据,旋转或翻转操作是扩充图像数据集的一个简单有效的方法。在31至35行代码中,我们定义了5个列表,用来保存扩充的数据集,对应的操作分别是逆时针旋转90度、逆时针旋转180度、逆时针旋转270度、左右翻转和上下翻转。具体实现如下:
上面的代码中,我们使用numpy的“rot90”和“flip”函数对图像进行旋转和翻转操作。“flip”函数的第二个参数控制翻转的方式,“0”为左右翻转,“1”为上下翻转。第78行代码中,使用numpy的“concatenate”函数将扩充的数据预原数据进行拼接。
四、模型搭建
接下来我们实现模型部分,这里我们使用TensorFlow的高级API来搭建网络。
在第109行代码中,我们使用“Flatten()”将前一层网络的输出转换为了一维的数据,这是为了接下来的全连接操作。第112行代码是第一个全连接层,有256个神经元,全连接层后面接relu激活函数,同样使用了Dropout。第117至119是类似的一个全连接部分。
由于是二分类问题,在122行代码中我们使用了一个只有一个神经元的全连接层,并使用了Sigmoid激活函数,得到最终的输出。
第126至128行使用“compile”编译模型,其中“loss='binary_crossentropy'”指明使用的是对数损失函数,通过“optimizer”参数设置使用Adam优化器,学习率设置为0.0001。“metrics” 列表包含评估模型在训练和测试时的性能的指标,我们设置了“metrics=['accuracy']”,则在训练的过程中,训练集和验证集上的准确率都会打印出来。
第130行使用了“summary()”函数,训练开始后终端会打印出模型的概况信息,如图3所示,其中包含了网络的结构,以及每层的参数数量等信息。其中最后一行显示我们总的训练数据为7699条,验证集的数据量为1925条。
图3 模型的概况信息
五、结果分析
接下来我们读取数据,并训练模型:
第134行代码中我们调用“data_preprocess”函数获取预处理后的训练数据,设置“more_data”为“true”进行数据扩充。第140行代码中,我们调用“fit”方法开始模型的训练,通过“batch_size”设置每个批次训练25条数据,通过“epochs”设置训练的总回合数为“100”。通过设置“verbose”为1,在终端上显示训练的进度。通过设置“validation_split”为0.2,将训练集一分为二,其中80%作为训练集,20%作为验证集。
模型的训练过程和结果如图4所示:
图4 模型的训练过程和结果
六、总结
在前面几节内容里我们介绍了卷积神经网络的基本结构和原理,在这一节里我们使用TensorFlow搭建了一个简单的卷积神经网络,实现图像分类的任务。
通过前几章的学习,我们深入理解了CNN中卷积,池化等典型结构的原理,以及CNN实际相关的图片识别比赛。相信大家对于CNN会有更深层次的认识。后边会接着这里开始介绍运用CNN技术来预测的典型3个项目。