认证主体：闫**（实名认证）
IP属地：北京
下载本文档
1、交通道路标志牌检测与识别综述一、 背景综述随着社会科技不断发展和进步， 车辆已经普及到国内大部分家庭。 汽车的普 及极大方便了人们的出行、 生活和工作， 同时也不可避免的产生了很多的交通问 题。据公安部交通管理局统计， 2014年 1月至 10 月，全国共发生道路交通事故 426378起，造成 87218 人死亡、 391752人受伤，直接财产损失 20.2亿元。交通 安全问题成为人们日常生活中最常见的问题之一， 受到了政府、 科研机构以及汽 车生产厂家的高度重视。解决交通安全问题的途径之一是准确、 有效地设立道路交通标志， 为驾驶员 提供丰富的禁令、警告、指示等信息，从而起到减少交通事故的作
2、用。为了确保 交通标志的信息能够及时、准确地传达，交通标志自动识别系统(Traffic SignRecognition,TSR)受到了各国学者的关注，其主要功能表现在以下几个方面：用于驾驶辅助。交通标志识别的概念最早就是作为驾驶辅助工具被提出 的。 TSR系统在识别出交通标志后，可对驾驶员进行语音或视频等方式的提醒， 甚至可以在必要的时候对车辆驾驶系统直接做出控制，从而确保驾驶安全。用于交通标志维护。 由于交通标志通常放置于室外环境中， 受自然环境 (如 风吹雨淋 )及人为因素 (如涂抹)影响，难免出现褪色、 变形甚至坠落失踪现象， 需 要进行定期检查维护。 通常，这一工作需安排专人专岗， 工
3、作量巨大且很难保证 实时性和准确性。显然，一个有效的 TSR 系统是完成这一工作的理想方案。用于无人驾驶技术。无人驾驶汽车在近年来受到了越来越多的关注。从 上世纪 90 年代起，国内外相继研发出了一系列无人驾驶汽车，其智能化逐渐提 高，能够自动规划路线， 避让障碍物等。 使无人驾驶汽车具备辨认交通标志的能 力显然是使其实用化的一个重要步骤。TSR 在计算机领域中是一个非常重要的分支研究领域， 而图像检测以及处理 是其主要手段，这是一个难度比较大的实景图形识别问题。在车载视觉系统中， 如何有效地识别道路交通标志是一个非常重要的研究课题。TSR 包括三个重要模块：图像复原、标志检测、标志分类。交通
4、标志的外观 受天气条件的影响很大， 如在有雾的天气条件下， 标志会变得比正常情况下的亮 度更高、颜色更淡，而在沙尘天气下，交通标志会变得比正常颜色更黄。图像复 原模块根据恶劣天气条件的生成模型， 对输入的降质图像进行逆变换， 得到相对 清晰的图像， 以使后续的标志检测、 分类更加准确； 标志检测模块负责找出输入 图像中类似交通标志的区域，通常被称作感兴趣区域 (Region of Interest,RO I)， 并将这些区域送入标志分类模块；标志分类模块对每个 ROI 进行分析，判断出 其中所包含标志的具体类别，最后输出结果。如下图所示，为 TSR 的总体框图。图 1-1 TSR 的总体框图、
5、交通标志简介交通标志是一种图形与文字相结合的公共标识， 用图形符号和文字传递特定 信息，用以管理交通、 指示行车方向以保证道路畅通与行车安全的设施。 有很显 著的颜色和形状特征 ,起到指示、示和警示等作用。适用于公路、城市道路以及 一切专用公路，具有法令的性质，车辆、行人都必须遵守。我国的交通标志有警告标志、 禁令标志、指示标志、指路标志、 旅游区标志、警告作业区标志、告示标志、辅助标志 8 种。下文对禁令标志、警告标志、指示标志 三类标志进行简明扼要的介绍。1）禁令标志：起到禁止某种行为的作用。共有 43 种。禁止或限制车辆、行人交通行为的标志。除个别标志外，颜色为白底，红圈，红杠，黑图案，
6、图案 压杠；形状为圆形、八角形、顶角朝下的等边三角形。设置在需要禁止或限制车 辆、行人交通行为的路段或交叉口附近。如图 2-1 所示的禁令标志，红色在自然环境下比较少见，故以红色作为特征颜色检测禁令标志通常具有较好的效果。图 2-2 我国的交通禁令标志行人注意危险地点的2）警告标志：起警告作用。共有 49 种。警告车辆、标志。颜色为黄底、黑边、黑图案，形状为顶角朝上的等边三角形。如图 2-2 所 示的警告标志， 由于外沿与图案的颜色均为黑色， 某些图案面积较大的标志与外 沿几乎相连，给检测带来一定困难。E-U0D9R0W姬Kffi蓉10A0s舉*EE08XQB 紀卅韭桓HIU1XWOOEEM-
8、现为遮挡， 相当于在交通标志上加入 了噪声干扰，因此可以简单地对图像进行边缘保持的滤波， 如中值滤波、 双边滤 波(Bilateral Filter)等，一般可较好地复原图像。而雾、霾、沙尘颗粒小且浓密， 光线通过有雾或沙尘的大气时， 会产生较明显的折射和散射作用， 使交通标志的 颜色发生变化。 因此， 简单的滤波类算法很难较好地复原雾和沙尘图像。 以下着 重分析雾和沙尘图像复原算法的研究现状。由于有雾或沙尘的图像对比度下降， 因此用图像增强算法恢复这类图像是一 种比较直观的想法。 Land 根据人类视觉系统从不同光照条件下提取彩色信息的 原理提出色彩不变性模型 Retinex，具有压缩图像动
9、态范围，保持色彩不变的特 点，可有效增强因光照不均匀形成的低对比度图像 1。Chen 和芮义斌分别用单 分辨率 Retinex(Single-Scale Retinex,SSR和) 多分辨率 Retinex(Multi-Scale Retinex,MSR)对有雾图像进行增强，取得了一定的去雾效果 23 。直方图均衡化是一种有效提升图像对比度的方法， 北京航空航天大学艾明晶 等提出采用块部分重叠的直方图均衡化方法复原雾天图像 4，能够有效突出图像 的局部细节信息， 从而起到去雾效果。 该方法速度较快， 能够满足实时处理的要 求。曲波变换是一种在小波变换基础上发展起来的新的多尺度分析方法 5 ，由
10、于 它特别适合于各向异性特征的信号处理， 因此是对小波变换在图像边缘增强方面 局限性的一个很好弥补。 Brian Eriksson 利用曲波变换这一特点，通过检测曲波 的消失点实现了图像的去雾 6图像增强算法虽然能够增强有雾或沙尘图像的对比度， 却不能保证真实地还 原出图像色彩，在特定条件下易出现明显的颜色失真 7。因此，人们对雾或沙尘 图像的成像原理进行了研究， 建立了相应的物理模型。 根据图像的特定特征估算 出模型的参数，并对降质图像进行逆变换，以期得到更加真实的复原图像。董涛、王挥等认为雾天图像的降质是由于大气湍流和气溶胶引起的 89 。通 过分别估计湍流传递函数和气溶胶传递函数， 并用
11、二者的乘积作为总的大气调制 传递函数， 之后在频域内根据大气调制传递函数对降质图像进行复原， 并对降质 过程引起的衰减进行补偿，取得了一定的复原效果。Tarel 提出了一种快速的基于单图像的去雾算法 10。该算法也基于物理模型， 但没有采用全局最优化方法， 大大提高了处理速度， 可以接近满足实时处理要求。 但该算法的处理效果比暗通道假设算法略差。综上，对现有的较具代表性的雾天、沙尘图像复原算法总结于表 3-1复原算法优点缺点Retinex有效增强图像对比度复原的图像真实感较差直方图均衡化速度快，有效增强对比度复原的图像真实感较差曲波变换有效增强图像的细节复原的图像真实感较差大气调制传递函数较好
12、的去模糊效果需要估计雾气浓度和场景深度，不易实现Tarel 的算法处理速度快处理效果略差表 3-1 现有雾天、沙尘图像复原算法的特点现有的雾天、沙尘图像复原算法均存在一定局限性。 从去雾效果的角度比较， 最大化对比度与暗通道假设算法处于现有算法中的领先地位， 但速度较慢， 无法 用于驾驶辅助等高实时性应用场合。而 Tarel 的算法虽然速度较快，但以牺牲去 雾效果为代价。 其他算法或处理效果不够真实， 或受限于实施难度大， 均不适合 驾驶辅助场合。四、交通标志检测的研究现状 一般来说，交通标志识别系统包括路标检测和路标分类两个阶段。在路标检 测阶段，系统会在图像中搜索路标。 在各类文献中， 图
13、像分割被广泛应用于路标 检测阶段中。这里主要有三种办法来实现对路标的分割：对灰度图像进行边缘检测，然后进行分析直方图阈值法特征提取和聚类 在分类阶段，系统会对检测阶段发现的区域进行分析，然后辨别出路标。常 见的分类方法如下：1) 神经网络 (NN)2) 最近邻分类器支持向量机 (SVM)遗传算法 (GA)基于相关的模式匹配 在处理灰度图像时，是基于形状的特点进行对路标搜索，计算量是十分庞大 的。对于实现快速检测路标， 一些方法是基于形状识别发展的， 是因为作者们认 为基于颜色分割的检测是不可靠的(比如，距离、天气、灰尘和路标使用的时间 都会对路标的色彩产生变化和影响) 。比如， Barnes等
14、人提出了一种使用后验概 率 (posterior probability)的路标检测算法，它是基于路标的位置和角度信息的 11 。 文献12使用了自组织神经网络 ( self-organization map,SOM)的方法提取轮廓线， 然后识别路标的形状。文献 13 应用了图像的梯度方向的几何模型识别三角形路 标。Loy 和 Barnes实现了一种基于快速辐射对称 (fast radial symmetry)的算法， 它 使用边缘方向的模式检测三角形、正方形和六边形的路标 14 。然后，基于梯度 的特征检测办法对于噪点处理不佳，很多形状检测器在计算超大图像时速度很 慢。在直方图阈值法中，有两
15、种方法。即，使用标准颜色空间和进行更加彻底颜色空间的研究。文献 15提出了使用 RGB 分量之间的差别来进行路标的分割。文 献1617在 RGB空间上直接进行二值化，然后进行形状分析来检测路标，使用神 经网络进行分类。 对于禁令标志、警告标志和指示标志的检测， Kang-Hyun 使用 RGB 颜色分割，使用形状分析来识别 18。近几年以来， 在物体检测中被广为接受并且使用的方法之一就是图像特征聚 类。Bahlmann等人 19使用一系列对颜色敏感的哈尔小波特征来检测路标， 这些 特征是从 AdaBoost训练和时态信息传播过程中得到的。 Gome z等基于一套完整 的交通标志检测和分类系统，
16、 对各种颜色空间下的最终识别结果进行了比较， 认 为归一化 RGB 空间和 HSV 空间的检测结果相似，优于其他颜色空间。在颜色提取之后，通常需要将颜色相同，位置临近的点合并为感兴趣区域。 Escalera等采用角点检测的方法在相近颜色点组成的二值图像中寻找感兴趣区 域，但无法克服遮挡问题。 区域生长是一种使用较多的方法， 一些算法利用区域 生长的方式将相近颜色点连成区域， 得到一系列连通域， 而后判断各连通域的大 小和纵横比，从而快速排除部分虚警情况。经过大小、纵横比等简单判据筛选后，通常仍存在大量虚警情况，若直接输 出为感兴趣区域， 则给后级的分类模块带来很大负担。 因此， 众多算法通过判
17、断 连通域的形状实现进一步筛选。 Maldonado 等提出 Dt B(Distance toBound ing Box) 特征，通过计算连通域边缘到能覆盖它的最小矩形的四条边的距离， 结合线性支 持向量机 (SVM,Support Vector Machine)对连通域的形状分类，若非交通标志形 状，则将其筛除。 Gil 等计算连通域的中心到其所有边缘的距离，形成一条一维 曲线，并计算其 FFT 幅度特征，而后采用最近邻分类或神经网络分类器进行形 状判别，获得了良好的平移、旋转不变性。 Xu 采用正切函数特征，将连通域边 缘曲线每个点的切向角的正切值组成一个特征向量，并通过模板匹配完成分类。
18、虽然基于颜色的方法通过各种方式增强了颜色提取的可靠性， 但在特殊条件 下，如严重背光或标志褪色时， 基于颜色的方法普遍会出现不稳定甚至漏检。 此 外，当多个交通标志连接在一起或背景颜色相似时， 连通域的提取通常会遇到困 难，导致基于颜色的检测方法出现漏检。 而基于形状的检测算法则通常可以较好地解决这些问题Gavrila 提出一种基于距离变换的检测方法。 先检测出图像的边缘， 然后得出 图形中每一个点到边缘的距离图像， 最后用标准形状的距离图作为模板， 用不同 的位置、旋转角度以及尺寸与在前面得出的距离图像进行模板匹配， 从而找出满 足交通标志形状的区域。 该方法的主要问题是运算量大， 无法满足
19、实时处理要求。霍夫变换是一种有效的检测直线、圆等参数化曲线的方法，在交通标志检测 中具有广泛应用。 但霍夫变换运算量大、 存储空间要求高的问题使其不易满足实 时处理的要求。 为提高算法的运行效率， Garcia 等在限定的区域内用霍夫变换检 测圆形标志。Loy 等提出了一种霍夫变换的改进算法， 被称作快速径向对称算法。 该算法利用圆形径向对称的特点， 通过计算边缘点的梯度方向， 大大降低了霍夫 变换的运算量。 Ruta 在此基础上结合了颜色信息，进一步提高了算法的效率。 Barnes等对镜像对称算法进行了扩展，使其可应用于三角形和正方形标志的检 测，但准确率和速度都与圆检测有一定差距。 Bel
20、aroussi等提出了另一种霍夫变 换的改进形式， 可以实时检测三角形标志。 基于霍夫变换的方法对遮挡等问题具 有较好的适应能力， 但当视角发生倾斜时， 交通标志的形状变为椭圆或非正多边 形，此类算法的漏检率明显提升。遗传算法是另一类能够有效检测形状的方法。 Aoyagi 等先用拉普拉斯核滤波 的方式提取出感兴趣点，生成一副二值图像，之后用遗传算法进行启发式搜索， 找出其中的圆形。 Escalera等首先找出感兴趣的颜色区域，而后对每个区域进行 平移、旋转、尺度的变换，用遗传算法估计参数，可有效应对由视角倾斜引起的 标志变形。 遗传算法的缺点是速度较慢， 每次只能检测一个标志， 多标志检测时
21、需要多次调用，不适合于驾驶辅助等高实时性要求的场合。除基于颜色和形状的检测算法外，近年来也出现了一些基于模板的检测算 法。这类方法通常在一个滑动的窗口中对窗口内图像进行分类， 判断其是否为交 通标志。其典型代表为基于 Harr 特征和基于方向梯度直方图的检测方法。 Harr 特征最早用于人脸检测，利用积分图像实现高效特征提取，而后用级联的 boost 分类器实现快速窗口筛选。一些算法用 Harr 特征在特定的颜色通道中检测交通 标志，取得了良好的效果。方向梯度直方图 (HOG,Histogram of Orientated Gradient) 是一种区分力很强的形状描述子，最早被用于行人检测，
22、通过与 SVM 配合，可 实现很高的准确率。 Yuan等在灰度图像中提取 HOG特征，并用线性 SVM 分类， 取得了较高的准确率。 Creusen等分别计算 RGB 三个通道上的 HO G 特征，进一 步提高了准确率，代价是运算量明显提高。 Gao 等未使用 SVM ，而是通过计算 相似性系数对 HOG 特征分类，以提高检测速度。提高速度的另一个策略是用 boost方法将一系列基于 HOG 的分类器级联， 实现由粗到精的快速窗口筛选， 一 些算法采用这一策略实现了实时检测。三大类交通标志检测算法各自的优缺点总结于表 4-1优点缺点基于形状的检测对光照、遮挡、相邻标志影响等问题适应能力强速度较
23、慢，多数方法对视角倾斜适应能力较差基于颜色的检测速度快，对视角倾斜、轻度遮挡的适应能力较强对光照条件敏感，易受背景及相邻标志的影响基于模板的检测检测精度高，能适应光照、遮挡等多种不利条件速度较慢，不同标志需要 不同特征，不适合嵌入式 应用表 4-1 三类交通标志检测算法的特点总结五、交通标志识别的研究现状交通标志分类是 TSR 系统的最后一个步骤，负责对感兴趣区域进行准确分 类，剔除不是交通标志的区域。 常用的分类方法有模板匹配法， 神经网络分类法， 支持向量机分类法等。模板匹配法是一种较直接的方法。 Piccioli 等利用标准模板与输入图像进行 互相关运算， 可适应不同的光照强度。 然而，
24、模板匹配法要先将待分类图像与标 准模板配准。在很多情况下，如交通标志有形变或背景复杂时，配准十分困难。 一些算法对输入图像进行距离变换，一定程度上提高了算法对小形变的适应能 力。相比于模板匹配法，特征提取 +分类器的分类模式在近些年的目标识别算法 中更常被使用。 利用一些具有旋转、 尺度甚至仿射等不变性的特征， 再配合适当 的分类器进行分类，通常可以大大提高分类算法的正确率。Fleyeh 等先将待分类图像缩放至固定尺寸，再用 PC A(Principal Component Analysis)算法提取待分类图像的特征值，组成特征向量送入分类器 (具体分类器 文中未提及 )，获得了较高的识别率。
25、由于 PCA 对旋转敏感，导致该算法同样需 要配准输入图像。此外，当交通标志被局部遮挡时，该方法的识别率下降较多。一些算法提取待分类图像的 SIFT(Scale-invariant Feature Transform特) 征，并 送入多层神经网络分类。 SIFT 特征通过多尺度分析提取输入图像中在各尺度下 均显著的点作为特征点，从而具备了平移、旋转、尺度的不变性。然而，由于 SIFT特征对图像的质量要求较高， 当输入图像分辨率较低 (如视频图像 )时，SIFT 特征提取的精度严重下降，影响分类正确率。Doubille 用不同分辨率的 Gabor 小波作为特征训练神经网络， 可抵抗复杂背 景和形
26、变的情况， 不仅得到了较高的分类正确率， 且处理速度较快。 中南大学的 谷明琴等同样采用 Gabor小波作为特征， 但以线性支持向量机作为分类器， 也取 得了较好的分类结果。Maldonado等利用 Dt Bs 特征获得了旋转和尺度的不变性，用线性支持向量 机判断待分类图形的形状， 再将形状内的点组成特征向量送入一个高斯核支持向 量机作最终分类。 该方法具有平移、 旋转及尺度的不变性， 且可以抵抗一定程度 的局部遮挡，但速度较慢，达不到实时处理的要求。Adaboost 算法是一种分类器增强方法， 通过训练多个级联分类器实现分类性 能的增强。浙江大学的何耀平等融合 Adaboost 算法与支持向
27、量机分类器，实现 了较高的分类正确率及较快的分类速度。上述算法的分类结果多数来自于未公开的数据库， 导致无法对各算法的性能 进行直接比较。六、实验结果及分析 我们的程序简单实现了对限制标志的检测，采用基于颜色的路标检测方法， 在图像分割后，再采用几何的方式，提取轮廓。以下分情况说一下实验结果：1. 简单背景原图颜色分割边缘检测轮廓检测2. 正常背景输出结果4. 复杂背景Od?5. 连体实验结果分析：由上几组实验结果可以看出，程序对于处理简单背景时，颜色分割效果还是 不错，对于复杂背景和夜晚时处理效果差。 颜色分割提取轮廓之后， 对于形状以 及轮廓的分析时，程序效果差，不能够准确分析圆形、三角形
0/150
联系客服
本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。人人文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知人人文库网，我们立即给予删除！