一种基于灰值形态学的汽车牌照提取方法

liyf

一种基于灰值形态学的汽车牌照提取方法

摘要：提出了一种利用灰度形态变换快速提取汽车牌照区域的方法。利用灰度形态变换对输入的图像进行滤波，根据牌照的大致尺寸和滤波图像的模板卷积得到几个牌照的候选区域，最后分析候选区域内水平方向的波峰高宽比波峰数得到真正的牌照区域。    关键词：灰值动态学 卷积 模板卷积投影 牌照识别
基于图像理解的汽车牌照自动识别系统是智能交通系统一个重要分支，有着非常广泛的应用前景，而把汽车牌照从复杂的汽车图像中分割出来是汽车牌照自动识别系统必须解决的关键问题。在过去的十几年中，各国的科研人员提出了不少提取汽车牌照的方法。Choi和Kim提出利用Hough变换寻找垂直边缘提取汽车牌照的方法，此方法由于许多汽车前部散热器产生的垂直边缘和某些牌照边框的扭曲或某些汽车牌照没有边框而鲁棒性较差。S.K.Kim和H.J.Kim提出的基于遗传算法分割提取汽车牌照的方法，最大缺点是耗时长，难以进行实时处理。S.H.Park提出的一种基于神经网络提取汽车牌照的方法，使用二个时延神经网络在水平和垂直方向对输入图像进行滤波，得到牌照的候选区域，然后利用牌照的长宽比、面积、面积与周长比来区分真正的牌照区域与类牌照区域。此方法要求图像中的牌照尺寸基本不变，一旦图像中的牌照尺寸发生了较大的变化，必须对神经网络重新进行训练。T.R.Crimmins提出了一种数字形态学方法，此方法用不同尺寸的每个可能字符作为结构元素，采用击中击不中方法先提取输入图像中的字符，再根据牌照字符的语法得到汽车牌照，这种方法计算量非常大且易受噪声影响。C.H.Poon提出了一种灰值形态学方法，它通过检测字符中的直线段和字符间的空间来提取牌照，这种方法耗时较多，且没有利用版照的尺寸信息。C.M.Hwang提出了空间频率方法，它利用牌照区域内空间频率变化大的特性，对图像进行一阶差分。差分图在牌照区域内形成多个峰，然后利用峰的幅度、宽度和密度区分真正的牌照区域与类牌照区域。这种方法具耗时少、抗噪能力强的优点。本文提出的灰值形态学方法仅利用了牌照区域内空间频率变化大的特性而且利用了牌照区域字符笔划具有高曲的特性，因而比单纯的空间频率方法更加有效。通过建立牌照与卷积算子形态学结构元素尺寸的相互关系。本文提出的方法对不同尺寸牌照具有很好的鲁棒性。

1 数字形态学
数字形态学是一种重要的数字图像处理方法和理论。在数字形态学中，两种最基本的变换或运算是腐蚀和膨胀，其它形态学变换都可通过它们来定义。下面列出了一些灰值形态学变换的定义。
图像f(x,y)平移（a,b）定义为：
f(a,b)(x,y)=f(x-a,y-b)
图像f(x,y)相对于原点的反射为：
f^(x,y)=f(-x,-y)
二幅图像f(x,y)和g(x,y)的最小记为（f∧g）（x,y）。
当（x,y）位于图像f的定义域D(f)和图像g的定义域D(g)的交集D（f）∩D(g)内时：
（f∧g）(x,y)=min{f(x,y),g(x,y)}
否则：
（f∧g）（x,y）=0
二幅图像f(x,y)和g(x,y)的最大记为（f∨g）（x,y）。
当（x,y）位于图像f的定义域D（f）和图像g的定义域D(g)的交集D（f）∩D（g）内时：
(f∨g)（x,y）=max{f(x,y),g(x,y)}
当（x,y）∈D(f)且（x,y）∈D（g）时
（f∨g）（x,y）=f(x,y)
当（x,y）∈D(g)且（x,y）∈D（f）时
(f∨g)(x,y)=g(x,y)
f(x,y)被g(x,y)膨胀定义为：
(f⊙g)(x,y)=max{f(x-a,y-b)+g(a,b)}
（a,b）∈D(g)
f(x,y)被g(x,y)腐蚀定义为：
(f⊙g)(x,y)=max{f(x-a,y-b)-g(a,b)}
(a,b)∈D（g）
开运算定义：
fog=(f⊙g)⊙g
闭运算定义：
f·g=(f⊙g)⊙g
Top-Hat变换定义：
Hat(f,g)=f-fog
与Top-Hat变换相对的是波谷检测器（Valley变换），其定义为：
Valley(f,g)=(f·g)-f
形态学梯度有下面三种形式：
Grad(f)=f-(f⊙g)
Grad(f)=(f⊙g)-f
Grad(f)={[(f⊙g)-(f⊙g)]}/2

2 牌照提取算法
在牌照提取算法中，需要用到卷积、模板卷积和卷积投影等概念。下面对它们进行定义。
对于图像[aij]m×n,i=0...m-1,j=0...n-1，模板[aij]p×q。p<m，q<n，其卷积、模板卷积和卷积投影都是一维数组。


水平模板卷积
垂直模板卷积投影vmp：

水平模板卷积投影hmp：

图1中牌照区域的长为173象素、高为36象素。从左到右、从上到下的8条曲线依次为牌照区域灰度图第10～17条水平方向的灰度值。通过观察发现，在牌照区域的水平方向不令空间频率变化大，而且具有许多陡峭的峰（欲）和高曲率点。而灰值形态学的梯度变换可以对图像进行高通滤波，灰值形态学的Top-Hat变换和Valley变换可以撮高曲率点、波峰和波谷。
进行形态学变换，需要考虑二个因素：结构元素和变换类型。变换类型准备采用灰值形态学的梯度变换、Top-Hat变换和Valley变换。结果元素采用n×1的维水平结构，以提取水平方向上的高频分量、波峰和波谷。结构元素的大小n对Top-Hat变换和Valley变换的结果结构元素的大小n对Top-Hat变换和Valley变换的结果有着很大的影响，因此问题的关键是怎样确定n。

    分析图1中水平方向的灰度曲线，发现在穿过字符的水平线上，灰度曲线波峰的宽度与字符垂直笔划的宽度存在着某种线性关系。根据中国汽车牌照的一般规范，牌照上字符的垂直笔划宽度与牌照的宽度也存在着某种线性关系。结构元素的尺寸n与灰度曲线波峰的宽度又可建立一种线性关系。因此可建立n与牌照宽度w的一种近似线性的关系：
n=Integer{(w/k)+b}
式中的Integer（）表示对括号内的值取整。w、b都为整数。根据经验令w、b分别为25和0，则：
n=Integer(w/25)
由上式可知，当牌照的宽度w变化25个象素时，结构元素的大小n才变化1个单位，也就是说n对w不是很敏感。
牌照区域提取算法包括以下几步：
（1）缩小图像：对输入的灰值汽车图像进行隔行隔列抽样，得到一幅大小为四分之一原因的新图像。接下列抽样，得到一幅大小为四分之一原图的新图像。接下来的处理均在新图像上进行，这样可以大大减少处理时间，提高算法的效率。根据形态学的尺度变换兼容性原理，对图像缩小（放大）后再进行形态学变换，只要对结构元素做相应的变换，结果不变。
(2)水平分割：对汽车图像进行水平分割，得到几个可能含牌照的水平区域。
（3）垂直分割：对第（2）步所得到的每一个水平区域进行垂直分割，得到一些牌照的候选区域。
（4）牌照区域甄别：分析各个候选区域得出真正的牌照区域。

    2.1 水平分割
分别对汽车图像进行灰值形态学的梯度变换、Top-Hat变换和Valley变换，如图2。一般来说，在大多数汽车车牌照自动识别系统应用中，CCD摄取的汽车图像中牌照的大致宽度和高度是已知的。如果牌照的宽度为w∈(a,b)，则取水平模板m×1，其中m=(a+b)/2。用模板分别对图像的梯度图、Top-Hat变换图和Valley变换图进行水平模板卷积。对每帧变换图取每一行模板水平卷积的最大值，得到1个一维数组，3幅变换图共得到3个一维数组g1,ti和vi，其中i大于等于1，而小于等于图像的高度，其曲线如图2的b、c、d。观察图2可以发现，由于受车体上其它字符和车前灯等因素的影响，仅仅依靠梯度图较难对牌照进行水平定位，而结合Top-Hat变换图和Valley变换图，能更好地对牌照进行水平定位。据此，构成了1个一维数组pi。
pi=gi×ti×vi
其曲线如图3。取图3中最高峰的位置作为牌照的水平中线，为了确保不会出错，把次高峰也作为牌照的另一备选位置。了高峰和次高峰的位置， 分割出2个宽为汽车图像宽度，高为牌照的最大可能高度b的区域，如图4中的a和b。
2.2 垂直分割
对图4中的a和b二个区域分别进行灰值形态学的梯度变换、Top-Hat变换和Valley变换，并在垂直方向对变换图进行卷积得到3个一维数组gi、ti和vi，其中i大于等于1，而小于等于图像的宽度w，其曲线如图5和图6。qi=gi×ti×vi
的曲线如图7。利用下面的公式分别对图4中的a和b进行垂直分割。
{(m,n)|qi>kT,i=m...n,n-m+1∈(a,b)}
其中：T=Max(qi),k为一经验值，（a,b）为牌照的宽度范围。
i=l...w
分割结果如图8所示。
2.3 牌照区域甄别
分别标注牌照二候选区的水平峰值（或谷值）点，如图9（a）中的白点，标注的峰值点要求峰高与峰宽的比大于一经验阀值；分别把牌照二候选区二值化，如图9(b)；然后把候选区峰值（或谷值）点图与二值化图作与运算得到有效峰点（或谷点）图，如图9（c）。在有效峰点（或谷点图中统计有效行数。如果一行内有效峰点（或谷点）数大于T1而小于T2，为有效行，则认为有效行数多者为真正的牌照区域。其中T1和T2为经验值。
从复杂的汽车图像中如何把牌照区域分离出来，是汽车牌照自动识别系统必须解决的问题。本文提出了一种利用灰度形态变换快速提取汽车牌照区域的信号。针对牌照区域内空间频率变化大和牌照区域内字符笔划具有高曲率的特性，笔者利用灰值形态学的梯度变换、Top-Hat变换和Valley变换，对输入的图像进行滤波，接着根据牌照的大致尺寸得到几个牌照的候选区域，最后分析候选区域内水平方向的波峰的高宽比和波峰数据得到真正的牌照区域。实验表明本文提出的方法定位准确率高，抗噪能力强，且耗时较少，能够满足实时性要求。

李小路

谢谢分享