基于LS-SVM的车牌图像倾斜校正新方法

admin

汽车牌照的自动识别技术有重要的应用价值，是智能交通系统ITS(Intelligent Traffic System)的关键技术之一。牌照识别系统中图像的获取一般通过固定架设在通道上方及两旁的CCD摄像机拍摄得到，理想情况下拍摄的车牌图像是一个矩形，但在实际使用中，由于车辆的停靠位置具有一定的随机性，造成了拍摄距离、拍摄角度的不确定。

对比大量现场采集的车牌照片，发现车辆位置的不确定性引发摄像机与车牌之间的角度变化，造成的车牌图像畸变则以倾斜为主。现场实拍的汽车牌照倾斜图像如图1所示。

这种倾斜现象会给字符分割带来不利影响，当倾斜度较大时，易造成误分割并使车牌识别率急剧下降。因此，为确保系统的识别率，需要在字符分割之前进行车牌的倾斜校正。对机动车牌图像畸变进行校正的研究目前已取得了一定的成果，如通过Hough变换将图像空间转换到Hough空间，并搜寻车牌边框对应的极值点，进而确定车牌的倾斜角；提取牌照边框参数，并使用双线性坐标变换进行图像修正[1][2]；通过模板匹配在图像空间搜寻牌照区域的四个顶点，再通过空间变换重建矩形车牌区域[3]；通过旋转投影求取车牌的角度进行校正[4]。
　　由于图像中车牌的边框有时受噪声、污迹等干扰的影响较大，同时又由于二值化等原因，车牌上字符会有粘连和断裂现象，使Hough变换后参数空间中的峰值过于分散，校正效果不理想。通过旋转车牌图像在坐标轴上的投影求取倾斜角度是一种抗干扰能力较强的方法，但在该方法中最佳倾角的求取是一个寻优过程，要进行多次投影逐步搜寻最佳倾角，计算复杂度高。

由此看来，无论是Hough变换法、模板匹配法还是旋转投影法，图像倾角或相关参数的求解过程均是建立在空间极值点搜索的机理上，会使计算量大，算法效率低。能否避免空间寻优，直接通过数值计算确定图像倾角是提高倾斜校正效率的有效方法。本文提出一种基于最小二乘支持向量机 LS-SVM(Least Squares Support Vector Machine)[5][6]的车牌图像倾斜校正新方法，该方法在图像校正领域国内外尚无文献报道。

该方法将二值畸变图像看作一个数据集，图像中的每个“1”值像素作为数据集中的一个样本。将样本的特征构建为3维，前2维作为输入向量，可取像素的坐标值，第3维作为输出向量，可取一常数(本文取0)。通过LS-SVM回归算法，可求取数据集的主要回归参数ω，理论证明该参数即为图像倾斜向量。实验表明，该方法将图像倾斜角的搜索过程转换为直接求解线性矩阵方程，简化了计算，提高了算法效率，避免了倾角搜索过程中的随机性和不稳定性，对车牌图像的边框无特殊要求。

1 图像倾斜校正原理

若已知图像倾斜角度为α，则可通过线性变换使坐标系旋转到倾斜方向达到校正的目的。
　　
式中的ω称为倾斜向量。
车牌图像坐标系旋转校正原理如图2所示。

由此看来，车牌倾斜校正的关键是确定倾斜角度α或倾斜向量ω。由于无倾斜畸变时的车牌图像为矩形，因此旋转校正后“1”值像素在y′坐标轴上投影方差最小，则有：
　　
因此，只需对数据集{Xi，Yi}进行回归，误差ei方差最小时的参数ω即为倾斜向量。如此，将图像倾斜角度α的寻优问题转换为对数据集{Xi，Yi}进行回归，辩识参数ω的过程。

2 LS-SVM求解倾斜向量算法

设某一数据集的样本可表示为{Xi，Yi}，(i=1，2，…，N)，Xi∈Rn为n维输入向量，Yi∈R为输出，则构造最优线性回归函数为：
f(X)=ωX+b，ω≠0
算法中利用结构风险最小化为学习规则[7]，用数学描述为ωωT≤常数，选择误差ei的二范数为损失函数，如此可建立优化目标为：
　　
由于车牌图像构造的数据集其输出Yi=0，并且回归参数b与求取倾斜向量无关，则式(4)可简化为：
　　
其中，a用最大|λ|对应的特征向量。

由此可见，LS-SVM车牌图像倾斜校正实质是通过LS-SVM对像素坐标进行回归，求取矩形图像的倾斜方向，再通过坐标变换，使原来的坐标旋转到倾斜方向上，各像素在y坐标投影分量的方差达到最小。

3 LS-SVM车牌图像校正步骤

根据LS-SVM求解倾斜向量的原理，对倾斜车牌图像进行校正的具体步骤如下：

(1)图像数据集矩阵的建立。N为二值倾斜车牌图像中所有“1”值像素的数量，则可构造图像数据集{Xi，Yi}(i=1，2，…，N)，其中Xi为输入向量取像素坐标值[Xi，Yi]T，输出Yi取一常数(为方便计算，本文取0)。所有输入向量Xi可用矩阵X2×N的形式存储。
　　
(4)求解倾斜向量ω，并对其标准化。解式(5)的特征问题，求最大特征值|λ|所对应的特征向量a，再用式(6)求取图像倾斜向量ω。为避免旋转校正时图像发生伸缩，必须对倾斜向量ω进行标准化


4 实际校正实验

从车牌图像库中抽取倾斜车牌图像进行校正实验，得到的倾斜车牌图像LS-SVM校正结果如图3所示。其中图3(a)为比较典型的现场车牌图像。该图像中由于车牌安装位置不当，从而使上边框被遮挡。由于车牌边框图像不完整，典型的Hough方法无法对其进行校正。

采用LS-SVM方法进行实验，先对车牌图像进行二值化处理，其结果如图3(b)所示。由二值图像中的“1”值像素构造图像数据集并进行零均值化，再构建对称矩阵Ω并求其最大特征值对应的特征向量a。最后由特征向量a确定车牌图像的倾斜向量：
x=(-0.0816，0.9967)
因此，由式(7)可得该倾斜图像的坐标变换公式为：
　　
倾斜车牌图像像素坐标经坐标变换后还原图像，达到了校正倾斜的目的，如图3(c)所示。

利用本文提出的LS-SVM方法对从车牌图像库中抽取的200多幅发生倾斜的二值车牌图像进行校正实验，均收到了良好的效果。

本文拓展了LS-SVM的应用领域，提出了一种基于LS-SVM的车牌图像倾斜校正方法。该方法将二值畸变图像看作一个数据集，并根据像素坐标将样本的特征拓展为3维。通过LS-SVM算法对该数据集进行回归，求取回归参数ω，即图像倾斜向量；然后根据倾斜向量构造坐标变换矩阵实现校正。该方法将图像Hough空间寻优问题转换为线性矩阵运算，简化了计算，提高了算法效率，避免了最优点搜索过程中的随机性和不稳定性。理论和实验表明：该方法对于边框不清或含有较大噪声干扰的图像仍能取得较好的效果，为通过非搜索的方法进行图像畸变快速校正又提供了一种新方法和新思路。