辅助驾驶：汽车环视系统设计，完整硬件平台参考方案

admin

一、项目背景
          1.1 研究背景
          本项目研究内容是开展汽车环视系统((AVM)技术与产品的研究与开发，通过驾驶员实时实景环视辅助系统，提高汽车行驶及停车时的安全性。主要研究内容包括: AVM产品技术与功能分析；产品规格总体设计；实时数字图像快速处理；图像显示加速；多场景、多视点图像几何处理及其合成拼接成像技术；高性能处理平台设计；车载数字图象质量Qos研究；AVM产品样机设计开发等。
           
          1.2 基于AVM平台采用FPGA算法的优越性

       

•                 采用可编程的FPGA进行设计，便于设计的更新与升级，节约成本。        
  
•                 通过使用图像拼接技术，使系统在图像呈现的清晰性、稳定性和可靠性得到有效地保证。        
  
•                 LCD体积小、质量轻、功耗低，可以用大规模集成电路直接驱动，可以在明亮环境下显示，不含射线伤害。
  

           
          二、项目方案
          2.1、实现功能
          1 ）通过处理四组影像，合成为一幅360度的图像制成如同从上方俯瞰车辆一样的影像后显示在显示器上。
          2 ）利用FPGA算法，通过使用图像拼接技术对于对预处理后的四幅图像进一步切割，已达到完美的反走样拼接。
           
          2.2方案设计原理
          该方案使用AVM硬件平台，系统原理框图如下：

       
       

         

          三、硬件设计框图

       

•                 Spartan-6承担4幅图像实时处理的任务，对来自每个摄像机的原始图像进行几何坐标变换、反走样、矫正、拼接等处理；        
  
•                 4xVideo In:连接4个CMOS数字摄像头，直接物出YUV数字视频信号；        
  
•                 1xVideo Out:用于连接车载TFf LCD显示器用于显示360度的全景图象；        
  
•                 四组x120-180度广角高分辨率小型数字摄像头(CMOS/CCD) ；        
  
•                 7英寸彩色LCD液晶显示屏(分辨率720x480像素)；        
  
•                 摄像头辅助声纳系统可以作为选配，能够起到距离测量和声音警示的作用。并可以通讯与系统在相对应的显示区域用颜色警示，配合AVM系统给驾驶员最大的安全保障。
  

       
       

           
         
          四、辅助泊车
          1) 无车区域和停车位置搜索和定位。
           
          2) 自动辅助泊车控制。
          辅助泊车系统通过安装在车身上的摄像头，超声波传感器，以及红外传感器，探测停车位置，绘制停车地图，并实时动态规划泊车路径，将汽车指引或者直接操控方向盘驶入停车位置。
           
          3）辅助泊车传感器信息处理和地图绘制。

       

        图1 超声波检测

         

       

        图2 无车区域检测

         

       

        图3 停车位置检测

         

          4）停车位置检测
          路径规划需要建立建立汽车运动型运行模型，汽车运动学模型一般采用前轮驱动模型。参考路径模型根据泊车方式分为 2 种:
           
          （1) 圆弧模型，一般用于车库泊车；
          （2) 五阶曲线模型，一般用于平行泊车。

                 

                             图4 平行泊车                          图5 车库泊车
         
          五、图像拼接合成技术
          5.1图像几何处理技术:
          通过转换四个视点坐标(眼坐标)到大地坐标的坐标变换，几何校正及进行反走样处理等，产生4幅可以拼接合成的素材。要求主处理芯片能够达到图像算法实时性处理的速度要求。
           
          5.2多视点图像合成技术:
          通过处理四组影像，合成为一幅360度的图像制成如同从上方俯瞰车辆一样的影像后显示在显示器上。对于对预处理后的四幅图像进一步切割，已达到完美的反走样拼接。
           
          5.3图像拼接技术
          图像拼接(image mosaic，或者称图像配准)是图像处理的一项重要内容，主要用于匹配取自不同时间、不同传感器或不同视点的两幅或多幅图像。目前使用的较多的领域为多视角的卫星遥感图像的拼接融合，以及在医学检测中多种类型的检测仪器采集的图像进行拼接融合。在三维重构系统中则是将两幅或多幅局部采集的编码图像进行拼接，使得能够将大范围的三维物体进行一次重构。
           
          5.3.1 图像拼接的一般方法
          1)基于像素的拼接方法。这类方法根据拼接图像的相关函数， Fourier变换等关系式来计算拼接参数口最常见也是最简单的方法就是窗口(模板)匹配法。
           
          (2)基于特征的拼接方法。这类方法是根据需要拼接图像的重要的相同的特征之间的几何关系确定拼接参数，因此这类方法首先需要提取特征，如边缘、角点、线、曲率等。然后建立特征点集之间的对应关系，由此求出匹配参数。
           
          (3)基于模型的拼接方法。这种方法是根据图像失真的数学模型来对图像进行非线性校准的拼接，多用于医学图像。
           
          5.3.2 基于特征曲线的图像拼接

       

•                 图像拼接算法
  

          将带拼接的左、右2幅图像分别记为 、 ，宽和高分别为 、 和 、 ，.取图像的左上角作为图像坐标的原点。
           
          对于每幅图像，首先利用Canny算子提取图像的边缘，在每一列的边缘点中找出梯度最大的一点，记录该点的纵坐标。若次列不存在边缘点，则直接找出该列的梯度最大点，对于图像中任意一点 ，梯度值由下式给出：
          其中 为点(i，j)的灰度值。这样可得到2个长度分别为 和 数组和 ，数组中的兀素是图像中该列梯度最大点的坐标。这2个数组反应了2幅图像中按列最大梯度特征点分布的情况。在确定每列梯度的最大点时，遵循以下的原则:
           
          (1)当该列中梯度最大值的点有2个或2个以上时，取距离图像水平中线距离最近的点作为该列的特征点。
           
          (2)当2个点距离图像水平中线距离相等时，取上方的点作为该列的特征点。
           
          在图像的采集过程中，相机不会在一个绝对的水平面上运动，倾斜、抖动等现象不可避免。另外，景物中物体的运动和光线的变化也时常发生，这样会使某些列中梯度最大点在2幅图像中有很大出入，数据的抖动性比较大。为消除这种干扰，可以采用中值滤波的方法过滤掉这样的点，使对数组的判断更具可靠性。利用长度为7的一维窗口对2个数组进行中值滤波。
           
          2幅图像有相似的部分，则上面的2个数组中必有一部分，它们的差数组具有很好的稳定性，即差数组的方差具有局部最小的性质，这样就可以找到2幅图像的位置关系。
           
          由于2幅图像的重叠部分一般不超过1/3，为减小计算量，只在左图像的2/3以后的部分和右图像的1/3之前的部分中进行计算，接下来确定全局最小方差的两段子数组。这两段数组的起始位置就是2幅图像的最佳匹配点。
         
          在代表左、右图像的两个数组中分别取一固定长度L的子数组，记为 和 。L的选取可视图像的宽度而定，一般L的取为图像宽度的1/10左右会得到较好的效果。 和 的相似程度 由 的方差来描述，即
           

       

          其中方差越小，说明Sl和Sr越相似。那么，必然可以找到这样的 和 ，使得：
         
          2幅图像的最佳匹配位置就是 和 的起始位置。由于 和 的元素值是按列梯度最大点的纵坐标取值，在确定了列的匹配位置时，也同时确定了行的匹配位置。这样就可以找到最佳的匹配位置。
           
          六 软件设计
          本项目涉及关键技术有:实时数字图像快速处理；图像传感器技术；图像显示加速；多场景、多视点图像几何处理及其合成拼接成像技术；高性能处理平台设计；车载数字图象技术研究等。软件流程如下图所示。