基于三星S3C2440A的Micro2440视觉处理平台的构建

liyf

嵌入式机器人系统通常需要高速、功能接口丰富的处理器系统，而最新的Micro2440开发板采用了三星S3C2440A处理器，该处理器基于ARM920T内核，工作频率400 MHz，0.13 μm的工艺制造,具有高性价比、低功耗、高性能的特点[1],同时内部集成了LCD、CMOS摄像头等接口模块，能够高速快捷地完成视频信号处理，而且丰富的外围接口提供了系统良好的扩展特性。另外Micro2440核心板可以与底板分离单独运行，为进一步缩小体积预留了空间。无论是基于图像的处理还是视频流的处理，首先都需要完成视觉平台的构建，本文在Micro2440开发板的基础上实现了视觉处理平台，完成了图像、视频的处理和显示功能，并提出了基于颜色通道的背景差分法，完成目标物体中心的实时检测。1 系统整体流程    该平台设计首先完成了基本的硬件初始化，而CMOS摄像头驱动以及相应的图像处理作为一个单独的模块进行加载运行。该嵌入式系统的加载启动任务是由bootLoader（bootLoader是嵌入式系统加电后运行的第一段程序）来完成的。bootLoader分为两个阶段：第一阶段通常由汇编语言实现完成部分硬件的初始化，创建C语言运行环境；第二阶段继续进行初始化完成MMU、LCD显示等设置。在系统完成基本硬件的初始化工作后，便可以启动摄像头进行图像、视频的采集处理，系统结构如图1所示。

    bootLoader的第一阶段启动的流程依次为：ARM启动或重启→设置中断向量→禁止看门狗、中断→设置时钟→Sdram初始化→复制RO/RW段到Sdram→ZI段清零→堆栈初始化→跳转到main函数。第二阶段则完成了以下操作：main函数→端口初始化→设置中断请求→设置主频→串口初始化→设置MMU→打开Cache→LCD初始化。ARM系统MMU的设计为了便于实现，采用了2段式的虚拟地址分配方式，每个页（Section）的大小设置为1Mb;同时为了减少对S3C2440地址的修改，采用了虚拟地址与物理地址相同的地址分配方式。2 LCD设计    Micro2440开发板配有240×320/NEC3.5英寸T- FT真彩液晶屏，正确设置后能够显示清晰的图像、视频。S3C2440A的LCD控制器支持的屏幕大小包括480×640、240×320以及160×160等尺寸，能够产生VFRAME、VLINE、VCLK、VM等控制信号。这些控制信号的使用需要配置S3C2440A的C端口为LCD控制。同时LCD的数据线VD[0]" VD[7]也由C端口控制，VD[8]"VD[23]则由D端口控制，需要设置做为LCD数据线。由于使用的是TFT真彩液晶屏，需要把LCD控制寄存器设置为TFT模式，这里设置为TFT的16bPP（bits Per Pixel）模式；同时还需要对LCDCON5进一步设置为5:6:5或5:5:5:1格式，这里设置RGb格式为5:6:5格式，此信号在OV9650传输如图2所示[2]。以便和摄像头的视频输出格式相一致，否则需要进行格式的转化。在设置完帧缓存地址后，写入数据，便可以实现图像的显示，格式转换过程如图3所示。

3 摄像头驱动设计    Micro2440开发板的配套摄像头型号为OV9650，该摄像头具有130万像素，输出视频格式为YCbCr格式，同时S3C2440A的CAMIF(Camera Interface) 提供了ITU-R bT.601/656 8位标准输入的支持[3]，最大可采样4 096×4 096像素的图像[4],在Preview模式下支持输出RGb 16/24 bit格式，这对于数字图像的处理带来了便利条件。S3C2440A的CAMIF与OV9650的连接如图4所示。

    OV9650驱动流程如下：设置Camera全局控制寄存器，并复位→配置S3C2440A的J端口→使能OV9650的Normal模式→设置接口时钟→通过I2CSCL，I2C-SDA与SID_C, SID_D信号建立S3C2440A与OV9650的通信→设置OV9650的寄存器组→初始化3C2440A摄像头接口，包括捕获图像的宽、高、偏移、输入格式、输出格式、缓冲区地址等→将OV9650将LCD缓冲区地址更改到Camera的缓冲区地址，以显示Camera图像→清除中断→设置中断处理函数→开始捕获图像。    其中，OV9650与S3C2440A的通信采用了两线制的SCCb (Serial Camera Control bus) [5]，通过该接口可实现各种图像增强和控制功能，如自动曝光、自动增益、自动白平衡控制等，以及控制图像色彩、饱和度、锐化、镜头校准等[6]。S3C2440A控制端口产生SCCb的启动、停止等控制信号，SCCb 协议中开始条件定义为:在SID_C 为高电平时, SID_D出现一个下降沿,则SCCb开始传输;停止条件定义为:在SID_C为高电平时, SID_D出现一个上升沿,则SCCb停止传输；在数据传输时,SID_C为高电平时,需要SID_D上的数据的稳定,以便传输，如图5所示。

    以写一位数据传输为例，基本流程为：将数据放在SID_D上→启动SID_C进行传输→延时传输后停止SID_C；同理，传输8位数据则需循环8次。类似地，读取时基本流程为：启动SID_C→读取SID_D→停止SID_C。一个完整的数据传输的写周期顺序为：写从设备的ID→写设备寄存器的地址→将此寄存器中写入数据。
                          
                       
                          
                                4 图像处理设计    在获得摄像头采集的图像后，常常需要对捕获的图像进行处理，并把处理的结果实时地显示出来。本文通过设计在帧中断处理函数中进行图像处理，可以很好地进行处理后图像的动态显示。此时需要将OV9650获得的图像的buffer地址设置到一临时空间中，完成处理后再送入LCD的buffer地址中进行显示；否则，Camera和图像处理函数同时写LCD的buffer地址，将出现LCD显示不正确的情况。图像处理流程如图6所示。

5 图像获取结果    图7分别是在室内环境下，桌面上一个普通乒乓球在摄像头视频显示的结果(左)和在动态处理后摄像头视频显示(右)的截图，其中视频的下方同时显示了一横条图片。图像处理函数完成了视频在绿色通道中的同步显示。经验证，图像处理的结果良好，色彩正常，并且无明显滞后等异常现象。

6 运动目标检测    获取OV9650图像后，在此系统平台上完成了对运动物体的目标检测，取得了良好效果。常用的运动目标检测方法有:光流法、帧差分法以及背景差分法[7]。光流法大多计算复杂，占用CPU时间较多；帧差分法常常检测目标不够完整；因而针对嵌入式平台采用了运算速度较快的背景差分法。实验首先采用了基于灰度图像的背景差分法，但效果不够理想:设f(i,j)为一帧视频图像序列；Rf、Gf、bf为其中的任一像素的红绿蓝分量，i，j为像素的横坐标和纵坐标。b(i,j)为背景图像序列，同样地，Rb、Gb、bb为其中的红绿蓝分量，依据以下公式计算灰度值(类似黑白摄像头获得的灰度值):   

背景差为: fb(i,j)=f(i,j)-b(i,j)。此系统中RGb格式为5:6:5格式，红绿蓝分量均取5位，绿色分量舍弃了最低位。获得的差分图像分别以红色显示和二值化获得的结果如图8所示。

    如图8(右)所示，由于灰度图像的背景差分法获得的像素值普遍较低，因而屏幕亮度较暗，在室内光线中LCD屏幕显示很不清晰；图8(左)为进行二值化后背景差分法的图像，也仅能够得到小球的部分区域，效果不够理想。于是本文针对于彩色图像提出了基于颜色通道的背景差分法，可以获得理想的效果。设P为颜色通道(这里红色通道取值为0xF800)，则基于颜色通道的背景差分法用如下公式计算:   

   背景差为: fb(i,j)=f(i,j)-b(i,j)。若取阀值T则：fb(i,j)=fb(i,j)-T。获得的差分图像分别在红色通道中显示和二值化所得的结果如图9所示。可见图9左图二值化后可获得乒乓球的圆形轮廓，十分清晰；而且在红色通道中的图像显示轮廓明亮，说明数值强度大抗干扰能力强。在获得图像后并自动计算出形心位置，在横轴和纵轴以白色直线显示中心位置，在以240×320分辨率输出时,平均速率达30帧/s，实现了对运动目标中心的实时检测，如图9右图所示。实验结果表明, 此基于Micro2440的视觉处理平台上能够很好地进行图像及视频的显示及处理。    本文基于Micro2440的视觉处理平台具有以下特点: (1)Micro2440平台提供了丰富的外围接口，方便功能扩展,S3C2440A自带有CAMIF(Camera Inter-face) 模块，无需接口转化电路，核心板与底板分离可以进一步缩小体积;(2)CPU工作频率 400 MHz，处理速度较快，OV9650高达130万像素，分辨率高。    在每完成一帧的视频采集后，能够及时地进行图像处理，并且图像处理的结果能够在LCD上同步显示；同时轻松转换便可以方便地得到标准24位bMP图像，为进一步数字图像处理提供了良好的平台。