基于Virtex-II平台的目标捕捉系统的的设计和实现，附完整代码

admin

摘要
          此项目旨在对一个目标捕获系统的图像处理算法进行严格的硬件验证.我们将用分别用硬件设计和多核软件设计来分别实现这个算法,并比较这两种实现方式.在创建多核软件设计的过程中我们还将对OpenFire软核进行改进以搭建起这个多核网络.
           
          这个目标捕获系统的图像处理算法的硬件实现方式和多核软件实现方式将在一个基于FPGA试验板上进行比较.以此证明通过合理配置和编程多核软件实现同样很容易达到和硬件实现一样的低功耗性能,并只有非常低的面积消耗.
           
          引言
          随着现代高速处理器的迅猛发展，图像处理技术也日益成熟。其中，移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术，在机器人视觉、交通监测、可视预警、机器导航等民用领域有着广泛的应用.基于FPGA为核心器件构成的视频识别和跟踪装置，实现图像跟踪各项功能。此项目提出的跟踪算法与设计的跟踪装置可在一定程度上解决视频跟踪精度低、处理速度慢的问题，同时本视频跟踪装置也可作为进一步研究图像处理与跟踪控制的平台。该系统体积小，灵活性高，易于升级，可应用于无人值守的智能监控系统，如银行，金库，仓库等重地。当发现异常情况出现时，该系统能够自动报警或采取其它相应的措施，从而更有效、可靠地实现了安全防范，同时也在很大程度上减少了监视人员的工作量和疲劳度，大大提高了工作效率。
           
          此项目旨在对一个目标捕获系统的图像处理算法进行严格的硬件验证.我们将用分别用硬件设计和多核软件设计来分别实现这个算法,并比较这两种实现方式.在创建多核软件设计的过程中我们还将对OpenFire软核进行改进以搭建起这个多核网络.
           
          这个目标捕获系统的图像处理算法的硬件实现方式和多核软件实现方式将在一个基于FPGA试验板上进行比较.以此证明通过合理配置和编程多核软件实现同样很容易达到和硬件实现一样的低功耗性能,并只有非常低的面积消耗.
         
        目标捕获系统流程及系统架构
           

       

        图一 目标捕获系统流程图

         

       

        图二  本项目系统架构图

           
          FPGA的实现
          1  算法简介
          （1）背景差分法算法 　背景差分[6]是利用当前图像与背景图像差分来检测出运动区域的一种技术，一般能提供最完全的特征数据，但对于动态场景的变化，如光照等事件的干扰特别敏感。考虑到摄像机移动缓慢，背景图像变化比较迟缓，而运动对象相对于背景变化较快，这样相对于变化较慢的背景图像来说，可把运动对象看作是一个对背景图像的随机扰动。针对本装置的设计要求，我们应用Kalman滤波器[4]在零均值白噪声的退化公式即渐消记忆递归最小二乘法，来更新和重建背景图像，得到时域渐消递归最小二乘法的递归式
           

       

           
          （2） 颜色滤波去阴影算法
          如果图像中具有运动阴影和分割碎块，分割所得的图像往往与实际目标不符，产生欠分割或过分割的现象。由于阴影象素的灰度值在一个局部领域中变化不是很大，所以颜色滤波主要是构造一个包含阴影的模板，再用这个模板与差分结果做逻辑与的操作，从而检出阴影。本算法比较简单，执行速度快，处理中不需要区分阴影和半阴影，而且可以将移动阴影和背景中的阴影都检出来，只是模板中的参数要根据现实情况和经验来定。由于静止物体的阴影也是不动的，所以静止目标可以归入背景中
           
          (3）形心跟踪算法
          形心跟踪是将整个跟踪波门内的图像二值化，用求目标形心的办法获得目标位置参量。由于形心值是相对于目标面积归一化的值，因此形心值不受目标面积、形状以及灰度分布细节的限制。同时，形心跟踪的计算颇为简便。但是，形心跟踪器受目标的剧烈运动或目标被遮挡的影响较为严重，瞄准点漂移是远距离跟踪系统的主要误差之一。这也是我们采用目标轨迹拟合算法来外推运动目标位置，并与相关跟踪法并行工作的原因。由于形心算法比较普及，本跟踪装置直接采用了改进的形心跟踪算法，用目标峰值自适应检测算法使系统的计算可靠性和实时性达到最佳结合值。
           
          2  算法的实现
          1  差分机模型

       

        图三  差分机模型

           
          从图中可以看出 差分机分4步对比计算每个像素和颜色的差别,输入这个模型的是红绿蓝的像素值 和 红绿蓝的颜色值以及阈值.当阈值为16bits 宽的时候  那么每个输入像素的值就是8bits宽.
           
          二进制的数据流作为此差分机的输出用于构建差分图形.

       

•                 四openfire 软核架构
  

          系统采用四个OpenFire core 作为自己的软核 .Openfire是一个开源的软核, 这种开放源码的处理器和Xilinx的Microblaze 兼容，甚至可以使用大多数Xilinx　ＥＤＫ提供的工具 。Openfire在cache和FSL总线等方面和Microblaze有着相同的配置 , 但是openfire允许改变数据通过的字节宽度,这正是我们目标捕捉图像处理算法所需要的.
           

       

        图四  四 OpenFire 软核 架构

           

       

        图五  改进后的openfire处理器顶层图

           
           
           

       

        图六  Openfire OPB 状态机

         

       

        图七 Open fire OPB memory 系统图

         

       

        图八 Open fire IOPB memory 系统图

           

       

        图九  改进OenFire FSL 数据 I/O

         
          部分代码

        1  FSL loopback test code

        // This code is used by an OpenFire with all eight of its FSL ports connected

        // in loopback to ensure that all ports are functional.

        #include "fsl.h"

        bool test_fsls(void);

        int main(void) {

        test_fsls();

        while(1);

        }

        bool test_fsls(void) {

        int data = 0;

        putfsl(data+1,0);

        getfsl(data,0);

        putfsl(data+1,1);

        getfsl(data,1);

        putfsl(data+1,2);

        getfsl(data,2);

        putfsl(data+1,3);

        getfsl(data,3);

        putfsl(data+1,4);

        getfsl(data,4);

        putfsl(data+1,5);

        getfsl(data,5);

        putfsl(data+1,6);

        getfsl(data,6);

        putfsl(data+1,7);

        getfsl(data,7);

        return(data == 8);

        }

        2  IOPB / DOPB test code

        #include "microblaze_0/include/xparameters.h"

        #include "microblaze_0/include/xuartlite_l.h"

        #include "microblaze_0/include/fsl.h"

        extern void xil_printf(const char*, ...);

        void outbyte(char c)

        {

        XUartLite_SendByte(STDOUT_BASEADDRESS, c);

        }

        char inbyte(void)

        {

        return XUartLite_RecvByte(STDIN_BASEADDRESS);

        }

        volatile unsigned int * timer = (unsigned int *)0x40060008;

        volatile unsigned int * ddr = (unsigned int *)0x30000000;

        unsigned int (*moved_summer)(const unsigned int * values, const int numvals);

        unsigned int summer(const unsigned int * values, const int numvals)

        {

        int ctr;

        unsigned int sum = 0;

        for(ctr=0;ctr<numvals;ctr++)

        sum += values[ctr];

        return sum;

        }

        int main(void)

        {

        unsigned int starttime;

        unsigned int endtime;

        unsigned int timetaken;

        int test_ctr;

        int num_tests = 16;

        int num_shifts = 4; // num_shifts = log2(num_tests)

         

        int array_sz = 16;

        int array_ctr;

        int num_instructions = 100;

        int instr_ctr;

        unsigned int retval;

        for(array_ctr = 0; array_ctr < array_sz; array_ctr++)

        ddr[array_ctr] = array_ctr;

        xil_printf("-- Starting Test (BRAM) --\r\n");

        retval = 0;

        timetaken = 0;

        for(test_ctr=0;test_ctr<num_tests;test_ctr++)

        {

        starttime = timer[0];

        retval = summer(ddr,array_sz);

        endtime = timer[0];

        timetaken += endtime - starttime;

        }

        xil_printf("-- Test Finished --\r\n");

        xil_printf("RtVal: %d\r\n", retval);

        xil_printf("Taken: %d\r\n", timetaken);

        xil_printf("#Runs: %d\r\n", num_tests);

        for(test_ctr=0;test_ctr<num_shifts;test_ctr++) timetaken >>= 1;

        xil_printf("Avg: %d\r\n", timetaken);

        ((unsigned int *)moved_summer) = ddr + 0x1000;

        for(instr_ctr=0; instr_ctr<num_instructions; instr_ctr++)

        ((unsigned int *)moved_summer)[instr_ctr] = ((unsigned int *)summer)[instr_ctr];

        xil_printf("-- Starting Test (DDR) --\r\n");

        retval = 0;

        timetaken = 0;

        for(test_ctr=0;test_ctr<num_tests;test_ctr++)

        {

        starttime = timer[0];

         

        retval = moved_summer(ddr,array_sz);

        endtime = timer[0];

        timetaken += endtime - starttime;

        }

        xil_printf("-- Test Finished --\r\n");

        xil_printf("RtVal: %d\r\n", retval);

        xil_printf("Taken: %d\r\n", timetaken);

        xil_printf("#Runs: %d\r\n", num_tests);

        for(test_ctr=0;test_ctr<num_shifts;test_ctr++) timetaken >>= 1;

        xil_printf("Avg: %d\r\n", timetaken);

        while(1);

        return(0);

        }

        3  OpenFire#1 C Code

        unsigned mostly_colors;

        unsigned thresh_desired;

        unsigned char * rdes = &(((unsigned char *)&mostly_colors)[0]);

        unsigned char * r = &(((unsigned char *)&mostly_colors)[1]);

        unsigned char * g = &(((unsigned char *)&mostly_colors)[2]);

        unsigned char * b = &(((unsigned char *)&mostly_colors)[3]);

        unsigned short * thresh = &(((unsigned short *)&thresh_desired)[0]);

        unsigned char * gdes = &(((unsigned char *)&thresh_desired)[2]);

        unsigned char * bdes = &(((unsigned char *)&thresh_desired)[3]);

        unsigned yx_data, sum;

        while(1)

        {

        getfsl(mostly_colors,0);

        getfsl(thresh_desired,1);

        getfsl(yx_data,2);

        sum = ((*r) - (*rdes)) * ((*r) - (*rdes)) +

        ((*g) - (*gdes)) * ((*g) - (*gdes)) +

        ((*b) - (*bdes)) * ((*b) - (*bdes));

        if(sum < (*thresh))

        {

        putfsl(yx_data,0);

        putfsl(yx_data,1);

        }

        else

        {

        putfsl(0,0);

        putfsl(0,1);

        }

        }

        需要的开发平台

硬件平台	软件平台
PC机	Linux
	QT
Virtex-II Pro开发板	Matlab
	ISE
	ModelSim
	EDK

李小路

谢谢分享！