基于FPGA的行人检测系统设计，实现智能视频监控

admin

项目实施背景及可行性分析：
          智能视频监控是计算机视觉的一个重要应用领域，有着广阔的应用前景，尤其是那些对安全要求比较敏感的场合，如飞机场、地铁站、银行、超市等。
           
          因为在视频监控场景中出现的行人是事件发生的主体，所以行人是智能视频监控系统研究的主要对象，系统对这些行人目标进行实时检测、跟踪与识别，进而分析他们的运动或行为。而我们的研究课题——行人检测就属于智能监控系统中的目标分类功能部分，它的作用是将视频中的行人与其他物体区分开来，并准确定位。检测性能的好坏将直接影响后续工作以致整个智能监控系统的性能。因而这将是一个有着现实应用意义的课题项目
           
          在视频图像中进行行人检测可转化为一个目标分类问题，设计行人检测系统的前提就是分类器的训练。训练分类器的主要步骤包括目标特征提取和机器学习算法的选择。利用特征对目标进行建模比直接使用图像的像素值在计算上更加方便快捷，另外特征提取有利于减小同类目标对象的类内距离，同时增大不同类对象之间的类间距离，使最终的分类结果更加准确。目前矩形特征经常被同来表述行人形状的边缘信息，此类特征在样本图像中的大小和位置都是可变的，在逐像素遍历的情况下特征总数目还是非常庞大，因此需要一个特征选择算法来选择对分类最有的特征，而级联Adaboost算法正具有此功能。级联Adaboost算法成熟、快速，具有很强的实用性。综上所述，成熟的行人检测算法为本研究项目奠定了坚实的理论基础。
           
          项目实施方案：
          1 项目基本框图及描述：
          从实用角度出发，本文涉及的行人检测系统，共有三个功能模块，系统框图如图一所示。第一部分的作用是通过背景建模进行前景目标的提取；第二部分完成对行人目标的多尺度检测功能，其中的行人分类器是由级联Adaboost算法使用矩形特征训练出来的；第三部分的作用是将同一目标产生的多个检测结果进行合并，完成最终的检测定位功能。
           

       

        图一：行人检测系统框图

         
          2 背景建模
          真实的视频监控场景中，存在着大量的背景区域。本系统引入背景建模用来提取前景目标，有利于减少目标的搜索范围，从而加快检测速度。本系统采用单高斯背景建模法来获取前景目标。
           
          单高斯分布背景模型为每一图像像素的灰度值分布建立了用单个高斯分布表示的模型 ，其中下标t表示帧号， 和 分别表示高斯分布的矩阵和方差。设图像当前像素点的灰度值为 ，若 ，其中T为概率阈值，则该像素点被判为前景点，否则为背景点。在实际应用中，记 ，则取概率阈值为 。
           
          对于单高斯分布模型的更新，即各图像点高斯分布参数的更新，我们引入如下更新公式：

       

          其中 为更新率， 的取值对前景目标的提取起着关键的作用。如果太小，则会使背景模型跟不上实际背景的更新速度；如果取太大，则可能将速度较慢的运动物体更新为背景模型的一部分。本系统将取值为0.005。
           
          通过高斯背景建模，可以生成当前帧图像的前景像素点，将这些前景像素点标记为1，背景像素点标记为0，生成一张前景标记图像。在后续的多尺度检测过程中，通过判断子窗口中是否含有前景像素点以决定是否检测。子窗口的遍历不需要花费很多时间，但级联分类器的特征计算是非常耗时的，因此这样做可以大大减少检测时间。
           
          3 多尺度检测
          本系统采用的检测方法是利用检测窗口逐像素多尺度遍历图像区域，用训练好的级联Adaboost行人分类器检测检测窗口内是否存在行人，其中检测窗口的尺寸等于训练样本的尺寸。在实际的视频场景中，人的尺寸是随着与摄像机之间的距离变化而变化的，因此需要考虑检测目标与样本尺寸匹配的问题。针对这个问题，本系统采用逐层缩小原始图像的方法，以保证检测目标与检测窗口尺寸的一致性。
           
          对于缩放系数的选择，也是影响检测效果的因素之一。若缩放系数太低，可能导致目标形状的畸变，从而影响检测结果；但如果缩放系数太高，又会增加缩放次数，降低检测效率。折衷考虑，我们选择0.85为逐层缩放图像的系数，图像的逐层缩放需要在原始图像和前景目标图像上同时进行，直至图片的尺寸小于检测窗口的尺寸。
           
          4 多检测窗口的合并
          由于本系统采用的检测方法是逐像素多尺度遍历检测，可能导致对同一目标产生多个检测结果（如图二（a）所示）,因此需要将这些重叠的窗口合并成一个检测结果（如图二（b）所示）。在合并的过程中，首先判断当前窗口是否有足够的临近窗口。所谓临近窗口就是两个窗口R1和R2相交的面积S（如图二（c）阴影部分所示）与两个窗口面积的比值均大于0.6。如果有足够多的临近窗口，那么保留此窗口，并且将此窗口与其临近窗口两两求平均合并为一个新的窗口（如图二（c）虚框所示）；如果没有足够多的临近窗口，就将此窗口当是错误检测结果删除。
           

       

          图二：（a）合并前         （b）合并后          （c）矩形窗口合并方法
           
         
          项目设计目标：
          对于视频图像，我们采用以下两个性能指标来统计检测系统的性能：
          1、虚警率：所有帧内图像发生错检的非行人窗口数目总和/所有帧内检测窗口数目总和；
          2、检测率：所有帧内图像检测正确的行人窗口数目总和/所有帧内检测窗口数目总和
          本系统的设计目标是实现实时检测，并且在复杂的图像背景条件下，达到高检测率和低虚警率。
           
          三、实验资源：
          （1）实验平台
          FPGA开发平台以及相应的JTAG调试和开发工具
          目标平台为Xilinx Virtex –V5开发平台，原因如下：本项目属于数字通信和高速电路领域，可以用在航空和军事领域，需要硬件处理平台具有较高的处理速度和丰富的逻辑资源，Xilinx-V5平台是目前Xilinx公司推出的最新FPGA开发平台，核心FPGA芯片的数据处理能力可达到3.1G，可实现高速数字信号的串并变换、时钟处理、延迟处理等逻辑功能。
           
          （2）测试设备：
          包括直流稳压电源、万用表
          （3）仿真、开发工具：
          包括Opencv、ModelSim、Xilinx ISE等。
           
          推荐阅读： 30例经典检测、监测、监控系统完整解决方案，从实际应用需求出发