基于FPGA/CPLD和USB技术的无损图像采集卡

liyf

基于FPGA/CPLD和USB技术的无损图像采集卡

摘要：介绍了外置式USB无损图像采集卡的设计和实现方案，它用于特殊场合的图像处理及其相关领域。针对图像传输的特点，结合FPGA/CPLD和USB技术，给出了硬件实现框图，同时给出了FPGA/CPLD内部时序控制图和USB程序流程图，结合框图和部分程序源代码，具体讲述了课题中遇到的难点和相应的解决方案。     关键词：无损图像采集 图像处理 FPGA/CPLD USB SAA7111A
现场图像采集技术发展迅速，各种基于ISA、PCI等总线的图像采集卡已经相当成熟，结合课题设计了一款USB外置式图像采集卡。该图像采集卡已成功应用于一个图像处理和识别的项目中，由于图像信号不经过压缩处理，对后续处理没有任何影响，因此图像处理和识别的效果比一般的图像采集卡要好，满足了特殊场合的特殊需要。
1 外置式无损图像采集卡的系统构成
整个无损图像采集卡由图像采集、图像信号的处理和控制、USB传输和控制、PC机端的图像还原和存储等几部分组成。


图1 外置式图像采集卡的硬件框图

    本文介绍的图像采集卡采集的一帧图像是720×576象素，如果取彩色图像，每象素用2个字节表示，每帧图像是720×576×16=6480kbps，分成奇数场和偶数场分别存储在两片SRAM中，则每片的SRAM存储3240kbps的图像数据，因此选用了256K×16=4M位的静态存储器（SRAM）。在图像处理领域，通常只需要黑白图像，可以只取图像的黑白部分，每象素用1个字节表示，每帧图像是720×576×8=3240kbps，每片SRAM存储1620kbps的图像数据。所采用的EZ-USB芯片理论速率是12Mbps，实际测得的速率是8Mbps，因此图像采集卡每秒传输约1帧彩色图像或2帧黑白图像。
当插上图像采集卡后，PC机会自动识别它。在PC机上，应用程序通过USB向FPGA/CPLD发送图像采集命令，CCD摄像头输出的PAL制式或NTSC制式的模拟视频信号通过A/D转换芯片转换成数字视频信号，用FPGA/CPLD作为采样控制器，将数字信号存入静态存储器（SRAM）中，当完成一帧图像采集后，FPGA/CPLD向USB发送中断信号，要求USB进行图像数据的传输，在PC机端接收USB送来的一帧图像数据，并且显示、存储图像。文本具体讲述了用该采集卡进行黑白图像的传输，整个硬件框图如图1所示。
2 外置式无损图像采集卡的研制
2.1 图像采集部分
图像采集部分选用了Philips公司的视频A/D转换芯片SAA7111A（EVIP），对SAA7111A的初始化是通过EZ-USB所提供的一对I2C引脚SDA和SCL进行的，在USB固件程序（Firmware）中进行I2C通信程序的编写。本系统中SAA7111A的初始设定为：一路模拟视频信号输入、自动增益控制、625行50Hz PAL制式、YUV 422 16bits数字视频信号输出、设置默认的图像对比度、亮度及饱和度。SAA7111A芯片产生的数字视频信号、控制信号和状态信号送入控制芯片FPGA/CPLD中，即把场同步信号VREF、行同步信号HREF、奇偶场标志信号RTS0、片选信号CE、垂直同步信号VS、象素时钟信号LLC2以及数字视频信号VPO[15:8]等管脚连接到FPGA/CPLD芯片LC4128V，以便LC4128V获知各种采集信息。同时，SRAM芯片的读写信号、片选信号、高低字节信号、数据线IO[7:0]和地睛线A[17:0]连接到LC4128V，整个采集过程由FPGA/CPLD芯片LC4128V控制。
在PC机端，通过USB发出图像采集命令后，FPGA/CPLD进行图像采集，由于CCD摄像头输出模拟信号，需要经过视频A/D转化睛，把模拟视频信号转化成数字视频信号，输入进FPGA/CPLD芯片，FPGA/CPLD根据状态信号RTS0把奇偶场图像信号分别存储在SRAM（ODD）和SRAM（EVEN）中。
2.2 图像信号的处理和控制
这部分是无损图像采集卡的核心，需要对外围的器件进行集中控制和处理。FPGA/CPLD对图像信号的采集、控制、存储数据到SRAM以及从SRAM读取数据都在这里实现。选用了Lattice公司的新一代产品ispMACH4000V-LC4128V，采用Verilog HDL作为硬件描述语言，但是所编写的Verilog源程序都适用于FPGA器件，又适用于CPLD器件。
FPGA/CPLD与USB接口部分由七个部分构成（如图1所示）：Start线是拍摄线，它可以向FPGA/CPLD发出图像采集命令，FPGA/CPLD把当前的奇数场图像存储在SRAM（ODD）中，把当前的偶数场图像存储在SRAM（EVEN）中；当一帧数据全部存储完后，发出中断（Interrupt）信号通知USB芯片；同时用State线作为状态线，当State线为低电平时，表明USB可以从SRAM读数据，当State线为高电平时，表明FPGA/CPLD正在向SRAM写数据；RamOdd用来选择从SRAM（ODD）中读取奇数场的数字视频信号；RamEven用于选择从SRAM（EVEN）中读取偶数场的数字视频信号；FPGA/CLPD输出的数据线连接至USB和SRAM芯片，再通过USB传送到PC机；FrdClk线是USB快速读写方式输出的读选通信号，作为SRAM的时钟，每来一个时钟脉冲，地址值就加1，然后将对应地址单元中存储的数据通过USB传输到PC机上。
下面具体描述FPGA/CPLD内部时序控制（如图2所示）。首先需要产生FPGA/CPLD内部同步时钟信号InClk，当FPGA/CPLD向SRAM存储数字视频信号时，用SAA7111A的LLC2作为内部同步时钟信号；当FPGA/CPLD传输数字视频信号时，用USB的读选通信号FrdClk作为内部同步时钟信号。当有VS上升沿时，如果RTS0为低电平，则表明是奇数场即将到来，产生LingPai高电平信号，对LingPai取反作用作SRAM（ODD）的写信号WE1；如果RTS0为高电平，则表明偶数场即将到来，产生LingPaiEven高电平信号，对LingPaiEven取反后用作SRAM（Even）的写信号WE2，WE1和WE2经过与门后产生图2中的两个SRAM的写选通信号WE。此外，由LingRai和LingPaiEven产生LingPaiAll信号，作为选择内部同步时钟的控制信号。由USB芯片产生的Ramodd(OE1)和RamEven(OE2)信号，分别用作SRAM（ODD）和SRAM（EVEN）的读信号，OE1和OE2经过与门后产生图2中的两个SRAM读选通信号OE。当LingPaiAll为高电平期间，表示FPGA/CPLD正在向SRAM存储数据，此时用WE1作为SRAM（ODD）的片选信号CE1，用WE2作为SRAM（EVEN）的片选信号CE2；当LingPai为低电平期间，表示USB正在从SRAM读取数据，此时用OE1作为SRAM（ODD）的片选信号CE1，用OE2作为SRAM（EVEN）的片选信号CE2。


图2 FPGA/CPLD内部时序控制

    下面阐述FPGA/CPLD如何对数据传输进行控制，这部分是个难点（如图2所示）。这里只讨论如何对奇数场的数字视频信号进行控制，对偶数场的控制类似于对奇数场的控制，本文不再多述。当LingPai为高电平时，表示FPGA/CPLD向SRAM存储奇数场图像数据，此时时钟为LLC2。当场同步信号VREF、行同步信号HREF、奇偶场标志信号RTS0为高电平时，改变相应SRAM的地址信号，并且把数字视频信号输出以内部的缓冲器VI，当LingPai为低电平时，表示USB正在从SRAM读取奇数场图像数据，此时时钟为FrdClk。FPGA/CPLD内部用AddressChange记录LingPai的变化，当发现有LingPai变化时，表示读取数据变成了存储数据或者存储数字变成了读取数据，此时需要把SRAM的地址值变成0。成Verilog中灵活运用了非阻塞型过程赋值（参见下面的源程序），解决了这个技术难点。此外，需要把从SAA711A输出的数字视频信号先放在缓冲器VI[7:0]中，在LingPaiAll为高电平时，通过VO[7:0]输出到SRAM，保证存储数据的可靠同步性。这部分Verilog源程序如下：
always @(posedge InCLK)
begin
AddressChange<=LingPai；
if(VREF && HREF && RTS0 && LingPai)
begin VI<=VPO;A<=A +1;end
if(!LingPai && !OE1) begin A <=A +1；
end
if(LingPai!=AddressChange) begin A <=0; end
end
2.3 USB的开发和数据传输
Cypress公司推出的带有USB接口的EZ-USB系列处理器，实现了外围设备通过USB接口与PC机进行数据通信。它通过内部RAM编程和数据存储，使得芯片具有软特性。USB主机通过USB总线下载8051程序代码和设备特征到RAM中，然后EZ-USB芯片作为一个由代码定义的外围设备重新连接到主机上（重枚举）。
USB规范1.1版本定义了USB的四种数据传输模式：控制传输、同步传输、中断传输和块传输，以适应不同应用场合的需求。其中块传输方式提供数据校验，适用于无误传输大指数据的场合。本课题选用USB的块传输方式，同时采用了EZ-USB的快速传输模式，理论速率为12Mbps，实际最高速率能达到8Mbps。
当PC机检测到USB图像采集卡已经插上后，PC机可自动地将图像采集卡的驱动程序装入操作系统，同时PC机通过USB总线下载8051程序代码和设备特片到USB的RAM中。

USB的开发包括USB的固件程序、Windows设备驱动程序和Windows主机应用程序的编制，限于篇幅，这里只简单介绍一下USB固件程序（Firmware）的编制。USB固件程序的具体流程如图3所示，在源程序的TD_Poll（）中加入了对比度、亮度及饱和度的调节，以做到在硬件上对图像处理中的上述重要参数的调节，在外部中断1中完成一帧数据的快速传输。
由于采用了外部中断1，为了避免与USB中断的冲突，需要在工程中自己编写一个汇编文件，内容如下：
cseg at 43h
ljmp 1800h
end
此外，在编写的Keil C源程序中需要加两句话，以解决USB中断和外部中断的地址重叠问题。
#pragma intvector (0x17FD)
#pragma interval(4)
为了增加USB传输数字视频信号的速度，采用USB的快速读写模式，在Keil C源程序中内嵌对USB进行寄存器设置的汇编代码。配置了USB的时钟控制寄存器，采用全速访问数据存储器，MOVX指令在两个机器周期内实行，时钟频率为24MHz，因此USB产生的读选通宽度为83.3ns。配置端口A，使能PORTACFG（16进制地址为7F93H）寄存器中的快速读FRD。配置快速传输控制寄存器FASTXFR（16进制地址为7FE2 H），采用快速块传输，使能快速读写信号。为了将端点2缓冲匹配置成FIFO，增加读写速度，8051将端点2缓冲区（IN2）的首地址7E00H装入自动指针AUTOPTRH（16进制地址为7FE3H）和AUTOPTRL（16进制地址为7FE4H），并且dptr指向AUTODATA（16进制地址为7FE5H），也就是指向了FIFO寄存器，这样8051可以完全像FIFO一样访问端点2缓冲区。
2.4 PC机端的图像还原
在PC机端，用Visual C++ 6.0编写客户应用程序，应用程序通过USB接收原始的奇数场和偶数场图像数据，待接收完奇数场和偶数场图像数据后，应用程序把它们组成完整的一帧图像，并且把该帧图像数据存储到硬盘上，然后把这帧图像转化成BMP格式的图像，以BMP格式再次在硬盘上存储图像数据，同时以BMP的形式显示图像。
3 应用前景
该无损图像采集卡虽然是针对特殊的图像处理应用而研发的，但它的作用很广，能应用于嵌入式系统中的图像传输、集成电路和精密机械领域中的器件定位等。此外，如果用USB2.0代替USB1.1，则能实时传输图像数据到PC机或嵌入式系统，用软件进行图像数据的压缩处理，这块外置式图像采集卡可以作为一个很好的实时监控设备，以降低硬件成本。

李小路

谢谢分享！