基于FPGA的ARM图像缩放器的实现

admin

ARM是目前全球最大的嵌入式芯片技术的IP提供商，其所拥有的IP已经成为众多芯片设计公司采纳的一种技术标准和开发平台。所以基于ARM 内核的SoC已经成为嵌入式处理器的开发重点，可通过ARM实现LCD控制器来完成对嵌入式LCD屏的控制。如果利用TFT屏支持显示，其图像分辨率存在局限性，因此通过搭建一个FPGA平台实现图像缩放器功能外接LCD显示器，完成ARM信号的扩展显示。同时FPGA也能完成对ARM平台产生的图像信号进行验证和仿真，以测试其功能和时序的正确性。XGA显示器因其显示量大，输出形式多样等特点已经成为目前大多数设计中的常用输出设备，因此本文针对ARM产生的VGA信号通过插值算法对其扩展为XGA标准信号。

1 VESA标准中的VGA与XGA时序

视频电子标准协会(VESA)是非盈利国际组织，主要制定个人电脑、工作站以及消费电子类产品在视频接口标准，因此本文所设计的VGA与XGA的时序均按照VESA标准设计。

显示器通常采用逐行扫描的方式，每一帧图像按顺序一行接着一行连续扫描而成，扫描的过程中由水平同步信号HSYNC和垂直同步信号VSYNC来控制扫描。行扫描和场扫描的时序图如图1所示，其行扫描和场扫描的时序要求如表1、表2所示。

图1 行扫描时序和场扫描时序


2 系统整体设计
2.1系统框图

系统设计的数据源是来自ARM9系统板的视频信号，其格式为VESA标准的VGA信号。数据源进入FPGA后先进行图像缩放的处理，把输入的有效像素数据利用算法对其进行处理，期间的处理数据利用FIFO与DDR2进行缓存，然后把处理后的图像数据按照XGA时序送入视频编码芯片，最后送入显示器显示。其中FPGA内部设计分为时序控制模块、时序产生模块、FIFO模块、图像缩放器模块以及DDR2 SDRAM控制器模块,如图2所示。

图2 系统原理框图
2.2 硬件实现

FPGA采用Altera的EP3C16F484C6芯片，该芯片具有15 408个逻辑单元，504 KB内存，56个乘法器和4个PLL锁相环内核，最大支持346个I/O端口，系统时钟最高为250 MHz。FPGA开发板采用了专门的视频解码编码芯片，Silicon Image的视频编码芯片SI7170支持VGA到UVGA的格式标准，同时也支持HDTV格式的编码。DDR2 SDRAM采用三星的K4T51163QC芯片, 其频率支持267 MHz，本文选取为200 MHz。芯片容量为32 MB×16，实际上只要SDRAM满足存储2帧图像的容量即可满足本文设计要求[1]。完成转换后的XGA信号所需的输出时钟为65 MHz，可由FPGA内部锁相环产生。

3 FPGA内部模块工作原理

3.1输入时序控制模块与输出时序控制模块

输入时序控制模块是根据输入视频信号的同步信号和时序要求，确保有效的图像数据能够顺利写入FIFO进行缓存。例如当模块接收到场同步信号时，FIFO进入即将写入的状态，当模块接收到使能信号时， FIFO开始写入数据，这样能确保写入FIFO的数据是从完整1帧图像的起始开始写入。

输出时序控制模块的功能是产生输出图像所必需的同步信号、场同步信号和行同步信号，以保证输出图像的数据与时序一致，从而使图像可以正确地显示在显示器上。

输入输出时序控制模块，按照计数器的方法进行设计[2]。例如VGA信号的1帧图像的总像素要求为800×525，其中有效像素为640×480。对于行扫描来说可设置1~96像素时钟计数为行同步信号，97~144像素时钟计数为行消隐后肩，145~784像素时钟计数为图像有效像素显示，685~800像素时钟计数为行消隐前肩。完成一行后，计数器置0，等待新的行同步信号到来再重新计数。在图像有效像素时钟内，让写入FIFO使能信号处于有效状态，而其余时间使能信号处于无效状态，这样可保证有效图像数据能准确写入FIFO进行缓存，并等待下一步的处理。
3.2 图像缩放器模块

如图3所示，图像缩放器模块主要完成对输入图像数据源进行分辨率的缩放。根据设计，输入的图像数据为VGA 640×480格式，输出的图像数据为XGA 1024×768格式。由于输入图像数据与输出图像数据在完整1帧中的每一行像素点和每一列的数量上之比都为5:8，因此可考虑对输入的VGA信号作5:8的放大。先对数据在水平方向上进行插值放大，然后再进行垂直方向上的放大，设计中水平方向和垂直方向的插值放大均使用分级双线性插值算法。

图3 图像缩放器模块框图
3.2.1分级双线性插值 [3]

在双线性插值算法中，插值点的值根据其相邻的4个已知点计算得出，如图4所示。

图4 双线性插值算法原理图
已知a、b、c、d为输入图像内的相邻的4个点，其灰度值表示为f(x)。待插像素f点映射到原图像后的坐标值小数部分为[m,n]。计算f点灰度值的过程如式(1)~式(3)所示：

f[g]=f[a]+m(f(b)-f(a)) (1)
f[h]=f[c]+m(f(d)-f(c)) (2)
f[f]=f[g]+m(f(h)-f(g))
=(1-m)(1-n)f(a)+m(1-n)f(b)+(1-m)nf(c)+mnf(d)  (3)

分级双线性插值使用的4个源图像像素点都是待插值点的直接邻点。插值的计算过程如下：
g(x)=(f(a)(m×N)+f(b)×(1-m)N)/N

其中，m与1-m分别是a点与b点的权值。因为是做5:8的转换，这里取C=N=8， 将原来为5个像素点的长度区间划分为8个区间，每个区间都有m×N与(1-m)N这一对权值组成的整数对。每个区间内部的待插值点都与该区间左边界取同样的值。8个区间的权值对应于(8,0)、(7,1)、(6,2)、(5,3)(4,4)、(3,5)、(2,6)和(1,7)。在确定好了点位置后，以查找表的方式写入权值与位置之间的关系，最后可根据内插点与临近点的相对位置查找对应系数，并通过计算得出各像素点的灰阶值。

3.2.2具体插值过程

3.2.2.1水平插值

将双线性插值分解为水平和垂直方向进行，由于是把原图像作5：8的放大，所以根据分级双线性插值，把原水平方向的5个像素点采用分8级双线性插值送入水平插值器。水平插值器由计数器与使能信号同时控制，每间隔5个时钟，水平插值器使能端置于计算插值状态，把进入的5个值进行一次插值变成新的8个像素点，之后再间隔5个时钟，将新的值进入插值器进行插值,直到把1行640个像素点插值为1行1 024个像素点。

3.2.2.2 垂直插值

垂直插值器完成垂直方向5:8的转换，即5行数据变为8行数据的转换，插值过程是按垂直方向对原来的5行数据采用分8级双线性插值,变换为新的8行数据。

完成水平插值的数据流水线型通过FIFO1与FIFO2模块，期间将FIFO1与FIFO2的值送入垂直插值器进行插值，完成垂直插值后的数据送入FIFO3与FIFO4模块，输出顺序排列在先的送入FIFO3，而另外一行数据进入FIFO4。FIFO3与FIFO4之间的数据也是流水线型进入到DDR2 SDRAM模块中，整个过程通过使用状态机对垂直插值进行控制，使经过垂直插值后的数据能以正确的顺序完成插值，并且送入DDR2 SDRAM模块。把对原5行数据经过水平和垂直插值变为8行数据的时间作为一个周期，直到完成整1帧VGA格式图像到1帧XGA图像的放大。

3.3 DDR2 SDRAM控制器模块

控制器模块的具体作用为：当SCALER完成图像数据处理后，把图像数据送进DDR2中储存,在确保DDR2中存储有2帧完整图像时，DDR2的读出端才开始读取，从第一帧图像地址读取图像数据，然后据根据时序控制从DDR2输出。当读完第一帧后，继续读取第二帧，此时第三帧继续写入原第一帧地址，之后的读取写入都按此过程进行。

由于DDR2 SDRAM不能同时写入和读出，所以需要DDR2 SDRAM控制器加以控制。可根据连接到DDR2 SDRAM模块写入端和读出端的FIFO内部已存数据数量进行读写控制。写入端前的FIFO即为图3的FIFO3。连接到DDR2读出端的FIFO为图3的FIFO2，它与输出时序控制模块共同完成最终所需XGA图像的输出。DDR2 SDRAM每次操作指令时，以1行数据为单位，即接受1次读命令，则读出1行数据；同样，接受1次写入命令，则写入1行数据，此1行数据同时为XGA格式的1行（1 024个像素点数据）。

4 仿真与功能实现

在设计中，采用Verilog语言对各逻辑模块进行编写设计，在开发环境Quartus II 9.1和Modelsim-altera 6.5b下完成对各模块的时序的仿真和功能的设计和验证，如图5所示为数据进入水平插值器后的仿真结果，水平插值把原5像素插为新8像素的仿真,其中pix为待插值的5个像素，data为插值后的8个新像素。

图5 水平插值5像素插成8像素Modelsim仿真图

经过对各模块设计的仿真,并且对各模块功能验证正确后，进行系统整体的仿真验证，最终将处理完成图像数据送到LCD上进行显示，经过放大后的示例如图6 所示。仿真验证表明，得到的图像时序和数据与要求的时序一致，对于图像数据来说虽然双线性会对屏幕边缘存在高频分量的损失[4]，使轮廓稍有模糊，但是从图像上对人眼观看的影响很小。

图6 经过放大的ARM图像信号在LCD上的显示（XGA格式）
介绍了VESA标准中的VGA与XGA时序,通过FPGA平台设计图像缩放器，完成控制信号、时序信号和数据信号的同时输入和控制，同时使用插值算法对分辨率进行放大，达到了对ARM图像信号的扩展显示。如要实现更多格式之间的转换，可在程序写入各种图像格式缩放之间的算法，如VGA、XGA、SVGA等格式。在程序中利用状态机实现不同格式之间的转换和时序的控制，加强缩放的范围，扩展其运用。