高分辨率视频图像处理中 SDRAM 控制器的设计

admin

本文介绍了一种基于FPGA的用于高分辨率视频图像处理的SDRAM控制器的设计方法。通过设置SDRAM的工作状态，使其工作在猝发模式。在视频时序信号控制下，用多行连续的SDRAM存储空间，存取视频数据。并在数据接口部分增加FIFO，缓存一行视频，在像素时钟控制下，实现视频数据实时的存储和读取。通过改变相关参数，能对所有VESA分辨率视频流进行操作。具有通用性强、系统复杂度低、可靠性高、可扩展等特点。在某型号的机载大屏显示器系统中，用该SDRAM控制器实现了图像的翻转等功能，也验证了该控制器的实用性。
       
        0引言
       
        随着人们对视频图像的清晰度和细节显示要求的不断提高，高分辨率、高bit位的视频标准相继被推出。
       
        造成了数据处理速度和数据处理量极大的增加，也给数据缓存的容量和控制提出较高的要求。在常用的存储器中，SDRAM具有大容量和高速度的特点，并且价格也比较便宜，在视频图像处理中被广泛的用于图像缓存。在基于FPGA的高分辨率视频图像处理系统中，不可避免地会涉及到用FPGA实现SDRAM控制器的方法。但由于SDRAM的操作方式较复杂，常见的控制器支持的视频分辨率普遍都不高。在高分辨率的视频图像已经普及的今天，支持高分辨率的SDRAM控制器的设计也已经被越来越多的视频图像处理人士关注。本文介绍的这种控制器，采用的是Micron公司的MT48LC4M32B2TG（1M×32×4 banks）SDR SDRAM，在Altera的StratixⅡ系列FPGA EP2S60F1020I4上进行的开发。
       
        在此平台上采用VHDL语言开发了SDRAM的控制器。
       
        该控制器实现了最高分辨率为1 600×1 200@60 Hz的视频流的缓存和图像翻转的功能。
       
        1 SDRAM基本操作
       
        SDRAM主要包括初始化、读/写操作、刷新、激活、预充电等操作。以MICRON公司的MT48LC4M32B2TG型号SDRAM为例分别介绍。
       
        1.1初始化
          SDRAM在上电后必须执行初始化操作，主要流程为：首先在电源电压和时钟稳定后，经过100μs的延时，执行一次空操作；然后进行预充电操作，使所有BANK都进入空闲状态；再然后执行两个自动刷新命令；执行完自动刷新后进入模式设置状态，通过地址总线A[11：0]发送数据来设置模式寄存器。模式寄存器设置定义如图1所示。
       
       
        1.2读/写操作
       
        首先激活具体的BANK和行；然后发出读或写命令，和所要访问的起始列。在读命令发出后，要等待CAS延迟时间，有效数据才会出现在数据总线上。在写命令发出后，有效数据立即出现在数据总线上。读写命令可分为单个模式和猝发模式，猝发模式根据猝发长度分为1，2，4，8和全页模式。猝发操作可用猝发终止命令（BURST TERMINATE）结束。
       
        1.3刷新
       
        由于SDRAM的内部电路特点，必须执行刷新命令，以防止数据丢失。要求64 ms内至少刷新4 096次。
       
        1.4激活
       
        在读/写命令之前都要发出激活命令，激活特定BANK中的某一行。激活后此行一直处于有效状态，直到接收到预充电命令。
       
        1.5预充电
       
        预充电命令用于关闭特定BANK中的某一行，或者所有BANK.
       
        各种操作命令对应的SDRAM管脚电平状态如表1所示。
         
       
        2 SDRAM控制器的设计
       
        在视频图像处理中SDRAM主要用作数据缓存，也就是FPGA对SDRAM操作最频繁的为读命令、写命令，在这两个命令中间插着激活、预充电、猝发终止、刷新等命令。对于高分辨率的视频流，分辨率都在1 280×1 024以上，也就是每行的点像素都要大于1 280个，数据量非常的庞大。
       
        为了降低SDRAM的操作时钟的频率和提高视频处理的实时性，采用猝发的模式对SDRAM进行操作。对于SDRAM MT48LC4M32B2TG地址为A[7：0]，猝发操作的最大长度为256.也就是说为了存储和读出一行的视频数据要对SDRAM的多行进行操作。如1 280×1 024分辨率，需要5行SDRAM空间（256×5=1 280）。
       
        对于不能被256整除的列数如1 600，就要采用控制猝发长度的方式，为了控制方便采用8行SDRAM空间存储一行视频数据（200×8=1 600）。标准的VESA分辨率都可以用此方式存储。在SDRAM控制器中设置了SDRAM的猝发长度的选择功能，只要修改需要的猝发长度即可，不要重新设计代码。
       
        为了保证SDRAM的刷新要求，在每一行的SDRAM操作完成后就进行一次刷新操作，此操作经由输入的视频行同步信号（HSY）的触发，如果外部视频信号突然无输入，为了保证最后存储的数据不丢失，进入自刷新模式。一当控制器检测到HSY无变化就会启用自刷新模式，周期对SDRAM刷新。
       
        SDRAM控制器主状态机如图2所示。
         
         
         
        在主状态机完成初始化状态，进入等待状态后，等待读/写命令和视频数据输入信号。如果无视频输入，状态机始终在等待状态，并周期性的对SDRAM进行刷新，直到有视频和读/写命令输入。这部分的状态图如图3所示。
         
       
        由于猝发的最大长度为256，在每两行操作之间都要进行激活、读/写命令、猝发终止、刷新等操作。由于读/写数据都使用的是像素时钟的频率，这样总个FPGA系统只有一个时钟域，能保证整个系统完全按照同步系统来设计，能提高整个系统的可靠性。这样会带来一个问题，要想仅仅在视频的有效时间，即DEN高电平部分完成一行视频数据的读/写工作，这是不能满足要求的。为了解决这个问题，需要借用行同步、前廊和后廊的时间，但是DEN无效后不传输视频数据的，为了解决这个矛盾在SDRAM控制器和数据流输入/输出接口之间要分别设计两个FIFO，深度大于一行的视频数据，采用乒乓操作保证视频流的流畅。
       
        3 SDRAM控制器应用实例
       
        在某型号的机载大屏显示器系统中，视频图像处理系统中使用该SDRAM控制器进行了调试，实现FPGA对SDRAM的控制，完成相应的视频处理算法和实现了图像的翻转功能。此部分系统简要框图如图4所示。
       
        该系统输入的为多路DVI信号，输入视频分辨率均为1 280×1 024，DVI信号经过DVI解码后输入FPGA.
       
        为了完成FPGA内部的视频处理算法和图像翻转的功能，在FPGA外部挂了两组SDRAM，实现了乒乓操作，保证了系统的处理速度。处理后的视频经过LVDS信号转化，输出到液晶屏上显示。
         
       
        对于左右翻转在FPGA内部采用双口RAM进行操作能够轻易实现。而图像的上下翻转，由于涉及到一帧数据的处理，需要经过外部缓存SDRAM实现。在采用上述SDRAM控制器的基础上，控制SDRAM的读方式就能实现，在将视频数据写入SDRAM的时候，写地址从第一行按顺序写入。读的过程相反，要从最后行开始读。
       
        由于SDRAM的一行容量不能装下整行的视频信息，所以读的行地址要求每次从读过的行的地址减去存一行视频需要的SDRAM的物理行数，在一行视频数据没有读完前要从当前行不断的自增。如1 280×1 024的视频数据，共需要5 120（5×1 024）SDRAM行存一帧数据。要上下翻转输出图像，首先要输出视频数据的第1 024行，也就是要从SDRAM的5 115行开始按顺序读出，读完第5 120行后，SDRAM地址转到5 110行读视频流的第1 023行，如此类推，直到读完整帧的视频数据。该视频处理系统与显示效果如图5所示。
         
       
        4结论
       
        该设计针对高分辨率视频图像处理的SDR SDRAM控制器的设计，采用统一像素时钟进行系统操作，降低系统的复杂度，提高系统的可靠性；通过写修改相关参数，能够适应所有VESA分辨率的视频处理，通用性强；具有自刷新功能，在无外部信号输入情况下能够自动刷新，保证最后存储数据不会丢失；能够通过增加外部模块，控制读写地址，实现图像翻转功能。此控制器在Al-tera的StratixⅡ系列FPGA EP2S60F1020I4平台上，成功实现各种视频处理功能，验证了此控制器的实用性。