基于多种流量采集技术的统一流量管理平台

admin

数据网络的SNMP、NetFlow/NetStream、流量探针等分析系统只对各自采集的信息进行分析，无法实现对多种流量采集系统的数据进行统一和关联分析，提高流量分析的深度和精确度。本文提出一种统一流量管理平台，通过多种流量采集技术的采集数据源，进行综合分析和管理，提高流量分析的精确度，便于提高运维效率。
       
        流量采集技术主要分为以下三种：一是SNMP技术采集，网络设备的采集技术，硬件探针进行流量采集。3种流量采集技术的对比分析如下。
       
        应用场景分析
       
        统一流量管理平台可以支持多种流量采集技术，有利于在整个网络中，根据链路的重要等级细化管理技术手段，节约成本。
       
        根据表1的分析，硬件探针支持逐个数据包抓取，分析精细程度，但是硬件探针设备造价高，考虑经济成本，没有必要使用探针采集太多链路，可关注核心链路；对于接入链路，可根据设备档次，在保证网络设备性能的前提下，开启Netflow/Netstream功能进行采集，或者采用SNMP进行采集。这样，对于整个网络，针对不同的应用场合采用对应的流量采集技术，做到精细化管理，节约管理成本。
       
        统一流量管理平台系统设计
       
        本文所提出的统一流量管理平台系统，流量采集源适用于SNMP、NetFlow /NetStream、硬件探针三种数据源，系统功能涵盖流量数据的采集、统计、分析。
       
        基于SNMP数据的流量统计可实现功能：网络设备所有物理端口的流量速率、字节率、包速率、带宽利用率。
       
        基于NetFlow/NetStream数据的流量统计可实现的功能：网络设备固定物理端口的应用流量速率、字节率、带宽利用率、应用成分占。统计维度可以分为IP网段、IP通信对、单个IP.
       
        基于探针数据的流量统计可以实现的功能：网络设备所有物理端口的流量速率、字节率、包速率、包种类、包尺寸分布、带宽利用率。
       
        网络设备固定物理端口的应用流量速率、字节率、带宽利用率、应用成分占。统计维度可以分为：IP网段、IP通信对、单个IP.
       
        网络设备逻辑端口（例如MPLS-VPN逻辑接口）的应用流量速率、字节率、带宽利用率、应用成分占。统计维度可以分为：IP网段、IP通信对、单个IP.
       
        基于SNMP方式的流量采集流程：第一，SNMP数据解析程序定期向网络设备发起snmp GET请求，读取网络设备的SNMP MIB管理信息中的接口流量信息；第二，网络设备接收到snmp GET请求后，根据请求的内容，将相应的信息返回给SNMP数据解析程序；第三，解析程序将返回SNMP数据包进行解析，并将解析后的内容插入到数据库中的接口流量表中；第四，当接口流量数据插入完成后，程序会将更新的内容上报给流量管理模块相对应的功能界面上。
       
        基于NetFlow/NetStream方式的流量采集：第一，首先在网络设备物理接口上开启NetFlow/NetStream功能，开启该功能后，设备会基于该接口统计流量中具体应用流量以及流量所对应的IP地址，并将统计结果暂存在NetFlow/NetStream缓存中，NetFlow/NetStream定期会将缓存中的统计结果封装成NetFlow/NetStream数据包的形式发送给NetFlow/NetStream包解析器；第二，NetFlow/NetStream包解析器接收到NetFlow/NetStream数据包时，根据NetFlow/NetStream协议格式规范进行解析，并将解析的结果插入到NetFlow /NetStream数据库中的接口应用流量表；第三，当接口流量数据插入完成后，程序会将更新的内容上报给流量管理模块相对应的功能界面上。
       
        基于探针镜像方式流量采集流程：首先，在网络设备上开启一个镜像端口，把所需监控物理接口中的所有原始流量复制一份到镜像端口，同时镜像端口连接到硬件探针的数据捕获端口上。
       
        第二步，硬件探针实时接收镜像端口输出的原始数据包。硬件探针程序分两个进程处理原始数据包，一是实时数据包存储进程，二是实时数据包分析进程。硬件探针定期将缓存的统计数据发送给探针管理服务器，并由探针管理服务器统一展现。
       
        第三步，探针管理服务器通过API接口向规约转换器发送所有的统计数据，规约转换器根据探针管理服务器发送数据进行数据规整。
       
        第四步，经过规约转换器数据规整后，按照平台要求将固定格式的统计结果插入给探针数据库中的接口应用流量表。
       
        第五步，当接口流量数据插入完成后，程序会将更新的内容上报给流量管理模块相对应的功能界面上