DIY编程器网

标题: 大规模IPTV点播系统解决方案 [打印本页]

作者: admin 时间: 2014-10-13 09:55
标题: 大规模IPTV点播系统解决方案
   前言

      Internet技术、网络和业务的发展从各方面改变了人们的学习、工作和生活方式，给人们带来了巨大的便利，Internet已经成为人们生活中不可缺少的一部分。如果说移动电话解放了空间对人们的限制，那么IPTV恰恰解放了时间对人们的限制。通过IPTV，使“大家的电视”变成了“我的电视”，把“你播我看”的方式变成了“我选我看”的方式。简单地说，IPTV是一种利用宽带网络为用户提供交互式多媒体服务的业务，其主要特点在于交互性和实时性，通过IPTV业务，用户可以得到高质量的数字媒体服务，可以自由地选择宽带IP网的视频节目，还可以非常容易地将电视服务和互联网浏览、电子邮件收发以及多种在线信息咨询、娱乐、教育及商务功能结合在一起。这是一个颠覆性的技术，将给电信市场带来革命性的变化，它的宽带服务模式将形成一个极具前景的产业。可以说，IPTV将成为在宽带发展的杀手级应用，是最具潜力的增值业务之一。

      从全球范围来看，截至2004年9月，全球已有50多家电信运营商推出IPTV业务。直至2004年底，全球的IPTV用户已经超过700万。

      世界著名市场分析机构StrategyAnalytics对IPTV市场总体收入和用户数进行了预测，预计2006年IPTV全球业务收入将达到80亿美元，用户数将达到800万以上。StrategyAnalytics对全球IPTV业务的预测结果表明，用户数从2004年持续增长，预计市场大规模启动将在2006年，2008年将达到2000万以上。

      在全球范围内将IPTV业务看作是IP网络上具有很好的前途的一种业务的情况下，我国在IPTV业务的试验也开始起步。中国两家最大的商业IP网络运营者中国电信和中国网络通信公司也在不同的地点进行IPTV的试验或试运行。

      IPTV业务的发展得益于信息处理技术和内容分发技术的发展。主要包括视频图像编码技术、流化技术（包括MPEG-4/H.264编码技术，MPEG-7、MPEG-21）、DRM(数字版权管理)技术、数据存储及访问技术等等……

      下面我们主要针对IPTV系统中核心的数据存储及数据访问方面的应用进行分析与比较，力图为广大用户的IPTV系统建设起到积极地参考作用。

   IPTV系统应用特性分析

   IPTV系统通常为用户提供两类使用方式：

   1.直播：将各类视频信号转换为流模式，用户可实现类似于电视的收视方式；

   2.点播：将直播信号以流媒体文件的方式存储在磁盘设备上，用户可选择自己感兴趣的节目进行播放；

      在前文中已经提到过，对最终用户而言，IPTV的最大优势就在于可以通过点播的方式访问自己感兴趣的节目。而点播方式无疑是实现这一重要功能的必然结果，因此，在IPTV系统中如何使最终用户得到良好的点播效果，尤其是大量用户同时访问时的点播效果，则是IPTV系统的重中之重。

   1.1传统IPTV点播系统的技术局限性

      传统的视频点播系统，由于受限于当时的IT技术以及出于对成本的考虑，大多采用多个服务器+SCSI存储设备或者多个服务器+ 服务器内部硬盘的方式构成，其基本结构如下图所示：

      传统IPTV点播系统基本结构图

      随着各地宽带用户数量的不断增长，这类点播系统结构上的不足，已严重影响与制约了点播业务自身地发展。其缺陷主要表现在如下几个方面。

   1.点播系统最大并发访问用户数量，尤其是对热点数据的并发访问受到极大限制

      当IPTV系统推出当前热门数据后，必然会产大量的用户集中访问。假设一台点播服务器能够支持的并发访问用户数为N，一旦用户数超过上限，该服务器上所有用户的视频点播质量都会受到影响–出现频繁的缓冲、用户无法得到流畅的播放效果。也就是说，即便是系统总体能承载点播服务器个数x N的理论并发量，但实际上承载能力仅为一台服务器所能承受的最大限度N，因为在传统的点播系统中，特定数据只能由一台服务器提供对外的点播服务。

   2.无数据冗余能力

      传统的点播系统，采用DAS结构的数据存储系统，各个服务器所管理的数据相互独立，一旦出现某台服务器故障，导致的必然结果就是该服务器所有的文件全部无法访问甚至损坏，无论是业务恢复还是重建片源库，都会造成服务的长时间中断。

    3.数据管理性差

      由于每个服务器及相关的存储设备各自为政，彼此之间的数据、存储空间无法实现灵活的调配、管理，使得存储空间无法得到充分的利用。同时，也加大的系统的后期维护量--系统规模越大，管理性越低、管理难度越大。

   4.无法实现各服务器之间真正的负载均衡

      由于每台服务器上的数据各自独立，无法通过负载均衡类软件对系统负载进行自动的分配。为解决负载问题，需要网络管理员手工修改WEB服务器与流媒体文件的对应关系，在大规模的点播系统中，媒体文件数量数以千计，实际执行起来，工作量巨大，而且对系统负载的所谓平衡具有很大的随意性与不确定性，无法实现真正意义上的负载均匀分布。

    1.2用户需要什么样的IPTV点播系统?

      大型的IPTV点播系统，究竟需要提供一些什么样的功能特性呢？通过我们与大量用户的交流与研讨，我们发现，用户所关心的焦点问题集中在如下几个方面：

  1．足够的数据访问稳定性

   2．点播服务器群的负载均衡

   3．高扩展性

   4．易于管理

   5．系统性价比

      为了实现大规模点播应用，必须从系统结构上对点播系统进行改进，以满足上述的多种功能需求。

      目前，在大规模的点播应用系统中，主要存在着两类解决方案：

   1.分布式点播系统

   2.共享式点播系统

      绝大多数分布式点播方案中，都采用了流媒体服务软件提供的数据分发机制为核心的系统；以ImageSAN共享文件系统为核心的解决方案，则是共享式点播系统的典型代表。

      分布式方案已经在点播系统中已经拥有悠久的历史--2000年2月份RealNetworker公司发布的RealServer7.0版就已经提供了数据分发机制。

      而共享式点播系统的出现，则是得益于SAN网络存储局域网这种存储结构的普及，通过SAN的高速以及多通道特性，结合ImageSAN软件系统提供的完善的数据共享机制，为大规模的点播应用提供了全新的系统解决方案框架。

   1.3分布式点播系统分析

    1.3.1分布式系统典型结构

      分布式系统典型结构

      分布式点播系统采用了核心服务器+边缘服务器的系统结构，通过流媒体等点播服务器端软件的功能设定，将点播服务器分为两类：

   1.核心分发服务器

      核心分发服务器主要负责存储媒体数据、将边缘服务器请求的数据通过以太网络推送到边缘服务器。核心服务器存储并管理点播系统中的全部影片资料。

   2.边缘点播服务器

      边缘点播服务器负责为宽带用户群提供点播服务，将最终用户的数据请求转换为自身的数据请求并发送到核心分发服务器，并且将以太网上来自分发服务器的数据流缓冲到本地，供最终用户访问。边缘服务器存储并管理点播系统中部分影片资料。

   1.3.2分布式系统工作原理

      分布式点播系统的核心工作原理是数据的分发――将核心服务器上存储的大量媒体数据，分发到各个边缘服务器，边缘服务器将大量的数据缓冲在本地硬盘上，供最终用户访问。

      举例说明：假如用户A发出一个视频点播的请求，分布式点播系统将首先判断边缘服务中是否具有用户所点播的影片，如有，则将用户的点播请求重定向到边缘服务器，并由边缘服务器完成点播请求。如边缘服务器上没有用户所点播的影片，则用户的点播请求由核心服务器完成。

      由此可见，在分布式点播系统中，系统的运行效率取决于两点：

1.边缘服务器本地缓冲容量的大小

边缘服务器本地缓冲容量的大小，是决定边缘服务器工作效率的关键因素。理论上来说，如果边缘服务器本地缓冲容量能够达到核心分发服务器的磁盘容量，则能达到最高的运行效率。但这样磁盘空间浪费也将达到最大，假设系统所有影片资料的存储总量为1的话，则系统所需的存储空间将为：1+N×1（N=边缘服务器的数量）。另一方面，如果边缘服务器的本地缓冲容量过小，则将大大降低边缘服务器的工作效率，边缘服务器的存在将变得毫无意义。

2.用户访问的数据是否集中

如果某个用户访问的数据在边缘服务器本地不存在，则边缘服务器会到核心分发服务器上下载该数据，并缓冲到本地硬盘，供用户访问。在这样的工作机制下，如果用户的数据访问较为集中，边缘服务器能够将集中访问的数据缓冲到本地，能够达到较高的运行效率；相反，如果数据访问并不集中，边缘服务器的运行效率会急剧下降。

1.3.3分布式系统的典型应用

分布式点播系统最大的优点是可将系统的部分点播请求转由边缘服务器完成，可降低对骨干网络的带宽占用，特别适合于骨干带宽有限，而用户群相对集中的应用环境。

举例说明，X城市的点播系统中，有4个人口非常密集的小区，我们可在这4个小区内分别放置4台边缘服务器，这4个小区的许多点播请求，将由这4台边缘服务器以本地局域网的方式完成，从而降低了对骨干网络的占用。如图所示：

分布式系统的典型应用结构图

还有一种情况，在某地税的点播系统中，由于其骨干网络的带宽只有8MB，因此，我们在其各二级地区的分节点上放置了边缘服务器，从而在不增加骨干网络带宽的情况下，提供更多的并发数量的支持。

1.3.4分布式点播系统的局限性

由于分布式点播系统沿用了DAS存储系统结构，与传统的点播系统相比，尤其是在数据的存储以及访问方式上并没有引入新的技术和结构，因此分布式点播系统在大规模点播应用中有着可见的局限性：

1.3.4.1系统用户总容量、稳定性欠佳

由于用户的请求只能在部分特定的点播服务器上完成。因此，系统可支持的并发用户数量与系统的可靠性上都存在严重局限，任意服务器的宕机都有可能造成严重的影响。

1.3.4.2存储空间浪费与系统性能的矛盾

系统存储空间浪费严重：由于在每台边缘服务器上都必须存放很多的相同影片，极大的浪费了系统的存储容量。但如果边缘服务器上不存放相同的内容，则系统的运行效率将大大降低。

1.3.4.3扩展性差

系统扩展性主要包括提升系统所能支持的最大并发用户数量，以及点播媒体资料库容量这两方面。而在分布式点播系统中，如果要升级，则第一个要回答的问题就是：是只升级核心存储容量，还是连边缘服务器本地缓冲的容量一起升级？

这是因为，分布式系统在扩展性上存在着一个非常矛盾的问题：媒体资料库容量越大，系统最大并发用户数则越少。分布式系统的工作原理是将媒体资料分发到各个边缘服务器节点，通过数据在多个边缘服务器上的重复存在，从而达到分配负载，提高系统最大并发用户数的目的。据此我们可以看出，在分布式系统中，最理想的状态是–每个边缘服务器的磁盘容量（a）大于或者等于所有分发服务器的磁盘总容量（b），此时系统拥有最大的并发用户数，a/b的值越小，则表示系统最大并发用户也越少– 因为点播应用中数据的访问具有相当大的随机性，根本无法预测用户会在什么时候访问什么数据。因此媒体资料库的容量越大，则边缘服务器上的缓冲数据访问率越低，结果来自于最终用户的数据请求会集中在核心分发服务器上，使边缘服务器形同虚设。

1.3.4.4后期管理、维护困难

由于核心服务器与边缘服务器之间、各边缘服务器之间的内容都不一致。因此，对每台服务器都需要分别的、单独的维护与管理，仅仅是设置各服务器装载点及链接指向，就需要消耗管理员大量的精力和时间，再加上服务器本身以及各个本地缓冲磁盘空间的维护工作，管理员不得不忙于大量重复的系统的维护。

通过对传统点播系统以及基于流媒体数据分发机制的分布式点播系统的分析，可以看出，受到数据与服务器之间的对应关系的限制，上述的点播解决方案都存在着非常明显的不足。为满足宽带用户群日益增长的娱乐需求，大规模点播系统的建设可以说是势在必行的，而如何改善数据的访问结构，则是大规模点播系统建设的关键。

1.4共享式点播系统分析

针对传统点播系统以及分布式点播系统中所存在的问题，共享式点播系统从存储系统结构上进行改进，引入了全新的SAN数据共享技术，为大规模点播应用奠定了一个近乎完美的基础。

1.4.1共享式系统典型结构

共享式系统典型结构

共享式点播系统采用了标准的C/S结构，以运行流媒体、WMS等点播程序的服务器作为服务器端，最终用户作为客户端，通过IP网络直接从点播服务器上获取所需媒体数据。

1.4.2共享式系统工作原理

在共享式点播系统中，所有的点播服务器利用FC光纤通道技术，接入到存储区域网（SAN）；每个点播服务器都能够通过SAN网络同时高速访问所有的媒体数据；通过负载均衡技术，将所有的点播服务器组成一台虚拟的服务器对外提供服务，无论系统使用多少台真实的服务器，对客户端来说，看到的都只是1个服务器、1个计算机名、1个IP地址，而系统负载则由全部的点播服务器来均匀承担。

举例说明：假定系统由4台服务器构成共享式点播系统，此时，用户1向系统发出点播请求，则系统将自动把客户的请求转发给服务器1，并由服务器1来完成其请求；用户2的点播请求则由服务器2完成……用户5的请求由服务器1完成，并以此类推。

1.4.3分布式和共享式点播系统功能比较

1.4.3.1如何确保数据访问的稳定性

点播系统属于全天候工作的生产系统，任何时间段都会有用户使用，确保数据访问的稳定性，更是ISP服务质量的直接体现。

确保数据访问的稳定性，最根本的手段就是消除“数据孤岛”，也就是避免数据依赖于特定服务器才能访问的局限性。例如在实际的应用环境中，如果指环王3这部影片只能由服务器A访问，那么一旦服务器A宕机或损坏，则无法对指环王3这部影片进行访问，而且这种现象一直会持续到服务器A恢复正常。服务器A的这种状态，我们即可称之为“数据孤岛”。

分布式的点播系统中是否存在“数据孤岛”呢？我们知道，分布式系统中，为了提高整体性能，必须使用多个核心服务器--否则核心服务器将会成为整个系统的瓶颈所在。而多个核心服务器的使用，则直接导致了多个“数据孤岛”的出现– 不同的核心服务器各自管理着不同的数据。因此，为了提高性能而不得不采用多核心服务器的分布式点播系统，与传统的点播系统一样，存在着“数据孤岛”的问题，无法确保大规模点播系统对数据访问稳定性的要求。

共享式的点播系统，采用了ImageSAN文件共享系统，所有的点播服务器，均能够同时高速访问集中存储的所有数据，无论有几个点播服务器宕机，只要有一个点播服务器处于工作状态，整个点播系统仍然能够对外提供正常服务。通过数据集中存储并且完全共享的方式，共享式点播系统彻底解决了“数据孤岛”的问题，在确保数据访问的稳定性方面，提供了有力的保障。

1.4.3.2系统负载均衡的实现

实现系统的负载均衡，是一直以来点播系统中的一个重要课题。通常来讲，负载均衡分为两种类型：

1.大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间；

2.单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，使系统处理能力得到大幅度提高。

当然，在点播系统中所涉及的负载均衡技术主要旨在均衡多台服务器和应用程序之间的流量负载。

传统的点播系统始终无法实现真正意义上的负载均衡，其根本原因即在于：无法根据点播服务器的负载对数据请求进行分配，只能依赖于数据的分布进行分配。我们再次以指环王3这部影片作为实际案例--由于该数据只能由服务器A访问，因此，无论采用何种先进的均衡机制，所有对该文件的数据请求，最后都会集中到服务器A。这也是传统点播系统不可避免的8-2现象-- 即80%的负载，集中在20%服务器上。

分布式系统通过将大量数据分发到边缘服务器的工作机制，能够在一定程度上实现系统的“负载均衡”–如果用户请求的数据在多个边缘服务器上均有缓冲，那么多个这样的数据请求能够被分配到多个边缘服务器上。但是，如果请求的数据仅存在于一个边缘服务器或者存在于分发服务器上，则无法实现对数据请求的负载均衡。另外，边缘服务器的缓冲区是不断更新的，因此无法保证负载均衡的有效性和长期性。

共享式系统中，所有点播服务器访问的数据都是一致的。对于任何数据请求，都能够有效地进行负载分配–根据管理员设定的策略进行自动均衡，能够达到“点播系统最大并发用户数量= 单服务器最大并发用户 x 服务器数量”这一理想状态，实现真正意义上的负载均衡，能够确保用户得到最大化的投资收益。

1.4.3.3系统扩展性

系统扩展性主要是指点播系统最大并发用户数量，以及点播媒体资料库容量这两点。

分布式系统在扩展性上存在着一个非常矛盾的问题：媒体资料库容量越大，系统最大并发用户数则越少。分布式系统的工作原理是将媒体资料分发到各个边缘服务器节点，通过数据在多个边缘服务器上的重复存在，从而达到分配负载，提高系统最大并发用户数的目的。据此我们可以看出，在分布式系统中，最理想的状态是–每个边缘服务器的磁盘容量（a）大于或者等于所有分发服务器的磁盘总容量（b），此时系统拥有最大的并发用户数，a/b的值越小，则表示系统最大并发用户也越少– 因为点播应用中数据的访问具有相当大的随机性，根本无法预测用户会在什么时候访问什么数据。因此媒体资料库的容量越大，则边缘服务器上的缓冲数据访问率越低，结果来自于最终用户的数据请求会集中在核心分发服务器上，使边缘服务器形同虚设。

基于ImageSAN的共享式点播系统的扩展性基本上不受限制，通过添加点播服务器和高性能、大容量磁盘存储系统即可满足各方面的扩展需求，甚至在整个系统升级的过程中，点播服务都无需中断。

1.4.3.4系统管理性

分布式系统采用的核心服务器+边缘服务器的结构，使服务器的数量增加，从而增加了管理员的工作量；由于数据广泛地分布在整个服务器系统中，对于媒体资料库内容更新、存储空间的调配、边缘服务器缓冲空间管理等过程充斥在管理员的日常工作中，极大地增加了管理员的工作难度。系统结构复杂，故障点难以迅速确认……

共享式点播系统的管理工作可谓简易：服务器节点的数量较少，管理工作量也随之减少；媒体资料更新只需要执行一次，即可在所有点播服务器上提供对外的服务，也无需考虑存储空间如何调配等问题；简单的系统结构，一旦出现问题，也能够更加迅速地找到故障点并加以排除。

1.4.3.5系统性价比

用户在进行系统规划时，总是希望能够以最小的投入换回最大的收益。成都登峰科技有限公司作为专业的存储解决方案供应商，一直致力于将我们丰富的存储行业经验与对用户具体应用进行结合，为用户提供真正切合实际应用的解决方案，同时帮助用户降低总体拥有成本，提高投资回报。

结合前面的分析，我们认为，分布式的点播系统实际上并没有彻底克服传统的点播系统中存在的弊病；而基于ImageSAN的共享式点播系统在各种功能性上已经通过结构的改善而达到了相当理想的效果。

从成本上考虑，分布式系统需要在服务器、流媒体软件上面增加相当的投入；而共享式系统仅需要增加ImageSAN共享系统的投入。分布式系统的投入是远远高于共享式系统的，即便是考虑到国内市场的一些特殊因素，分布式系统与共享式系统的成本也是相差无几。

综合功能性和成本两方面的因素，基于ImageSAN的共享式点播系统无疑是实现大规模点播应用的理想选择。

欢迎光临 DIY编程器网 (http://diybcq.com/)