DIY编程器网

标题: 数据生命周期管理之存储策略 [打印本页]

作者: admin 时间: 2014-10-13 10:06
标题: 数据生命周期管理之存储策略
前言

随着通讯技术、移动互联网、社交网络、物联网、云计算等技术的快速发展，现代社会已经进入大数据时代。面对来源广泛、数据巨大、形式多样、内容丰富的大数据，为了更加有效应对市场激烈竞争，企业开始意识到数据价值并且通过建立大数据平台、数据中心、数据仓库等系统，从不同角度去挖掘数据的价值。当然随着企业业务发展以及各种平台、系统的建立也意味着需要管理的数据量越来越庞大，资源维护成本越来越高，效率越来越低。

面对企业对数据的不同时效、不同访问频率、不同重要性等要求，如何判定数据是否有维护的必要性，如何降低数据维护成本，提高数据服务水平是进行数据生命周期管理主要解决的问题。

管理目标

数据生命周期管理通过制定合理的管理制度、组织架构以及对应的技术规范，协调各流程制度、技术规范的有效运行，从而提升数据服务水平与数据使用效率，从而实现降低成本、提高效率的目标。数据存储和备份规范是保障和基础，数据管理和维护是执行方法，通过高效的数据管理和维护效率，从而不断提升数据服务水平。

数据生命周期管理涉及生命周期相关的管理制度以及数据存储备份策略的规范制定，以下主要从技术的层面讲述如何制定数据生命周期的数据存储策略。

存储策略框架

数据生命周期管理框架由数据归类、数据特性分析与数据存储策略三部分组成。数据存储框架首先对数据进行归类，在数据归类的基础上结合业务与系统实际情况，分析数据特性，最后根据现状调研、数据归类与数据特性制定数据生命周期存储策略，从而保障数据存储策略能够更加符合业务、系统的实际需求，有效的发挥数据生命周期管理的价值。

数据归类

从数据生命周期管理视角，结合业界的相关标准规范，对企业IT系统的数据进行归类。目前根据系统的业务特点，比较流行的数据归类包括：生产交易型数据、服务支撑型数据与系统数据三部分。

1生产交易型数据

生产交易型数据就是企业各IT支撑系统所产生、使用的数据，该类数据主要分布在业务支撑系统、管理支撑系统，如业务支撑系统、客户关系管理系统、ERP系统、电子渠道系统等。目前生成交易型的数据主流的数据归类为：客服域、资源域、企业管理域、营销域、产品域等。该部分数据的归类方式主要参考TMF（电信管理论坛）的SID（共享信息模型）分类标准，具体在制定过程中企业可以根据具体的业务以及系统特点进行实际的分类。

2服务支撑型数据

服务支撑型数据是指从各个生产系统收集的数据、经沉淀加工挖掘后形成的信息数据，该类数据主要分布在提供数据服务、数据支撑的IT平台中，如数据仓库、数据中心、数据集市等。该类数据按照数据仓库数据分层的原则分为：原型数据、明细数据、汇总数据、应用数据。

3系统数据

系统数据是面向IT开发过程所产生的数据，该类数据不直接被业务所需要，但是又占用相应的存储空间。在数据归类过程中很容易遗漏此类数据，然而众多系统实际情况表明，该类数据如果不有效管理将会严重影响系统的运行效率。系统数据主要包括：程序软件、日志数据、过程数据和临时数据等。

数据特性

根据数据归类，不同类别的数据有不同的数据特性。从数据生命周期视角数据特性主要包括数据重要性、访问频率、访问性能要求、数据量等。具体在进行数据特性分类过程中，企业可以根据实际情况进行特性归类。

重要性：在业务使用过程中按照数据的重要程度进行归类，数据分成不同的重要级别。

访问频率：在系统运行过程中，依据数据的访问频率，对数据进行归类。通过不同的访问频率定义不同的存储策略。

访问性能要求：根据业务部门需求，对于不同数据需要提供不同的访问性能支持。通过不同访问性能需要定义不同存储策略。

数据量：在系统运行过程中，数据以月/日为单位，按照数据量的大小，提供不同的存储策略。

数据存储策略

数据存储策略就是将不同的数据存在制定的存储设备上。目前主要的存储设备主要分成在线存储、近线存储、归档存储，三种常用存储。

1在线存储

在线存储又称工作级的存储，存储设备和所存储的数据时刻保持随时响应状态，可以实时读写的，可满足计算平台对数据访问的速度要求。

一般在线存储设备通常为内置磁盘和高端磁盘阵列等磁盘设备，价格相对昂贵，性能最好。

2近线存储

近线存储定位于在线存储和离线存储之间的应用，对性能要求相对来说并不高，但又提供相对较好的读取性能。近线存储策略一般采用中低端磁盘阵列设备，并辅以高压缩软件，满足快速读写等访问动作。

3归档存储

数据归档是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程，对涉及的数据进行离线存储，以备非常规查询等。归档设备一般采用磁带库、光盘库，以及大容量低端磁盘阵列，价格相对低廉。

存储策略的制定除了满足业务需要之外，还需要考虑存储成本，制定合理的存储策略。例如：生成交易型数据中客服数据，其数据特点主要是数据重要性高、访问频率搞、数据量较小，可以采用在线存储；服务支撑型中的原型数据，其数据特点主要是数据重要性不高、访问频率不高、数据量大，可以采用近线存储。

小结

数据生命周期管理中，数据存储策略的制定除了理论上需要正确的指导，更重要的是在制定过程中进行大量实际业务需求、系统现状的调研。在理论指导下结合实际情况制定出符合企业实际情况的存储策略。

数据生命周期管理是涉及组织架构、流程制度、技术规范、系统支撑组成的管理体系，。存储策略制定只是数据生命周期管理中技术规范部分，如何协调生命周期管理中相关组织架构、流程制度保障存储策略有效的制定才是数据生命周期管理成功与否的关键。后续将会探讨如何制定数据生命周期管理中相关流程制度、组织架构以及系统支撑方面的相关内容。

欢迎光临 DIY编程器网 (http://diybcq.com/)