传统研究在大数据下的业务流程变化与调整

admin

数据是市场研究业务处理的主要目标，所以以数据处理流程来定义市场研究业务处理流程的关键环节，会更准确和直观。在后文说明中，传统模式代表传统业务形态（问卷调研等非大数据源+传统分析方法论）的数据处理流程，大数据模式代表大数据源+全部方法论（传统方法论+大数据方法论）的处理流程。
       
        1基本业务环节的变化
       
        首先我们来看一下数据业务流程在两种模式下的变化。

       
       

         
        从上图可以发现，大数据下的业务流程，相比传统模式，总体上有两点重要的变化：
       
        （1）数据融合代替数据收集，将成为数据来源的主要模式。传统模式下，数据来源更多是研究公司自身采集（如问卷）或者客户采集后提供，所以采集是核心。在大数据模式下，研究公司自身能力和资源有限，将会更多通过非采集方式（如各种外部渠道数据引入/交换，并进行整合）获得分析的数据，此时融合是核心问题。
       
        （2）数据管理能力成为一个新的要求。传统模式因为业务数据量小，基本不存在对数据管理的较多要求，所以可以忽略。但大数据场景下，数据规模大而且多样，且常常比较分散，其统一的管理（如存储和检索等）能力，是后续业务环节顺利进行的基础，有必要得到更多的重视。
       
        为了更深入的理解业务环节的变化，下面将对每个环节，进行更深入的讨论。
       
        2各业务环节的变化
       
        为了便于说明，将两种模式下的流程进行统一，整个业务流规范为了五个环节。下图简要说明了各环节下两种模式各自在实施上的特点。

       
       

         
        （1）数据融合/采集
       
        传统模式下，数据采集的方式主要是问卷、座谈会等。这是一种小规模的采样，且对目标有直接影响（有交互）。数据本质是某个时间点的静态、快照式的截面数据，维度受采集方式所限也不可能太多。
       
        而大数据下，数据融合代替采集成为市场研究获取数据的主要方式，此时数据同步和ETL成为主要方式。在最初的源数据采集中，行为日志记录、网络Spider抓取、移动互联网App基于Sdk采集等成为主要手段。这类方式仍然可认为是采样（不过更大的规模），但作为一种监听/探针式的模式，用户不会感知和受影响（所以数据会更加符合实际情况）。采集的数据在时间和空间上多是动态和持续性的，可记录的维度也会大很多。
       
        （2）数据管理
       
        传统模式下，数据通常为标准的结构化数据，且规模小（通常万级以下），此时pc单机的普通文档（如Csv，Excel之类）足以胜任所有存储和检索要求。特定应用，百万级的数据量用小型数据库也都足够。所以此时数据管理一直被忽略。
       
        在大数据环境下，数据量起点在亿级以上，比传统模式增加了成千上万倍，格式也更加多样，数据的管理难度几何级数增加，原有方式已经无能为力。此时，新的技术体系（多机、分布式文件系统/海量数据库）和专业架构人员，确保了大数据的安全管理和快速检索。相比之前，研究企业需要在该方面做出相当大的投入。
       
        （3）数据计算
       
        传统模式下，计算主要是各种统计学的计算（比如总计/方差/均值…）为主，计算量不大，工具以Excel到SPSS、SAS为主流，处理多由DP完成。此时DP人员更多是研究业务的辅助支持。
       
        在大数据模式下，数据规模、维度和分析方法的变化对计算的要求大大加强。传统的统计性计算仍然需要，但更大的变化是：计算工作更多样化、更高复杂度和更具专业性，且与分析更深入的结合。许多新的计算理论成为主角，比如对网络非结构化文本数据使用自然语言处理，大数据挖掘的机器学习处理（大部分是高维度向量计算），而社交网络计算更多是图计算。这些新的计算理论和方法，极大扩展了大数据分析洞察的能力，但也对相关人员的专业能力提出了很高的要求。
       
        （4）分析
       
        分析是研究过程中最重要的环节。传统模式下，研究人员主要根据传统方法论，对DP人员生成的指标性数据，考察全局性的分布/差异，历史的变化等。
       
        大数据模式下，除了传统方法论的分析外，更多使用大数据方法论的思路（更关注个体，比如如何给用户打标签、个体/群体的匹配度是多少，对未来发展的预测期望）。同时，由于分析主要基于各种专业计算的结果，而研究人员并不具备相关技能，因此必须与专业IT技术专家紧密配合，才可能完成有价值的分析。此时，相关IT专家成为本阶段最重要的参与者。
       
        （5）结论与呈现
       
        传统模式下，研究结论关注的是统计性指标的变化，对相关原因分析和建议是重要的内容。结果更多是通过专项报告（以文档而不是系统平台）形式，在呈现方式上多采用表格和基本图表。
       
        大数据模式下，既有传统的统计性结论，也有更多大数据方法论，比如基于个体特性之上的群体特性标签化描述。结果更多地通过在线化系统来展示，新的可视化技术，在大数据的分析和结果展示上，越来越受到重视。
       
        通过上面各环节的比较可以发现：在新的大数据业务生态下，市场研究的业务流程
       
        （1）各环节的方式和支撑方法，都有较大的扩展/变化
       
        （2）IT技术能力（数据管理与专业数据计算分析能力），成为大数据业务实现过程中最重要的推动因素。
       
        HCR（慧辰资讯）近半年来，已经在相关环节进行了积极有效的调整和提升。市场研究公司业务产品各有所长，业务模式也不尽相同，所以对于大数据业态下的发展思路也不会完全一致。建议从自身的大数据业务规划出发，结合现有情况，有针对性的调整和改进现有业务流程，以更好的适应未来大数据业务的发展。
       
        在相关调整中，IT技术资源是传统研究公司最需要投入的环节。考虑大数据业务下相关资源（软硬件和团队）投入较大且专业性强，笔者后续将结合市场研究领域的业务特点，对市场研究涉及的大数据领域相关的主要技术理论、应用场景与常用的工具资源，专文进行说明。