本文主要面向读者为互联网行业相关从业人员，期望对企业数据平台有所了解的人群；因篇幅有限，文中所述的主题及相关概念点到为止。

一、什么是数据平台？

数据平台字面的意思是“数据+平台”：

• 数据：源于业务又作用于业务；
• 平台：基于数据也服务于数据。

整体看数据平台是由「数据流程」和「业务流程」两大运转主体共同构成的解决方案，两大主体相辅相成、互相依赖、密不可分。

• 从数据流程的视角看：不同业务类型企业的解决方案大同小异，目标都是为了保证数据整体的完整性、准确性、时效性；
• 从业务流程的视角看：不同业务类型企业的解决方案各有不同，本文中业务类型偏电商类。

二、数据的技术视角

数据从生产到应用的整体流程是任何一个数据从业者都绕不开的主题，即便是非数据领域的产品和运营同学，同样也应该对业务中数据的流向有个初步的认识。要展开描述，我们必须从数据的技术视角思考两个问题：

1. 需要解决的问题是什么？
2. 如何保证数据流中不同阶段的**解？

1. 需要解决的问题是什么？

• 数据供给：提供便捷的数据生产方案，以数据产生为起点，规范数据整个主体的供给，为夯实数据平台的基础提供保障；
• 数据产出：保证数据在产出层面的普遍适用性。该阶段包括分析报表，自动化分析工具，查询入口等的建设；
• 过程管理：保证数据的完整性、准确性、时效性，实现数据从产生到应用全流程的高效管理。

2. 数据流的不同阶段如何保证**解？

「立足现状，具体问题具体分析」，不同企业所处的业务发展阶段不同，所面对的问题会不一样。同样，业务本身特性及企业对数据建设的资源倾斜程度不同，也会直接影响数据全流程处理的差异。最重要的还是立足于现状，站在更高的战略视角去思考整体的解决方案。下面从技术视角以“数据流”为骨架展开讲解数据产生至应用各环节中我们分别需要做什么：

 2.1 数据产生

数据产生，这个阶段是最适合向业务方宣灌数据生产应用流程的阶段，因为该阶段的优劣将会直接影响之后的各环节。该阶段的关键字是「规范输入」，需要给数据上游的业务方提供可行的数据埋点规范（业务团队自身业务库除外）：

• 数据接入流程：需要对业务数据的接入流程做全面了解，重点从数据认知层面规避“不合理的输入”；
• 数据上报地址及API应用方法：确定API应用规范，保证数据上报位置准确，上报信息不被丢弃；
• 埋点规范及内容 ：在遵循数据接入埋点规范的前提下，保证各业务中具有差异性部分数据的完整性，通常会基于事件模型中的“who when how where what”几个关键要素设计埋点；
• 数据测试方法：数据测试方法也会依据埋点形式的不同而不同，一般分为前端和后端数据测试。前端常见测试抓包工具如“Fiddler”，后端通常将数据上报至测试服务器，捞取日志观察其完整性、实时性。

2.2 数据采集

数据采集，这个阶段是一个既主动又被动的环节。我们偶尔会收到xx业务方的疑问“为什么业务上线了，没有看到数据”，排查后才发现是因为模块日志并没有被采集。那该环节关键字便是「让日志被正确的采集」

• 针对现有业务：数据部门会提供给业务方不同场景下的模块日志采集方案清单，业务方只需按照现有清单选择模块上报，数据部门会自动收集；
• 针对新业务：数据部门会提供模块日志注册系统，形成良性注册机制，让数据部门提前感知，自动化收集模块数据。

 2.3 数据处理

数据处理、清洗是数据输入到仓库的前置阶段，该阶段关键字是「清洗规则」，目的是建立符合业务需要的数据清洗方案。比如什么格式的数据该被过滤；比如在广告投放中，用户符合哪种规则算是作弊用户；比如在用户行为数据中，符合哪种特征的行为算是爬虫用户等等。

2.4 数据仓库

数据仓库面向应用而生，该阶段的关键字是「分层、建模」。为了保证数据的普遍适用性及拓展性，会对仓库进行分层，通常分为：源数据层、数据仓库层、数据集市层、数据应用层。常见数据仓库模型为“星型模型”，星型模型就是一种典型的维度模型。我们在进行维度建模的时候会建一张事实表，这个事实表就是星型模型的中心，然后会有一堆维度表，这些维度表就是向外发散的星星。

 2.5 数据计算

数据计算是数据变活的过程，主要分为离线和实时计算，该阶段的关键字是「准确、稳定」。会按照不同业务单元的需要，设计数据指标，并按照不同场景中的业务逻辑确定统计规则，最终由系统实现例行计算。数据本身并不具备任何价值，但一旦我们将它变为衡量事情的标准、将它变为洞察业务的眼睛，它就有了不可估量的力量。

  2.6 数据应用

数据的应用是数据最终产生价值的部分，该阶段的关键字是「完善、洞察」。基于数据流前面的流程处理，该环节最终会提供给应用方业务报表、数据访问、自动化工具、统计模型等应用；以下描述了数据平台和数据应用方在应用阶段需要长期持续关注的问题：

• 数据平台：是否能提供完善的业务分析指标体系，是否能提供完善的精细化运营工具；
• 数据应用方：现有数据是否足够支撑业务分析，是否能依据现有数据发现更多的业务问题，是否能洞察潜在的商业机会。

2.7 元数据管理

元数据管理贯穿整个数据流程始终，是一个较为宽泛的概念，元数据治理的好坏将直接决定了整个数据平台的品质。元数据管理主要分为三部分：技术元数据、业务元数据、过程元数据。

• 技术元数据：如日志文件的路径/格式、仓库表结构、数据表血缘关系等；
• 业务元数据：如指标归属业务单元、业务描述、计算逻辑、业务类型等；
• 过程元数据：如表更新规则（增量/全量）、更新频率、更新时间、量级等依据以上，我们可以从技术视角总结出数据平台需要哪些东西，下图是参考示例：

三、数据的业务视角

基于立场的不同，导致了从业务视角与从技术视角看到的表现层内容会不一样，但究其本质是相通的。无论数据在应用层面以何种方案最终呈现，最终都是为了解决问题而存在；参考「黄金圈法则」我们同样也需要从数据的业务视角去思考三个问题：

1. 为什么需要数据团队解决？
2. 需要解决的问题是什么？
3. 该通过什么方式解决？