您现在的位置:   首页 >> 新闻中心 >> 数据分析

搭建数据中台的价值与所需技术

发布人:www.yunke.ai 发布时间:2021-01-01 143 次浏览

本文先梳理了为何需要数据中台,以及数据中台构建需要用到什么技术,什么平台。

01

在谈过业务中台和数据中台的区别后,今天再谈下数据中台。首先我们看下网上对于数据中台的一个定义和说法,即:

数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强关联性,是这个企业独有且能复用的。

如果单独看这个定义,那么数据中台很容易被理解为企业里面的BI系统建设,包括了ODS库和数据仓库,同时支持OLTP和OLAP能力。也可以说是构建企业的大数据平台。

而今天自己想谈下对数据中台这个概念的一些理解:

首先我们要看到数据中台是整个企业中台战略的一部分,是配合企业微服务架构转型和业务中台能力构建不可缺少的部分。

如果没有整个中台战略,那么就不存在数据中台,你单独去建设大数据平台或BI平台就可以了。

数据中台不是一个单纯的数据技术平台,而是一个共享数据能力提供平台。对于数据的采集,清洗,存储和加工最终都是为了开放数据服务能力。

如果说业务中台更多的是业务能力的开发,那么数据中台就是聚合后的数据服务能力的开放。

为何要开放数据服务能力?

这个绝对不是简单的给上层做BI来分析用的,而是这种数据服务能力需要去支撑前台业务场景和业务功能的实现。

即这种数据服务能力需要具备一定的数据实时性要求,那么我们可能看到对于业务中台本身也会提供数据服务能力,比如订单中心也提供订单查询数据服务能力,那么两者的区别究竟在哪里?

初步分析包括:

  1. 业务中台数据服务实时性最强,数据中台数据服务准实时
  2. 业务中台数据服务单一数据对象,而数据中台数据服务可以提供关联后多数据对象聚合后数据
  3. 业务中台数据服务包括了CRUD各种类型,但是数据中台的数据服务一般为单一的查询服务

02

这点理解清楚后,我们再回来就容易搞清楚为何数据中台需要提供准实时的数据服务API接口——

要看到在微服务架构下构建的业务中台各个中心,按照标准的微服务架构要求,各个中心对应的数据库本身也完全是独立和拆分的,订单中心是订单数据库,用户中心是用户数据库,相互之间完全垂直独立以方便应用的灵活扩展。

但是这种数据库拆分带来**的问题就是——当业务场景需要底层多个业务数据对象提供关联后聚合后的查询数据集的时候极不方便。

为了解决这个问题,实际上我们有两种做法来进行处理: