您现在的位置:   首页 >> 新闻中心 >> 数据分析

数据治理第1期 | 简单聊一聊数据治理的策略

发布人:www.yunke.ai 发布时间:2021-01-01 136 次浏览

编辑导语:管控治理类数据产品是更高能力要求的一个细分工种,它需要我们具备数据分析以及工具建设能力的同时,还需要我们拥有团队统筹等多方面的能力。作者分享了他的数据治理策略,我们一起来看下吧。

一、前言

为什么想开这个话题,一是因为目前业内数据产品也基本完成了从0-1的建设工作,但主要集中在数据生产加工和数据应用分析两侧,对于数据管治方向的建设多分散在了包括安全、指标元数据、SLA等在内的各个环节,缺乏统一的规划统筹。

笔者认为,数据产品可以分为工具类数据产品、业务分析类数据产品和管控治理类数据产品三类,而工具类数据产品和业务分析数据产品市面上也开始趋近饱和,但管控治理类数据产品其实是更高能力要求的一个细分工种,既需要懂工具建设也需要懂数据分析,还需要具备跨多团队横向协调的项目推动能力和策略运营能力。

二呢,笔者曾经就做过一次失败的大治理工作,也做过一次相对成功的安全治理工作,也参与过指标监控、安全工具等的建设,所以也想把这其中那的成功和失败的经验分享出来供大家参考。

二、概念定义

根据笔者的研究,目前业内数据治理总结起来一共分为两类,一类是狭义的数据治理,是指数据指标口径一致性的治理,此类数据治理主要是解决指标口径的一致性,解决数据“不准”的问题,也由此引申出一些智能数仓、指标元数据工具,比如美团的起源、快手的盖亚、阿里的dataphin等等。

另一类是指广义的数据治理,是指包括数据指标口径治理、数据安全治理、数据资源成本治理、数据资产元数据治理、数据产出治理等在内的大治理,此类数据治理是需要综合解决数据从采集加工到应用分析再到销毁全生命周期内的口径、成本、安全、合规和产出问题。

在工具建设上,目前笔者看到的多是分散在数据安全、资产中心、SLA中心等不同的产品领域。

三、结论先行

这次笔者就不卖关子了,直接抛观点,笔者认为,数据治理战略层面的设计总结就两点:

第一,数据治理是一个系统性工程。

数据治理主要面对三个问题,一是用户心智培养问题,二是组织保障问题,三是系统提效问题。

所以,单纯从组织保障层面发力会面临效率和质量不高成本却奇高的问题,单纯从运营机制建设层面发力会面临缺乏组织和工具来落地策略的问题,单纯从建设工具发力会面临缺乏组织抓手且找不到核心使用用户,需求无法进入正向循环的问题。

以上问题一句话总结就是靠组织无法长期有效,靠运营无法落地实施,靠工具又缺乏用户和需求持续跟进,因此,数据治理是一个需要组织保障、运营实施和工具建设三位一体跟进的工作。

第二,数据治理又是一个抓大放小的工程。

世界本质是一个熵增的过程,即任何事物本质是一个自发的由有序向无序发展的过程,这个既是人性也是客观规律,而数据治理本质是减熵的过程,是建立秩序,因此任何的治理本身是逆人性和逆客观规律的,需要源源不断投入能量(资源)才能维持熵值平衡。

但问题就在于,人性天然有建设性和破坏性两面,想要秩序的存在并维持下去,本身就是需要投入非常大的建设精力和成本的,而且这个成本还不是一成不变的,它是随着公司资产的累加而增加的,也是会随着公司战略、制度和文化的革新变化而变化的。

因此,数据治理工程中追求完美主义是不可取的,我们要学会分类分级,学会判断优先级,学会抓大放小,允许有序和无序的并存。

四、问题分析

数据治理到底解决什么问题?或者说什么问题的存在才需要数据治理?首先,我们来场景化模拟下数据从诞生到销毁的一生中遇到的主要问题。

场景1:小明是A视频公司的策略产品经理,工作职责之一就是分析用户的特点和行为习惯,从而帮助算法工程师优化视频推荐策略,从而提高用户对视频APP的使用黏性。

这天,小明抽样了部分用户浏览行为数据,发现部分用户单位时间内视频切换速率较高,停留时长较短,且点赞和关注数都较少,小明猜测是算法推荐的质量有问题,小明找了算法RD,算法RD却回复最近视频推荐的准召率(准确率和召回率)没有问题,并没有出现下降,肯定不是算法的问题,是视频内容质量的问题,或者是抽样数据的问题。

小明很苦恼,为什么数据分析下来,小明觉得用户对视频的喜好度是不够高的,但研发说准召率却没问题,那问题出在哪?

场景2:小红是B咨询公司的新来的数据分析师,最近她接到一个任务,需要为客户的一个市场咨询报告提供数据分析支持。

因此小红从业务经理那里了解完需求后,开始从公司数据库和第三方数据库获取数据,但事情却一波三折,就单单在业务数据分析的定义上就来回沟通了好几次,业务经理告诉小红她想知道a指标的数据,小红翻阅了前人关于a指标的统计口径记录发现,a指标居然有不下10个统计口径,诸如a1字段在x1维度下的聚合、a2字段在x2维度下的聚合等等,到底应该遵循哪个规范?

结果咨询一堆同学,发现每一个口径都有特定的需求背景和定制化规则,这一通忙活。

场景3:小东是C公司的数据RD,最近他经常半夜被各种数据跑批任务延迟和失败告警给吵醒。

原来是公司最近要迎接618,活动量的爆炸式增长导致业务数据量的爆炸式增长,而业务报表的数据统计逻辑和背后的数据源却没有及时优化,导致集群计算资源不足以支撑暴涨的需求而出现任务延迟或者失败的情况,这个情况又影响了业务报表的数据及时展示,影响了公司各业务KP邮件报表的及时性。

场景4:小阳是D公司的安全运营,最近公司上线了一个新业务,和已经上线的几家公司形成了假正经关系,然后他最近经常收到市场情报反馈,竞品公司能迅速感知到公司的投放数据和增长数据,到底是哪个环节出了问题,为什么竞品公司能这么快知道公司核心数据机密,这让他最近压力倍增?

分析以上问题,场景1其实是数据指标准确性的问题,场景2的问题主要是数据指标规范性和唯一性的问题,场景3主要是数据产出及时性的问题,而场景4是数据安全性的问题,以上,笔者认为都属于数据治理需要解决的问题。

五、治理目标

综上,数据治理的目标主要是解决以下四方面的问题:

  1. 规范治理:解决数据完整性、规范性和唯一性问题
  2. SLA治理:解决数据产出及时性问题
  3. 口径治理:解决数据指标准确性和口径一致性问题
  4. 安全治理:解决数据采集生产应用各环节中账号注册认证、权限管理、安全审计和隐私保护等安全治理问题

六、策略概述