在以“矩·变”为主题的神策2019数据驱动大会现场,西瓜创客数据分析负责人张平曦发表了名为《从商业目标出发解决数据治理中的困境》的主题演讲。以下内容根据其现场演讲整理所得。主要内容如下:
·为什么要做数据治理?
·如何从商业目标出发?
·如何落地指标体系?
一、为什么要做数据治理?
西瓜创客是一个极为重视数据驱动力量的企业,在我们公司仅有50人时已接入神策数据,在数据驱动从零到一的摸索过程中,逐渐发现数据治理的重要性不容小觑,下面我们通过一个问题来直观感受下——双十一的GMV到底是多少?
双十一刚结束时,朋友圈有一个消息显示淘宝的销售额仅200亿元,而京东销售额已超千亿元,当时有点惊讶,后来了解到事实是京东十天累计下单1313亿元,双十一全天淘宝直播200亿,且天猫1小时3分59秒破千亿。很显然,这是由数据口径不一致造成的问题。
该问题不是个例,而是在很多公司均存在的问题,在西瓜创客也出现过。在去年我们的11月5日至11月12日的双十一促销快结束时,分析师被各方灵魂拷问,如下图:
CEO:“双十一GMV目标只达成了60%?”
销售总监:“我看到的数据是90%,你加了xx商品的数据么?”
渠道负责人:“我们达成了啊,你看的是哪里的数据?”
销售:“绩效看板和我的销售额怎么对不上呢?”
财务:“本月现金流量标比业务数据少了100w,怎么回事?”
分析师:“???”
这种场景不知你是否似曾相识?在这个困境中,往往分析师50%的时间在和业务沟通和核对数据,50%的时间在做数据清洗,留给真正分析的时间少之又少。而其关键问题很显然,即口径不一致、系统不一致使看到的数据不一样,理解也不一样。
针对这件事,我们做了一个全面复盘,并画了一幅GMV的传送链路图:
在图中明确的表示出每个人接收的数据来自于哪个部门,哪个系统。在数据生产端,存在底层数据、数仓、神策数据、第三方数据(如有赞数据、支付宝数据等),不难发现,第三方数据与底层数据是完全割裂的,这也是财务、CEO看到的数据不一样的原因。但从图来看仍不够直接,我们又做了一个总结,如下图:
问题的症结聚焦一点就是大家的认知依据不一致。通过复盘或解释,最终大家会达成统一的认知,但分析者依然会承担因此而带来的后果和影响,其中,最关键的两个就是低效和质疑。来回反复的沟通,各方argue对自己有利的口径导致低效;对数据团队的信任度降低,甚至对数据产生质疑。
为此,西瓜创客开始尝试在数据流的各个环节采取措施进行数据治理,如下图。
方法1:
在源头上,通过使用的一套“系统事件”的概念,用统一的协议和规则来统一数据源的获取,尽可能覆盖所有的指标,其优点是对于前端事件记录全面,缺点是对于后端事件可能有所遗漏,研发和业务对关键指标的理解差异,甚至将导致关键指标遗漏采集,只可解决70%的问题。
方法2:
在流程上,尝试统一产品研发及业务方的埋点流程和规范,从需求出发确定要采集的数据,最终往往会发现产研部门和业务、数据部门的目标不一致,导致很容易乱,比如业务提出几个紧急需求,开发进行了几个版本迭代后,将数据流、指标就抛之脑后。
方法3:
在源头和流程上均无法解决时,最后会采用最原始最粗暴也最消耗时间精力的方式——反复的数据清洗。
我们曾经在数据分析团队做过一个调研,询问大家认为分析师应该做的事情和目前正在做的事情之间的gap,最终答案是大家认为分析师应该做的事情是分析、挖掘、为业务产生价值的东西,而实际在做的就是取数和报表。
这个落差其实很普遍也很痛苦,为真正解决问题,我们回归初心,思考其本质,总结出数据治理的本质和数据的价值是用可信的数据,驱动业务目标的达成。
二、如何从商业目标出发?
从这个角度来看,前面的思考更偏向为数据分析而数据治理,正确的思路应该是从业务目标出发来看待数据治理,我们做了一个梳理,如下图:
每个公司及业务均有一套属于自己的商业逻辑,如西瓜创客会将获客成本、LTV等作为商业逻辑的关键因素。商业逻辑决定目标是什么?如确定GMV、复购率、复购的客单价的设定。进而再决定业务逻辑的拆解和对应的业务流程,在其中又会衍生出各种数据需求,针对具体业务可评估需要什么颗粒度的什么数据?当了解到需要什么数仓表后可决定埋点的系统事件类型。最后我们发现,以上5模块分别是上游向下游负责,要需求方向业务方负责。
但实际的应用中,往往不时出现灵魂拷问,如下图:
不难发现,单一的上游向下游负责的链条是无法支撑企业的良性运转,无论是目标还是数据质量本身,所以我们又重新基于目标出发的视角,进行梳理,如下图:
本次梳理仍从商业逻辑出发,但在链路中,不再根据任何一个流程或一个单一的事件输出业务需求,而是基于业务和商业逻辑做出一个指标体系,该指标体系主要包含KPI及过程指标。
也就是说,用指标体系连接应用环节(商业逻辑和业务逻辑)和生产环节(数仓表和系统事件),如下图:
在实际工作中,每一个人或部门承担的角色和目标不同,如CEO的目标是实现商业目标,数据分析师的目标是处理需求,数据开发的目标是搭建数仓表等,当整体梳理为统一的指标体系,这也将让商业目标不是CEO一个人的事情,使各部门携手实现商业目标。
三、如何落地指标体系?
下面通过一个案例进行剖析——DM单的购买转化业务,针对该业务我们设计了一个简单的漏斗,包含DM单访问、发起购买、订单生成、支付成功,但其存在很多问题,如下图:
之后,我们基于商业目标梳理的逻辑,重新对这个场景采取5步法确定指标体系和数据埋点,如下:
1.商业逻辑:通过DM单将流量转化为GMV,如下图:
2.业务逻辑:
3.指标体系:
4.中间表
5.事件设计(埋点)
通过这5步基本上构建了一个指标体系地图(如下图),已可让所有相关方理解商业目标和达成方式。
在该阶段,企业可进行如下操作:
·梳理出商业逻辑及业务逻辑,即业务如何实现目标的流程图
·梳理出数据埋点/系统事件,即在流程图中的位置及详细文档(如下图)
·指标体系KPI及过程指标,即梳理在流程图中的位置及详细命名定义
·中间表字段及维度(含QA测试用例文档),如下图:
指标体系及对应的数据看板展示逻辑或产品应用方案,涵盖各方,如下图,包含神策数据和自建后台。
在以上操作结束后,我们继续进行了不同角色的口径梳理,如下图:
如此一来,大家都为商业目标负责,而不是需求本身负责,这是我们的一个实践尝试。在尝试过程中,我们采取了项目组的方式,项目组成员包含研发设计、产品、数据等,且大家一起背该项目的KPI,在这种组织架构下,团队间的配合也发生了微妙的变化,大家的协作性和理解性大大加强,如下图:
甚至工作的价值感也提升了,举个例子,过去分析师往往聚焦产出本身,如产出多少表或分析报告,但现在其已经通过埋点或研发资源高效实现了,分析师便不需要做提数、做报表、清理数据、发现坑、填坑等工作。现在,分析师做的更多是与业务方沟通,定位业务优化点,优化业务逻辑,匹配对应的数据资源,对业务目标赋能。
经过分析后,仔细思考,你会发现数据流并没有改变,系统也没有改变,只是通过指标体系的链接,各个业务方可看到商业目标实现过程全貌,可准确知道自己的产出起到什么作用,会对什么决策产生影响,且因为指标体系已经从一开始告诉了目标是什么?基于目标的指标口径是什么?基于流程的转化链路是什么?用什么来判断好和不好?企业可不用统一和限制数据传送的链条、限制数据查看权限。
以上,就是西瓜创客的一个小小实践,打造的一个基于目标的指标体系地图的思考和迭代的过程,让所有的相关方理解目标和我们达成目标的方式,从而使他们的业务目标转化为企业的商业目标,整个企业各部门真正朝一个方向发力和突破。
关于西瓜创客
西瓜创客是知名在线少儿编程教育品牌。对标美国CSTA K-12计算机科学标准,推出适合中国6-12岁孩子的LEAP课程体系,独特的AI双师教学让孩子高效、扎实地掌握编程语言,培养超强逻辑思考能力,全面强化综合素质,西瓜创客获得由新东方教育文化产业基金领投的B轮1.5亿元融资
关于神策数据
神策数据是专业的大数据分析平台服务提供商,致力于帮助客户实现数据驱动。公司围绕用户级大数据分析和管理需求,推出神策分析、神策用户画像、神策智能运营、神策智能推荐、神策客景等产品。
此外,还提供大数据相关咨询和完整解决方案。神策数据积累了中国银联、中国电信、百度视频、小米、中邮消费金融、海通证券、广发证券、东方证券、中原银行、百信银行、中青旅、平安寿险、四川航空、翼支付、好未来、VIPKID、东方明珠、华润、有赞、百姓网、货拉拉、闪送、驴妈妈、Keep、36氪、拉勾、VUE、春雨医生、聚美优品、惠头条、捞月狗、纷享销客、妈妈帮等1000多家付费企业用户的服务和客户成功经验,为客户全面提供指标梳理、数据模型搭建等专业的咨询、实施和技术支持服务。希望更深入了解神策数据或有数据驱动相关问题,请拨打4006509827电话咨询,会有专业的工作人员为您解答。
