《华为数据之道》数字化与数据治理的典范实践者

12499
发表时间:2020-11-16 08:00作者:火雪挺来源:道比伯尔
古人云:“天有常数,地有常道”。时代再不断的变化,彼时的“数”少了份哲学情怀,此时的“数”则多了份经济发展的色彩。如今的“大数据”已被归结为继“实验、推荐、计算仿真”之后,人类认识客观世界的“第四范式”新手段。
当所有人都喊着“数据是资产”的时候,又有几个企业真正像管“钱”一样去管数据的?又有多少管理者真正像拥抱“钱”一样去拥抱数据、能认知到数据的价值以及为了获得这种价值其背后所需要付出的巨大努力的?有没有像财务部门一样有“数据会计”、“数据出纳”、“数据审计”等等?既然数据是如此重要的资产,为什么没有被加入企业的资产负债表?

是因为这种资产带来的收益不直接?是因为这种资产变现的途径很困难?还是因为这种资产的获取及提炼门槛太高、收效太慢?亦或是控制管理及运营成本并非主要的考核指标,成本的增长又常被经营收入的增长所掩盖,以至于我们的CXO们把更多的精力放在“赚快钱”上?

读完《华为数据之道》,我认为华为是真正做到了把数据作为企业的战略资产,是其他企业需要学习的数字化与数据治理的典范实践者
广告

华为数据之道

作者:华为公司数据管理部

当当
以下是通篇之后我个人的一些感触和启发,希望对大家有用。

非数字原生企业的数字化转型

这是一个非常有趣的词,本书开篇就点出了华为先前作为一个非数字原生制作型企业所存在的各种痛点,例如产业链条长,多业态并存;数据交互和共享风险高;数据复杂,历史包袱重等问题。传统企业在经历早起的信息化建设后,不可避免的会陷入“客观上的孤岛陷阱”,限制了企业在全面数字化时代运营效率的提升和效益的改进。

因此,华为数字化转型的目标就很务实,也就是要通过“对象数字化,过程数字化,规则数字化”,构建“感知,链接,智能的数据平台”,实现企业的ROADS体验(实时real-time,按需on-demand,在线all-online,自助DIY,社交social),来解决上述问题。

数字化生产的本质是以数据为处理对象,以ICT平台为生产工具,以软件为载体,以服务为目的的生产过程。华为数字化转型的关键是数据治理和数字化运营,打破数据孤岛,确保源头数据准确,促进数据共享,保障数据隐私与安全。

这让我不禁联想到,这些所谓“非数字原生企业”所存在的问题,在如今的许多互联网“数字原生企业”中也同样存在。华为想要实现的数字化转型与生产,其实对许多所谓数字原生企业也同样的重要。尽管如此,也未见许多企业与组织有所行动。所以从这个意义上讲,华为的决心与执行是强大的。

为了完成这一目标,华为将数据治理这一理念升华到了广义层面,并投入到企业级的实践,包括了构建统一的数据管理责任体系、构建统一的信息架构和数据底座、构建面向“自助消费”的数据服务体系,最终打造出“企业数字孪生”。

数据管理责任体系

都说转型是一把手项目,但真的“一把手”了吗?我看过太多所谓一把手项目最后只是挂个名分,遇到实际需要决策推动的时候仍旧是各立山头、互相推诿,只看住眼前的一亩三分地。企业的转型是需要魄力的,新时代下的数字化转型更是如此,因为转型的过程不可避免的会影响甚至颠覆过去的流程、技术和商业模式,更需要有魄力的“一把手”、“董监高们”支持推动。

例如在华为,对于不遵从管控要求的变革项目,数据管控组织有一票否决权;构建业务负责制的数据管理责任体系,不仅是管理体系,也是责任体系,包括问题回溯和奖惩机制;对数据质量的问题确保在源头解决,一经认证,“一点录入,多点调用;一点定义,全局共享”,并关注数据质量的持续提升。

此外对于数据的管理,从规范化管理演进到了精细化管理,根据不同的数据类型进行不同的治理方法。结构化数据的管理以统一语言为核心,构建统一的数据资产目录、数据标准和模型,形成高价值密度的数据域;对于非结构化数据,以特征提取为核心,通过元数据落地来开展,使得原本低价值密度的数据本身不额外增加存储与管理成本,但又提取了高价值密度的信息来支撑业务;最后对于外部数据的管理,确保合规遵从。

统一的数据底座

书中提出的华为数据底座,由“逻辑数据湖”作为主体。它不是单一的物理存储,而是通过统一的元数据语义层进行定义、拉通和管理。这是一种非常讨巧的构建方式,可以降低数据集中化带来的迁移、存储和运维成本,特别适合传统的非数字原生企业,当然也适用于那些庞大且复杂的数字原生企业。

虽然数据湖中存储的是数据原貌,不需要清洗和预先定义,但需要做数据质量评估。使得数据消费者了解消费该数据的质量风险,并反过来推动数据owner在源头进行数据质量的持续提升。

对于需要入湖的数据提供物理入湖和虚拟入湖的平台工具。这里有个小亮点是基于数据虚拟化能力而实现的虚拟入湖,适合低数据延迟,高灵活性和临时模式的消费场景。数据虚拟化能力包含四个层次的内容:数据源映射、元数据建模、数据的抽象(基于虚拟表和数据封装)以及联邦查询的能力。

除此以外,对于近两年很热门的非结构化数据的入湖方式也给出了四种不同的明确定义,包括基本特征元数据入湖、文件解析内容入湖、文件关系入湖和原始文件入湖。

面向“自助消费”的数据服务

其实这一理念已经宣传了好多年,真正能达到目标的企业是少之又少。我一直在思考其中原因是什么。从所谓人性的“恶”的角度说,在toB项目的过程中,有些客户不希望自助分析和提数的原因在于权责问题。谁提数汇报,谁就要对数据的质量负责,如果数据是IT部门弄完给我的,至少我没有全部的责任;其次还是图省事,自助分析即使再便捷,客户还是需要自己去学一套工具、了解数据指标背后的统计口径、甚至还需要一些故障排查的能力。这个看上去吃力不讨好的事情,但凡有预算的客户谁会自己去搞呢?

而服务的提供方在数据运营阶段为了增加由劳动时间转换而来的收入,也愿意按照传统的“提需求、做评估、再开发”的定制化方式来为客户服务,并收取费用。这也许是为什么“自助数据消费”这一理念在传统企业和toB项目中难以推动的原因之一。

而制度的存在、技术的演进其目标除了降本增效之外,有时也是为了抑制人性之恶、引出人性之光。所以如果我们刨开这些人性和商务的问题,我们需要提供什么样能力才能完成用户“自助消费数据”从而降低开发及运营成本的目标呢?

从华为的实践看来,这样的能力包括数据的可供应、可获取及可分析。

首先,通过数据入湖并明确数据服务的边界来达到可供应的数据。避免数据的预定义、预转换和加工链条过长,并对数据服务合并封装的边界做明确的定义。数据服务的本质是将已有的数据资产以服务的形式提供给消费者,而不是在服务的过程中又创建一个新的数据服务。

其次,通过构建数据地图来构建数据可获取、可搜索的能力。构建以用户体验为核心的数据地图就是要解决原先业务使用方对湖中数据“找不到”、“看不懂”的问题。数据地图的构建是基于元数据、数据资产目录以及链接业务元数据与技术元数据的结果,是数据治理成果的集散地。

最后,提供便捷的数据分析工具来支撑业务人员的自助分析,无论是即席分析、多维分析、实时高维还是搜索分析,IT部门或数据中心要实现从“保姆”模式到“服务+自助”模式的转变,提供数据可分析的能力。

但如同我前文所述,这就需要我们现在的业务专家学习一些IT技巧、掌握一些数据分析能力,从业务专家转型到业务数据分析专家。一开始会有抵触、会有不适应,但这是时代的大趋势、是企业的大趋势,每个人都需要不停的学习新知识、新技能来帮助组织的转型。因为组织是人的组织,人是组织里的人,永远不变的只有改变。最后你会发现,企业的数字化转型不仅仅是工具的转型、流程的转型,更重要的是“人的转型”。工具可以购买,经验可以借鉴,但打铁还需自身硬。

企业级的元数据管理机制

元数据管理是数据治理理念中重要的一项,而华为把这项能力发挥到了一个很高的水平。前面我所提及的数据管理责任体系、统一的信息架构和数据底座、面向“自助消费”的数据服务,这些都离不开元数据的管理,而华为更是将其上升到了企业级所拥有的元数据管理机制。

以元数据的类型区分,可以分为基础特征元数据(例如标题、格式等,遵照《都柏林核心元数据》)、内容增强元数据(例如标签,关系等)和操作元数据。其中针对大量视频、图片和文字等非结构化数据的处理,是将其语义理解之后的结果(标签、关系等)归为元数据的一类进行管理和消费。基础特征元数据分析的手段是数据可视化、交互式BI,内容增强元数据分析的手段是图计算、基于图谱的知识计算等。从这里就可以明显看出华为对数据治理有很深刻的认知,这也一定是整个组织对大数据多年的研究和理解后的沉淀。

以元数据的产生区分,可以分为业务元数据、技术元数据和操作元数据。其中目前大数据平台工具可以自动的采集和落地元数据以技术元数据为主,而业务元数据和技术元数据打通及链接是十分重要却往往被忽视的,跳过这一步就意味着入湖后的原始数据与数据地图、数据资产目录、数据标准和模型是割裂的,也就无法面向数据消费者提供上述的“数据自助消费服务”。

总之,元数据管理机制一方面可以支撑业务更好的数据消费,另一方面通过业务元数据和技术元数据的关联分析,反向校验架构设计与落地的实施情况,检查公司数据管理政策的执行情况。

结语

在本书中,华为一方面总结了其在数据治理和数字化转型方面的实践经验,将数据治理升华到了一定的理论高度;另一方面又从组织及流程管理、技术及能力构建和数据管理及服务等角度提供了实际的建议和结论,不停留于表面,不只是简单的概念介绍,十分具备实操性。无论是给从业者还是给感兴趣的人士,都带来了知识和惊喜,值得细心阅读和品鉴。

最后用华为CIO陶景文先生为本书所做的序为结语:数字化转型是一个持续优化的过程,只有起点,没有终点。
广告

华为数据之道

作者:华为公司数据管理部

当当


文章分类: 项目管理文章精选
分享到:
关注公众号
PMLink产品经理社区
PMLink产品经理社区
华创微课服务号
华创微课服务号
广告投放
个推10周年狂欢
PMP项目管理培训
香港大学SPACE
平安招聘
掌上疫情
三节课
广发证券
华创微课
职场进阶,上华创微课