本文基于科杰科技副总裁朱建勇在“中国石油石化企业云计算与大数据技术(视频)交流会”演讲整理,有删改。
能源企业数字化转型发展路径
国资委印发《关于加快推进国有企业数字化转型工作的通知》
年,国家对于探索构建适应企业业务特点和发展需求的“数据中台”“业务中台”等新型IT架构模式,建设敏捷、高效、可复用的新一代数字基础设施,加快形成集团级数据技术赋能平台,提升核心架构自主研发水平,为业务数字创新提供高效数据及一体化服务支持,提出了明确性的指导意见,并从国家战略层面,定义了下一代基础设施——数据底座。
企业发展已经由传统的IT信息技术为支撑,逐渐向以数据价值驱动业务DT模式的转变,依托企业级数据底座能力,可以支持企业未来5-10年大数据和AI项目的协同开展。那么到底什么是数据底座,基于数据底座如何进行企业的数字化转型?
过去的5年里,APP和前端小程序拥抱互联网,推进互联网+和产业互联网发展,并实现业务的线上管理。而在此之前,企业IT建设更多局限于管理软件研发,如财务软件、CRM、OA等协同办公工具,但财务软件、CRM、OA等协同办公工具并没有连接和触达C端,而业务线上化使企业有能力触达C端消费者和B端产业,并开启企业数字化转型第一步。
众所周知,利用数据可以真实表达线下业务情况,通过数据孪生,在虚拟空间中完成映射,从而反映相对应的实体业务的全生命周期过程,这样利用数据就可以轻松表达线下业务发生的每个动作过程。但是在数字化转型初期,企业还停留在管理软件研发阶段,只能通过烟筒式数据库收集业务数据并通过BI形成报表,经营决策管理层通过数据统计报告指导决策,以及进行相关数据分析工作,但大部分企业以季度为节点去进行财报或者相关的数据决策,这就会导致数据被动且滞后的反应业务现状,并且报表数据没有形成统一的标准,无法指导企业更好的进行决策。
通过数字孪生可以反映企业运营的所有细节情况,更有利于企业运营、分析业务相关工作。在数据孪生支持下,企业可以迅速开展大量增值类的项目,如实施大屏、移动BI、总裁桌面、管理驾驶舱等。一方面帮助企业用数据驱动业务的发展,实现企业的精细化运营提效,降低大数据产品使用门槛,为不同业务应用和人员提供按需的数据消费途径,让企业内人人都是数据分析师,每个人都能够通过数据去优化工作流程;另一个方面是通过机器学习、数据挖掘,进行快速构建和部署高精度机器学习模型,将数据价值反哺业务应用系统,通过数据模型的应用,实现业务的增收和业务创新。数据挖掘工作有显著特征,即模型发挥的价值需要叠加到功能性系统中,一起转化为智能系统,具备引领创新增长的能力。在实际应用中,BI和DI助力企业全面实现业务智能,再通过数字孪生用数据表达业务及线下的真实场景,这是企业完成数字化转型重要一步。
企业数字化转型需要做好两件事情:1.以互联网技术为基础,进行能力的连接。2.通过数据驱动企业提效和业务增长创新,从而实现全线业务的智能化。未来5—10年,企业数字化转型核心是全线业务智能化,但在实际业务落地的过程中会遇到较大阻力和困境,其根源在于,企业研发人员能力都是基于应用系统建设,缺少数据能力、数据技术以及成熟可落地的数据项目开展管理的综合能力。
进入DT时代,企业需要数据与技术驱动进行智能化建设,这就面临着储备人员不足、技术能力差、数据整合不完善等问题。企业面对海量业务数据如何整合,如何进行规划,并在此基础上如何形成企业的数据资产服务,满足企业相关的业务需求,应该从以下三个方面入手:1.大数据技术工程和AI基础设施能力:采用主流大数据技术工程和AI基础设施能力,融合DataOps方法论,充分实现技术产品化,支持大规模团队协同协作,以数据基础平台(KeenKDP)、数据开发管理平台(KeenBDP)、数据资产目录(KeenAsset)、数据标准平台(KeenDSM)、数据同步系统(KeenDsync)、实时计算平台(KeenStream)、数据科学平台(KeenDSP)、数据服务平台(KeenDaaS)等八个标准化产品,组成“存算分离、湖仓一体、批流一体”“可视化运维部署”的国产企业级大数据底座软件。面向多业态、复杂的业务场景,以乐高式的产品组合方式,持续高效地生产高质量、可复用的数据资产。
2.全域数据资产管理与运营能力:依托高度自主、灵活的产品,搭建企业组织级数据能力体系,包括:数据治理能力、数据运营管理能力、数据汇聚能力、数据处理能力、数据价值挖掘能力、数据共享交换能力、数据服务能力、数据应用支撑能力等八大数据能力,构建企业全域数据价值链,实现企业数据集中化、数据标准化、数据资产化、数据价值化、数据服务化,全面、高效、灵活的支撑企业数字化转型发展。
3.组织性数据共享与规模化协作能力:以多元化的数据共享交换和数据服务方式,为不同业务应用和人员提供按需的数据消费途径,持续支撑多业态、多人员共享协同开发,打造业务沉降数据,数据反哺业务的闭环模式,实现企业数据应用层面的降本增效。
数据底座支撑下的能源行业数智化建设架构
数据底座的核心能力:大数据技术工程和AI基础设施能力、全域数据资产管理与运营能力以及组织性数据共享与规模化协作能力。数据底座是企业基于多业态、多复杂场景持续落地最佳实践,是数字化转型的引擎,是数字经济核心基础设施。从数据底座的角度解读整个企业数字化转型建设路径,数据底座如何支撑能源行业数字化转型?
湖仓一体技术架构
通过数据底座建设,帮助能源企业打造和完善企业级数据能力体系,面向集团及下属单位,搭建覆盖数据治理、数据汇聚整合、数据管理、数据服务的数据全生命周期管理能力,湖仓一体化的数据架构适用于能源企业各类型业务场景,以企业级数据能力体系全面助推能源企业数智化发展。
湖仓一体技术架构核心技术的先进性主要表现在以下几个方面:
存储计算分离
多源多态数据汇聚整合,易于灵活扩展,减少数据迁移工作,从而确保数据的可靠性、一致性和实时性;支持丰富的计算引擎;更优秀的数据管理能力,更高效的查询性能。
批流一体
支持批处理和实时计算;支持使用批处理分析数据流;可提供批处理、流处理的联动和转换。
ACID与事务性
具备完整的ACID特性,提高事务性处理能力。
数据编织
支持在混合云和多云环境中动态管理不同的数据源,以提供高质量的数据来支持应用程序、分析和业务流程自动化。
一站式、全流程
支持统一数据资源、统一流程、统一智能调度。
统一的数据工作平台
基于数据平台结合业务应用需求建设的数据资产可以自动沉淀,包括地图、原数据、数据质量、数据标签等,以统一门户的形式,可以面向企业全员进行开放,在安全管理管控机制下通过门户,进行数据灵活分析探查,从而进一步去释放数据价值。
构建统一的数据资产运营门户,将资产链路打通之后的各类资产,如数据模型表、数据指标、数据标签等进行统一化管理,以统一门户的形式,实现上述资产类型面向不同用户的连接。如数据开发人员、业务分析师、数据分析师、业务研发人员等可以在平台上按需申请数据,进行数据分析探查,开展数据工作,同时对于管理决策层,也可以通过门户形式获取到所需要管理决策报表、大屏等。