Vantara的三步曲,大额不可能只走量

2020-05-07 作者:数据库资讯   |   浏览(185)

在数据化转型的驱动下,数据成为企业运行和发展的核心资源。 作者:Hitachi Vantara全球副总裁兼中国区总经理戴建平

在Hitachi Vantara为杰克孙的公司定制了基于Pentaho和Hitachi Content Platform的解决方案之后,公司不但实现了数据的集成与数据治理,还实现了企业级报表、仪表盘、可视化分析、机器学习和预测分析。

大数据时代来临,越来越多的企业开始以数据驱动决策,但这一模式仍处于发展阶段,还远远没有实现其应有的潜力。IDC白皮书显示,2018年,全球数据体量达到了33ZB,但其中只有2.5%的数据得到了分析和利用。也许潜在的变革就藏在未被分析的97.5%的数据里。如何探索这遗漏的97.5%?或许答案就在数据即服务、大数据集成与管理、数据分析中。另一份IDC报告中指出以上市场仍然存在的巨大发展空间。大数据产业的未来,可谓机遇与挑战并存。

作为一家大型零售企业CIO的杰克孙,在这个盛夏即将结束前终于可以每天在日暮前大口呼吸这略带点秋意的空气了。看着如火轮般即将西下的夕阳,杰克孙今天的步履格外轻快,有多久没能在太阳下山前走出办公室,杰克孙的记忆已经有些模糊了。

井喷的数据亟待合规的管理与应用数据即服务

对着车镜,杰克孙还是习惯性地捋了捋那日渐稀疏的薄发,擦了擦略带油光的、智慧的脑门。只是今天,杰克孙看着镜子里的自己,嘴角上扬,竟然平添了几份帅气。笑容舒展,心情自然是极好的。打开车窗,一路迎着阳光,杰克孙暗自庆幸虽然相见恨晚,但总算解了燃眉之急。

在数据化转型的驱动下,数据成为企业运行和发展的核心资源。IDC预测,2018-2023年全球数据空间五年复合增长率达25.8%。企业获得数据的来源主要分为内部自身生成的数据和外部数据。然而,数以亿计的数据流也给企业带来了许多挑战,其中不容忽视一条就是如何让数据的管理与应用符合法律法规及相关政策的规定。

杰克孙所在的公司这两年来,一直在尝试把信息中心的重心向数据生产中心转移。数据对于一家零售企业而言,其价值无异于真金白银。到目前为止,公司已经上线了十多个ETL数据抽取工具。单是当初采购抽取工具的POC就占据了团队大量的时间。即便这几年是一路招兵买马,杰克孙这个CIO还是没一日空闲。团队里的数据分析师大量的时间,都花在不同平台之间手动加载数据、数据准备及数据抽取。粗略算算,公司现在的应用场景至少有20多个,难道让基层员工都掌握20个不同工具吗?杰克孙想想就直冒冷汗。有没有一家企业的软件,能解决全部的场景呢?哪怕是十个场景呢?杰克孙在心里给自己设置了底限。

英国能源数据公司ElectraLink掌握了大量的能源市场信息,但这些信息必须符合数据访问和使用限制要求。例如,能源提供商可以完全访问自己的数据,但只能以聚合和匿名的方式访问其他提供商的数据。

Hitachi Vantara全球副总裁、中国区总经理戴建平,在拜访客户时有一个习惯,一定要在10分钟之内,让客户明白Hitachi Vantara能干什么。当他的中国销售团队拜访了杰克孙所在的公司时,或许他还不知道杰克孙内心的小火苗已经开始燃烧。

Hitachi Vantara的Pentaho解决方案为ElectraLink提供的单一数据集成平台和精益数据管理流程大大简化了数据提取工作,并将提供给客户的数据标准化。如此一来,企业不必再为确保自己的数据管理和应用合规而花费过多的时间和精力,因为这一过程可以轻松地被自动化。ElectraLink的小型团队因此得以将精力集中于开发创新型数据服务,以响应不断变化的市场动态及客户需求。

Hitachi Vantara全球副总裁、中国区总经理戴建平

企业数字化转型的一大助推力智能化数据治理

久经沙场的杰克孙压制住了内心的小激动。他知道Hitachi Vantara的人一定是有备而来,对公司的情况已经有了摸底排查。其实杰克孙又何尝没有事先做过功课呢?对Hitachi Vantara的市场口碑、成功案例他也是做过一番调查取证的。

数据治理在企业的数字化转型中承担了关键的作用。它为企业提供了在最佳时间将正确的数据交付给正确的人所需的知识,这是企业的DataOps优势,它涉及组织中跨功能和跨业务的所有决策机制。

俗话说,万事开头难,数据提取这第一步就是他的一直难以解决的心头大患。所以当他看到Pentaho 的这个数据集成方案介绍后,已经跃跃欲试了。因为Pentaho Data Integration可以让用户摄取、混合、清理和准备任何来源的不同数据。并且提供可视化工具,消除了手工编码操作失误和复杂性,使用户能够轻松获得优质数据。

MyRepublic是亚太地区发展最快的电信运营商之一,为了实现业务增长所需的可扩展性,企业需要整合不同的数据系统并整合跨越四个国家的内部和第三方系统数据,以提高数据存储和运营效率。

我们可以肯定地告诉客户的是,Hitachi Vantara的Pentaho数据平台可以满足他的全部场景需求。这一点也在后来的POC中得以验证,Pentaho是在该客户单一平台通过所有24个应用测试用例的唯一解决方案。为什么?根本源于 Pentaho的开放设计理念。开放的原则让我们在技术发展如此之快的今天大受其益。因为我们的平台是嵌入式设计,我们与目前市场上主流的数据产品都可以实现互嵌。也因此我们的平台在结构化数据,非结构化数据,流式数据处理以及跨多云的数据调度、数据传输方面,都体现出了独有的优势。Hitachi Vantara数据与分析业务总监于希国如此谈到。

MyRepublic通过实施Pentaho解决方案来快速集成数据,实现了从前无法实现的所有国家数据的汇总。企业也因此获得了针对每个市场的洞察,并得以在其开展业务的所有市场综合利用这些洞察,以推动新产品和新服务的开发。值得一提的是,MyRepublic在完成上述革新的同时,还节约了75%的数据集成人力,显著提升了效率。

Hitachi Vantara数据与分析业务总监于希国

打破数据孤岛的瓶颈高级预测分析

用戴建平的话来说,Hitachi Vantara的与众不同表现在两个方面:一是开源,二是高效紧密整合。Pentaho从开源起家,所以与各家厂商都有极好的兼容性,尤其是和本土开发商的相互迁移方面更加简单。更为关键的是Pentaho是一个无缝的端对端、对于多种数据源都可以进行高效紧密整合的工具。它可以把企业不同的数据源、不同的业务平台和链路打通,形成一个整体。

随着新型智能企业应用的出现,商业智能分析将被嵌入到企业应用中。为了降低数据分析的复杂性和对经验模型的依赖,在传统BI软件产品中加入人工智能或机器学习功能模块已成为必然。然而大多数企业都在将模型投入工作的过程中陷入挣扎,因为数据专业人员时常在孤岛中开展业务,并在为更新工作流建模而准备数据的过程中遇到瓶颈。

第一步:抽取正确的数据

Pentaho平台以端到端的现代化数据架构一站式地帮助企业冲破诸多障碍。例如,Pentaho可以简单高效地将多种大数据源结合在一起,打破数据孤岛;通过不同语言和机器学习库的集成,使数据科学家能够更快地、无缝地训练、调整、构建和测试其模型;与此同时,Pentaho允许数据专业人员轻松地将数据科学家开发的模型直接嵌入到运营工作流中,并以自动化流程进行模型的更新等。

是骡子是马总要拉出来遛遛,杰克孙在经过多轮测试之后,紧皱的眉头终于舒展开来。不过,作为企业的CIO,解决了数据提取也只是万里长征完成了第一步。

对于家喻户晓的服装企业海澜集团来说,运用数据分析并结合心理学知识对商品的生产、流通与销售过程进行升级改造以重塑生态圈,进而对线上服务、线下体验和现代物流进行深度融合,成为其探索零售新模式的聚焦点。然而,其传统基础架构系统的建设及运维成本比较昂贵,并且难以及时有效地对来自互联网的数据进行分析,同时在用户体验等维度也不太理想。Hitachi Vantara为海澜集团量身定制了基于Pentaho和Hitachi Content Platform的解决方案,实现了数据的集成与合理存储,还实现了企业级报表、仪表盘、可视化分析、机器学习和预测分析。由此,海澜集团借助更精确的同类品牌及消费数据分析实现了更加极致的用户体验,显著提高了企业收益。

我们知道,数据抽取直接面对各种分散、异构的数据源,如何保证稳定高效的从这些数据源中提取正确的数据,是ETL设计和实施过程中需要考虑的关键问题之一。

在未来以分析为驱动力的商业世界中,数据是业务成功的关键。中国大数据市场技术逐步趋于成熟,但仅仅依靠数据量并不能在竞争中打出差异化的牌,企业如何利用数据才是成败的关键。未来在数据空间持续增长的背景下,落地场景也将不断创新,如何深挖数据价值的潜能,并将之转化成为有价值的信息,从而推进企业的数字化转型,并不断优化自身产品与服务,是每一个企业需要不断思考的命题。 [1]IDC Analyst: How DataOps Helps Organizations Unlock Data Value [2]IDC Market Perspective:中国大数据市场生态体系研究,2019

Pentaho可以提供单一的数据集成平台和数据管理流程,所以大大简化了数据提取工作,并将提供数据标准化,并在数据管道中自动传递。也就是说借助Pentaho工具,可以对数据进行流处理,通过管道自动将经过提炼的数据集发布到一个常用的分析数据库,从而进行快速查询及分析展现。

责任编辑:李丽

Pentaho的业务分析平台则可将大数据分析的设计和部署速度提高到手动编程的10倍以上。而其内在的分析模块可更快向企业用户提供数据模型,实现自动建模及深度学习功能,从而提高业务与 IT 部门之间的协作能力。

第二步:缩短价值变现时间,智能化数据治理

让杰克孙暗自窃喜的是,一个平台不仅解决了繁琐的数据抽取过程,还让他不再为确保自己的数据管理和应用合规,而花费过多的时间和精力,因为这一过程可以轻松地被自动化。

首战告捷,杰克孙居然感受到了那种久违的、越战越勇的热潮从心头涌出。此时CEO的那句要成为真正的数据驱动型公司在他心里怎么瞬间就变得不再空洞了呢?杰克孙摸了摸脑门,推开信息中心办公室的那扇铁门,看着忙碌的兄弟们,心情有些复杂:是不是应该让他们适度休整一段时间再布置任务呢?可是打铁须趁热,时间不等人啊。

行业里的人都知道,数据治理战略是零售企业数据战略中的关键。因为数据治理为企业提供了在最佳时间将正确的数据交付给正确的人所需的知识。

但是对于在多云环境中运营业务的企业来说,数据治理的挑战是巨大的。这些年杰克孙参加过各种大大小小的行业高峰技术论坛,DataOps已经引起了他的关注,如果采用这种可以跨功能和跨业务的数据治理方式,无疑会让公司业务迈上更高的台阶。杰克孙也知道,要采用这些新兴的数据技术,企业必须改进传统的做法来提高处理数据的能力,而现在,这些问题已经迎刃而解了。

一切都是那么应时应景,当Pentaho 8.3进入杰克孙的视线时,他觉得是时候要建立起一个强大的数据治理框架了。对于公司来说,不仅仅要管理数据,而是要充分利用数据的商业价值,缩短数据价值变现时间。

Hitachi Vantara推出其数据集成与分析平台软件Pentaho的最新版本Pentaho 8.3。该版本引入了一系列支持DataOps的功能设计。比如, Pentaho 8.3 版本由于提升了与Hitachi Content Platform的集成能力,所以企业能够更轻松地读取、写入和更新HCP自定义元数据,使用系统元数据查询对象,使得数据搜索、治理及分析都更加方便。

Hitachi Vantara的DataOps,就是现在广泛谈到的中台的概念。也就说,Hitachi Vantara通过DataOps,在数据的消费者和管理者之间建立起了连接,为微服务获得后台数据平台的数据湖起到了很好支撑作用。

但是杰克孙仍有他的顾虑:直接对生产系统来做数据分析,势必会对性能产生影响。

如果没有做好数据清洗,没有很好的数据质量管理,分析结果一定是有问题的,这是企业最常遇到的普遍问题。所以今天我们谈大数据,有一个非常重要的环节数据脱格,建立数据湖。仅把原始数据堆在那儿并不是我们真正所需的数据湖,而是要有元数据管理。这也是为什么对象存储在今天越来越受欢迎的原因,因为它是建立有价值的数据湖一项重要的、离不开的技术。对象存储有了元数据管理,在完成数据脱格之后,才能够把数据更好地管理起来,从而为后续的数据质量治理、数据管理打好基础。于希国终于打消了杰克孙的顾虑。

最终,杰克孙的公司通过实施Pentaho解决方案,不仅快速集成了数据,还实现了从前无法实现的来自不同地区的所有数据的汇总,构筑起了真正的企业数据湖。企业也因此获得了针对每个市场的洞察,以推动新产品和新服务的开发。并且节约了数据集成人力,显著提升了效率。

第三步:向高级预测分析迈进

IDC曾经发布的一份白皮书显示,2018年全球数据体量达到了33ZB,但其中只有2.5%的数据得到了分析和利用。Hitachi Vantara认为,也许潜在的机会就藏在未被分析的97.5%的数据里。如何探索这遗漏的97.5%?或许答案就在数据即服务、数据治理和数据分析中。

随着新型智能企业应用的出现,商业智能分析将被嵌入到企业应用中。为了降低数据分析的复杂性和对经验模型的依赖,在传统BI软件产品中加入人工智能或机器学习功能模块已成为必然。然而大多数企业都在将模型投入工作的过程中陷入挣扎,因为数据专业人员时常在孤岛中开展业务,并在为更新工作流建模而准备数据的过程中遇到瓶颈。

现在,Hitachi Vantara已经开始通过Pentaho来融合BI和大数据。通过AI、机器学习技术实现从数据抽取到数据湖的建立到数据挖掘分析。

而Pentaho平台以端到端的现代化数据架构一站式地帮助企业冲破诸多障碍。例如,Pentaho可以简单高效地将多种大数据源结合在一起,打破数据孤岛;通过不同语言和机器学习库的集成,使数据科学家能够更快地、无缝地训练、调整、构建和测试其模型;与此同时,Pentaho允许非数据专业人员轻松地将数据科学家开发的模型直接嵌入到运营工作流中,并实现自动化建模及流程进行模型更新等工作,这使得AI技术在大数据应用中更加平民化。。

同样,在Hitachi Vantara为杰克孙的公司定制了基于Pentaho和Hitachi Content Platform的解决方案之后,公司不但实现了数据的集成与数据治理,还实现了企业级报表、仪表盘、可视化分析、机器学习和预测分析。

由此,杰克孙的这个数据生产中心总算交出了第一份开创性的答卷。看来这个季度能给兄弟们多分不少奖金了。想着今天CEO满是赞许的眼神,杰克孙心里暗自盘算着

责任编辑:李丽

本文由yzc216亚洲城发布于数据库资讯,转载请注明出处:Vantara的三步曲,大额不可能只走量

关键词: yzc216亚洲城 www.yzc216.c