当前,各行各业都在积极进行着数据基础之上的智能化转型,这种转型让重新构建数据基础设施成为关键。为何需要重新构建数据基础设施?数据基础设施与智能化的发展有哪些必然?数据价值如何落地?华为从计算、接入、存储、处理和数据使能这五个领域重定义数据基础设施,解决这些挑战,助力各行业加速迈向智能时代。
上图为:华为it产品线副总裁,智能数据与存储领域总裁 周跃峰
fusiondata 华为打造数据湖尊龙凯时注册的解决方案
华为fusiondata的终极目标是要打造数据湖尊龙凯时注册的解决方案,它可以称作为数据湖尊龙凯时注册的解决方案的基础。华为数据库,最大的难点是在高可用稳定上,华为数据库研发了八年,通过投入大量的人力和时间成本,研发出自主创新的数据库。
目前,这些创新方案正应用于各行各业。在北京,通过“数据 智能”,实现政务服务“一门一号一窗一网”,让数据多跑路,群众少跑腿,业务办理时间缩短了50%;在深圳,通过“数据 智能”,道路交通控制从“车看灯”变成了“灯看车”,实现早高峰主干道车速提升了18%,让城市交通更顺畅。
在招商银行,华为的金融实时风控尊龙凯时注册的解决方案,在6000多条风控规则下,对交易风险决策的响应速度达到了30ms以内,让招行的交易风控从事后变成事中。华为的金融实时风控尊龙凯时注册的解决方案,从2016年在招行部署以来,已累计保护32亿笔交易安全,帮助客户大幅减少交易损失。
但是,由于多样性数据、多样性系统和多样性业务的现状,导致企业实现数据价值的过程中,面临数据接入难、数据融合分析难和数据消费难三大挑战。
数据接入难
随着应用移动化的高速发展,企业前端应用系统和应用模块达到上千个,后端平台有数十个,整个数据平台有上万个接入点,导致系统前端和后端的数据接入很复杂。比如某公司,一条财经数据涉及30多个前端系统,一个业务开发流程需要和400多个系统进行数据对接。
数据融合分析难
一个业务在分析过程中,往往需要从多个数据来源抽取数据,经过融合分析实现业务目标。由于企业烟囱式架构带来的系统开发接口不统一,数据标准不统一,数据处理链路长等问题,使得数据融合分析成为一大难题。
以某银行精准营销为例,需要使用用户注册数据、消费行为数据、位置数据等,这些数据分散在关系数据库、mppdb、hadoop、 流计算等多种系统中。这些系统提供的接口标准不统一,有sql、api等;数据存储格式不统一,有文件,表等。数据融合分析耗费大量人力物力。最终,耗时一个月实现该业务。
数据消费难,其实质就是数据用不好
以某公司为例,全公司共有130多万张表,分散在各个业务系统中;经过数据加工入湖的数据有14多万张表,约占总数据量的11% ;经过加工聚合后的主题库表约5千张,不足总数据量的0.5%,无法应对灵活多变的业务需求。
华为从计算、接入、存储、处理和数据使能这五个领域重定义数据基础设施,解决这些挑战,助力各行业加速迈向智能时代。
在计算领域,华为引领多样性计算,从单一算力到多样性算力,匹配多样性数据,计算更高效。
在数据接入领域,华为引领多样性数据连接,通过智能全连接,加速数据流动,让应用与数据连接更高效。
在存储领域,为应对存储效率低、管理复杂的问题,华为重定义存储架构,从单一类型存储到多样性融合存储,构建融合处理基础,大幅提升效率。
在数据处理领域,为应对更实时和智能的需求,华为重定义数据处理平台,从单一处理到智能融合处理,加速实现数据价值。
在数据使能领域,打造创新的数据使能平台,构建数据处理与业务创新的桥梁,提升业务体验,让业务更敏捷。
据企业网d1net记者了解,华为本次发布的智能数据尊龙凯时注册的解决方案fusiondata包含数据接入、数据处理和数据使能这三个部件。其中,数据接入roma解决多样性数据接入问题,连接企业应用和数据,消除数据孤岛;数据处理解决数据融合分析难的问题,实现数据免搬迁,高效分析。
数据使能解决用户找数难,取数难的问题,让用户获得“atm”式的数据自助获取与分析体验,提升数据使用效率,让业务更敏捷。
这三个部件的具体能力及关键技术如下:
智能数据连接部件roma支持多数据源接入、消息和api的统一管理、智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。
多数据源接入:支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源。
消息和api的统一管理:支持分布式消息和api的路由统一配置管理,轻松实现分布式消息和api服务的跨网跨域跨云集成,让数据自由流动。
智能通道选择:支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。
智能数据处理部件包含分布式存储fusionstorage、分布式数据库gaussdb和大数据平台fusioninsight等,通过多类型数据融合存储、融合分析引擎等技术实现从单一处理到智能融合处理,加速实现数据价值。
多类型数据融合存储:通过存储与计算分离技术,打破系统烟囱式建设;通过智能分布式存储的多协议融合技术,实现一份数据同时支持数据库、大数据、ai等多种业务的分析需求,让融合数据分析成为可能。
融合分析引擎:支持数据库、大数据、ai多引擎融合分析和多样性算力统一调度。通过统一架构,降低海量数据处理难度,实现极简分析。
智能数据使能部件dayu通过智能元数据感知和onequery turbo 技术构建数据处理与业务创新的桥梁,提升业务体验,让业务更敏捷。
智能元数据感知:通过ai技术,自动感知和采集多个系统的元数据,并进行智能化分级分类,生成全局统一的数据视图,数据寻找秒级响应。
onequery turbo :提供统一的数据访问接口,实现多数据源、多类型数据的统一访问,简化数据加工流程,数据获取速度提升10倍以上。