大数据终极挑战：华为智能数据释放“数据湖”战略价值

自2010年国际上首次提出“数据湖”概念以来，数据湖就被视为大数据的终极挑战。所谓数据湖，即把所有的数据以原始格式存储在一个统一的地方，以供后续使用。数据湖的出现，是为了应对城市和企业无法及时处理各种海量数据而先行将数据存储起来，后续使用的时候随需取用。“数据湖”被视为打破城市和企业的数据孤岛的重要基础设施，而且由于“数据湖”中存储了全量全域数据而更能为人工智能所用，从而创造更大的价值，例如用人工智能对一个城市或企业的全量数据进行分析，从而得出超越现有经验的全新洞察。

近年来，各地都在兴建“数据湖”，往往一个数据湖项目就涉及上百亩产业园以及数十亿投资。因此，“数据湖”也被视为智慧城市和智慧企业发展的重大投资。简单理解，数据湖就是要给城市和企业建立一个数据中台，建立一个打通城市和企业的智慧基础设施。然而，Gartner曾预测，到2018年将有90%的数据湖将毫无用处，因为这些原始数据，缺乏有效的技术手段去使用它们。换句话说，只有“数据+智能”的智能数据解决方案，才能唤醒数据湖的真正价值。

2019年6月5日，华为在北京发布智能数据解决方案FusionData，支持智能的数据全生命周期管理，让数据存得下、流得动、算得快、用得好，把数据资源转变为数据资产。华为Cloud & AI产品与服务总裁侯金龙表示：“不久的将来，可实现一家企业一个数据湖，一座城市一个数据湖，满足居民的生产与生活、企业的运营和发展、城市政府的管理和服务等各项需求，加速全社会的智能化进程。”

数字化转型也要不断升级

众所周知，世界上90%的数据是在过去两年内产生的，并且以每两年翻倍的数据往上递增，这些数据有结构化、非结构化和半结构化数据。从现在到未来五年，将有500亿台互联的智能机器，这些互联智能机器和设备用来分析、收集和采集数据。如何获得数据、如何有效使用数据并且把数据用以指导业务，这是新的课题。

国家战略性新兴产业专家委员会秘书长杜平在2019数博会的专业论坛上发言认为，数字经济是数字技术与资本、人才、市场相融合的一种经济形态，当前整个社会经济发展向网络化、数字化、智能化转型，在转型过程中由于人们的社会经济活动而源源不断产生新的数据，这是数字社会与之前工业社会和信息社会中前期最大的不同之处。

对于当前正在进行的数字化转型，杜平强调转型必须不断迭代升级，同时要取得投资回报，特别是长期要有投资回报，否则不可持续。为此，要同时强调成本和产出：成本既包括资金，也包括时间、效率、营商环境；而产出不仅要有资金回报，还要带来体验感，也就是数字社的便利性、安全感、获得感。换句话说，数字经济时代是大家共享发展成果，这与之前的社经经济模式不同，因此要统筹考虑成本和产出问题。

然而，当前的大部分应用仍为旧应用或传统应用。政府和企业拥有大量的数据管理员，他们当中的大多数在管理着传统数据库，日常管理包括打补丁和升级等，都属于重复性人工劳动。而政府和企业希望至少能拿出50%的人力进行创新和革新，希望这些人员用更多时间在数据建模、数据生命周期管理，以及前置性措施预测数据漏洞及安全，以保障和提升企业在市场上的声誉。

因此，不论对于政府还是企业来说，“数据湖”能够统一容纳和管理传统数据技术以及新兴数据技术，把所有的数据管理员集中起来重新分配工作特别是进行创新性工作，而不是像之前那样不同的数据库系统都要配备高级数据管理员从事日常管理工作。更重要的是，“数据湖”作为一个企业和一个城市的统一数据基础设施，可以在统一软件架构的管理下，不断升级旧技术的同时容纳新技术，最终实现可持续发展的基础设施。从这个角度来说，“数据湖”是大数据的终极基础设施。

持续释放数据的长期价值

华为全球产业展望(GIV)报告显示，全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。但企业生产活动产生的数据中只有不到2%被保存，而其中得到分析利用的不足10%，数据价值没有得到充分释放，并且企业普遍存在烟囱式业务系统，导致数据管理、应用效率低。对此，华为IT产品线副总裁、智能数据与存储领域总裁周跃峰表示，“各行各业在实现数据价值时面临数据接入难、分析难、消费难等挑战，亟待更智能的数据解决方案。”

例如，北京把智慧城市建设作为推动政府决策科学化、城市管理精细化、公共服务便利化的重要手段，大力实施北京大数据行动计划，形成“四梁八柱深地基”的大数据平台体系总体架构，包括截止2018年完成了40个市级部门714类政务数据汇聚工作，涉及数据9.4亿条，这是今年初北京2019年经济和信息化工作会上透露的。而在北京大数据平台体系总体架构中，城市大数据湖就是建立在北京政务云和网络基础设施之上的关键“地基”。

作为企业代表，招商银行总行数据中心应用与数据库管理室经理田永江介绍，目前招商银行零售业务两大APP的总用户数超过1.4亿、月活8000万+、承接客户流量占比92%。随着两大APP全年365天每天都可能有新业务上线，用户浪涌特征非常明显，即事先难以估计客群访问量，对业务资源快速扩展提出非常高的要求，大量业务数据也带来了大数据决策需求。在关键的数据库技术方面，由于现有的开源数据库内核还达不到Oracle的性能和功能，并且会导致集群规模过大、性价比低、维护成本高，为此招商银行与华为进行分布式数据库联合创新，这就是前不久发布的华为GaussDB数据库OLTP版本，由招商银行负责需求和解决方案设计，华为OLTP数据库团队负责技术实现。

GaussDB OLTP数据库在产品架构上采取了三层架构设计，顶层是分布式扩展层，中间层是企业级内核层，能够承载企业级业务的高性能以及通用数据库能力，最底层是分布式存储层，采用云存储技术，构筑软硬件垂直整合的高性能、高可用、Cloud Native云数据库能力。GaussDB OLTP版本利用华为在数据库领域的经验进行自主创新，基于新型硬件能力进行基础设施整合，实现云上部署和三高一低的总体目标（高可用、高安全、高性能、低成本）。

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!