OCEANBASE:原生分布式数据库引领数据管理技术发展趋势.pdf

根据中国工业和信息化部发布的2021年前三季度通信业经济运行情况的数据显示,截至2021年9月末,三家基础电信企业的移动电话用户总数达

16.4亿户。其中,5G手机终端连接数达4.45亿户,与2020年末相比净增

2.47亿户。

与此同时,中国5G网络建设步伐加快。截至9月末,移动电话基站总数达969万个,同比增长5.7%,比上年末净增37.7万个。其中,4G基站总数为586万个,占比为60.4%;5G基站总数115.9万个,占移动基站总数的12%

此外,三家基础电信企业发展蜂窝物联网终端用户13.64亿户,比上年末净增

2.29亿户,其中应用于智能制造、智慧交通、智慧公共事业的终端用户占比

分别为17.5%、16.6%、22.4%,智慧公共事业终端用户同比增长25.5%,增势最为突出。

随着全球移动互联网的快速发展,不仅带来更多的终端数量,与此同时,基于移动互联网将产生诸如智慧公共事业等更加广泛的智能应用。人工智能类的非结构化数据应用(如:人脸识别等),需要强大的数据计算能力。传统基于小型机的数据库技术,难以满足存储和计算这些海量数据的要求,亟需新一代的数据处理技术来破解困局。

移动互联网的蓬勃发展不仅带来丰富的业务种类(如:手机购物、短视频、移动社交等),而且明显延长了业务服务时长(用户随时在线、随时使用),这对数据库系统的高可用提出了更加迫切的要求。

数据量爆发增长,数据挖掘需求增加

随着5G及IOT技术的发展,以人工智能、区块链、云计算、大数据、边缘计算等代表的新型技术兴起,全球联网设备数呈稳定增长态势,万物互联成为全球网络未来发展的重要方向。

物联网的发展,将带动面向企业(to B)的产业互联网的发展,进而产生类似指数级的数据爆炸式增长。

如何存储这些数据?如何挖掘这些数据的价值?成为摆在企业T管理者面前的一道难题。

与此同时,移动互联网的蓬勃发展带来了更多的业务种类、更长的服务时间,这些都对数据库系统的高可用性提出了更加严峻的挑战。

IT基础架构上云解决算力和存储问题

随着移动互联网的业务发展和数据量的飞速增长,企业的IT基础架构面临更多挑战。不仅要存储这些海量数据,还要挖掘、计算出这些数据所包含的知识和隐藏的价值。

上世纪九十年代,企业的业务种类很少,数据量更少,使用传统数据库产生报表就能完成基本的数据处理和分析工作;进入二十一世纪初,互联网等业务种类开始增多,数据量逐渐攀升,开始使用数据仓库对数据进行汇聚和分析;近年来,随着企业业务与移动互联网的紧密结合,业务量和数据量迅猛增长,借助云计算架构解决存储和算力方面的问题成为明智之选。

借助云计算技术,企业的I基础架构可以弹性伸缩地进行并行计算,在保证安全性的前提下,提供了更高的可靠性以及更低的价格。

企业数据上云成为趋势

根据Gartner统计,“数据库管理系统(DBMS)市场在2020年出现了17.1%的强劲增长,主要是由云数据库平台即服务(dbPaaS)增长约50%所驱动。这意味着在2020年,超过90%的DBMS增长来自dbPaaS。”‘Gartner还预测,“到2022年,75%的数据库将被部署或迁移到云平台,只有5%的数据库会考虑本地部署。”2

云计算好比是发电厂,在供电的发展历史中,最初每个企业自己使用发电机发电,不仅要购买柴油等燃料,还要维修发电机、变电站等设备,培养专门的发电人员等,成本居高不下。后来,发电厂诞生了,每个企业只需要拉根电线,就可以按照使用的电量进行付费,不需要再去购买设备、购买燃料,更无需考虑运维成本。

在数据计算的市场上,也将面临类似的演变过程。企业不用直接购买服务器等硬件,就可以直接使用计算资源,并根据其所使用的存储和CPU等资源的量进行付费。

云计算不仅能够帮助企业降低计算成本,根据需求随意扩展算力,借助专业人才保障数据安全,及时更新各种工具软件,而且还能更快获得计算结果。

某电信运营商的数据仓库已经收集了超过600PB容量的数据,自2010年起该运营商就展开研究和试点,将这些数据逐步迁移到云数据库平台之上。

企业数据上云,无疑是未来T架构的主要发展趋势。

挑战

目前,在数据处理的过程中,企业正在面临诸多困境:

首先,传统数据库的扩展能力在集群节点数量等方面有很大的局限性,数据量增长之后如何扩展系统能力是一大难题;其次,数据分布在不同的业务系统中,如何打通这些数据进行整合亦是困难重重;此外,传统的数据分析工具价格偏高,且软件升级不及时,如何选择数据分析工具来提升数据分析能力是大多数企业必须面对的问题。

传统的数据(仓)库系统已经无法满足当下数据量急速增长的处理要求。例如,某运营商曾经购买知名厂商基于小型机的数据仓库产品,单点超过10PB容量,已经达到了其在全球的传统数据仓库的最大存储容量。虽然该运营商耗费巨资,但是传统数仓的处理能力并不能保证线性增长,在处理大量非结构化数据方面,尤其是在深度学习算法的人工智能应用方面更是无能为力。

于此可见,传统数据仓库难以满足当下企业数据处理容量不断增长的需求,同时,由于这类数据仓库系统建立在小型机的基础之上,成本远高于X86机器,不具备性价比方面的优势。

本文来自知之小站

 

PDF报告已分享至知识星球,微信扫码加入立享3万+精选资料,年更新1万+精选报告

(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)