近两年来,国内外诸如AWS、Azure等公有云巨头都先后推出了自研的数据库服务,青云QingCloud不仅推出了分布式数据库RadonDB,同时还将这一经过公有云验证的数据库产品应用到企业数据中心,通过将分布式技术与数据库相结合,再加上SSD的性能加成,性能好得让人不敢相信。比如网联公司公布去年“双十一”时,其峰值交易量每秒达到92000笔,如果用RadonDB的话,也许只需数台就可以支撑。

温馨提示:这篇测试长文阅读大约需要10分钟。

如何根据企业所需构建面向未来的数据中心,这是绝大多数CIO都在思考的问题。

尤其是智能终端时代,数据蔓延正使得这一问题更加复杂,比如,手机银行之于营业厅固定的业务窗口,手机App之于固定数量的销售渠道,以及源起网络购物的一次次人造“狂欢节”……

对于企业来说,IT负载正变得不可预测,同时生态内外的数据流通正日趋复杂与频繁,数据蔓延正对企业IT的性能、容量以及管理带来巨大的挑战。

在IT演进的过程中,云计算已经被认为是企业IT的必经之路,这在过去几年中已经得以充分证实,尤其是公有云方面的实践,一定程度上调和了企业IT需求与成本之间的矛盾,这也使得混合云趋势正日趋明显。

公有云的成功经验正越来越多地应用在企业内部数据中心,以帮助企业更顺利地向云端迁移,最典型莫过于源自互联网分布式存储的SDS(Software Define Storage,软件定义存储)已经成为企业存储市场最主流的趋势之一。

RadonDB分布式数据库:从公有云验证到企业数据中心应用

随着公有云服务在企业数据中心内部的应用,不仅帮助用户解决了现实问题,同时也让公有云厂商更加了解企业业务特点,为后续推出满足用户需求的产品与解决方案提供了条件。典型如数据库产品,近两年来,国内外诸如AWS、Azure等公有云巨头都先后推出了自研的数据库服务,而青云QingCloud不仅推出了分布式数据库RadonDB,同时还将这一经过公有云验证的数据库产品应用到企业数据中心。

相对于公有云环境,企业数据中心的业务更加复杂,对于IT基础架构的要求也更高。数据库不仅需要部署在数据中心内部的物理服务器、虚拟机、容器等私有云环境,并在必要时能够扩展到公有云之上。

软件定义存储与SSD的应用推动分布式数据库进入企业数据中心,实际上存储与数据库的结合亦更加紧密(如Server SAN的一大场景就是数据库)。SSD的高性能优势在一定程度上有助于提升数据库的性能,简化数据库架构,让分布式成为可能,理论上实现容量的无限扩展,并性能亦随之线性增长。

青云QingCloud新一代分布式数据库RadonDB,基于开源的MySQL技术研发,而MySQL是全球范围内应用最广泛的数据库,其开源的性质能够杜绝厂商锁定,开源社区的蓬勃发展培养了一大批精通MySQL的人才,为企业部署、应用、管理MySQL提供了便利。如同x86服务器一样,其不仅方便使用,也易于管理,有助于降低企业数据中心成本。

但在海量数据时代,单机版MySQL数据库已经很难满足企业应用需求,而部署集群版MySQL则更多出于可靠性目的,虽然也有企业基于MySQL开发出分布式部署版本,但更多是面向特定需求,离成熟产品还有一段距离。而RadonDB则率先在公有云中应用改进,然后根据企业应用特点进行优化,进而形成一个标准商用的产品,以方便企业用户使用。

具体来说, RadonDB主要包含两大模块的改进和创新:radon和xenon。radon是一个分布式SQL层,主要负责数据路由和计算;xenon则是一个MySQL集群高可用组件,用以构建分布式存储层,具有秒级选主(Master)、选主后的数据快速回放、以及实现主从切换后的数据零丢失等功能。RadonDB从技术上对分库分表式概念进行了更进一步的扩展,使其成为具备高可用、满足Snapshot隔离级别分布式事务的开源分布式数据库,而非仅仅只是一个分库分表组件。

RadonDB性能测试前 环境搭建和组件说明

一般来说,数据库与存储(确切地说是块存储)的关系非常紧密,通常数据库的性能与存储的性能息息相关。而分布式存储的性能一方面要依赖硬件,同时也与分布式存储软件本身的优化相关。下图为RadonDB测试架构:

整个测试环境由6台服务器和一台25GbE交换机组成,主要分为分布式存储环境和RadonDB分布式数据库环境。每台服务器均配备2颗Intel Xeon E5-2650 v4处理器(12核,2.2GHz)和64GB内存。

在存储方面,为了更好地体现RadonDB分布式数据库的性能,E企研究院使用“全闪”配置的分布式存储作为RadonDB数据库存储。分布式存储以最小三节点部署,每个节点配备了4片4TB大容量的Intel DC P4510 SSD。这是Intel第四代U.2接口的NVMeSSD,更好的性能与较大的容量能够更容易观察到RadonDB数据库性能的上限。

分布式存储方案使用新一代25GbE网络,以提升数据内部流通的带宽。根据以往的测试经验,在全闪配置环境中,10GbE网络通常会成为存储瓶颈,进而影响应用性能发挥。所以在本次RadonDB测试使用了25GbE网络,分布式存储通过iSCSI连接到RadonDB数据,iSCSI是企业环境中标准通用的数据传输技术,能够最小化对企业现有环境的影响。同时,25GbE能够更好地支持RDMA技术(Remote Direct Memory Access,远程直接内存访问),即RoCE或iWARP,在iSCSI连接无法提供应用需要的存储性能情况下,可以很容易升级到新的数据传输协议,比如iSER(iSCSI Extensions for RDMA)或者NVMe over Fabric等。

在数据库方面,RadonDB可最小二节点部署(满足最小可用性),通常三节点起步。在本次测试中使用三节点部署,并以二节点数据库性能作为参照,考量RadonDB数据库的可扩展性。利用RadonDB的自动化部署与运维工具Ansible,进行简单的端口和变量设置,即可实现一键安装,整个部署过程简洁方便。

E企研究院希望尽可能贴近真实应用环境,通过测试模型去尽可能真实地模拟实际应用环境,但实际环境中通常存在多种不可预估情况,且与特定应用负载息息相关。E企研究院在本次测试中使用Sysbench软件用以评估RadonDB数据库性能,并根据大多数应用运行负载构造测试数据,尽可能为更多用户提供参考。

同时为了更进一步探寻RadonDB分布式数据库的极限,因为这与RadonDB数据库的应用场景相关,E企研究院对测试组件进行了一些调整,将Intel DC P4800X SSD作为RadonDB数据库的数据缓存。Intel DC P4800X SSD即Intel公司Optane(傲腾),相比SSD,具有更均衡的读写能力,且延迟更低,据Intel实验室数据:相比NAND SSD,Optane用作数据库缓存,数据库有数倍性能提升。

Intel将Optane用作数据库缓存,有着3倍以上的性能提升,同时数据库平均响应时间降低了三倍左右,以此说明Optane的性能优异(来源于Intel)

随着人工智能、大数据分析等应用方式的出现,企业场景化、个性化服务等创新业务对移动互联网的依赖越来越高,手机、互联网交易成为主流的交易渠道,促销、抢购等活动常常导致业务突发高点,业务数据量和交易量的暴增对企业数据库提出了高的要求。

为此,E企研究院的测试围绕“性能”而展开,一是RadonDB数据库最小配置下的性能,二是从2节点扩展到3节点后,RadonDB数据库的性能变化。

RadonDB小试牛刀:分布式技术在数据库领域的验证

E企研究院使用Sysbench软件分别在RadonDB和MySQL数据库中构建了16张表,共2亿行数据,约占用80GB存储空间。在读、写性能测试中,一个事务即一条SQL;在混合读写中,一个事务中包含4条读SQL和1条写SQL。

E企研究院首先测试了RadonDB数据库分别在2节点与3节点下的性能,并以单机MySQL(社区版5.7.22)的性能作为参照组。两者的软硬件配置完全一样,均使用相同容量的SSD作为数据存储。

两节点部署的RadonDB数据库性能与单机部署的MySQL数据库性能,在写场景下大致相当,前者略高。这可以理解,在分布式环境下,两节点部署通常是出于可用性设计,与单机部署的写性能相差不大。但在读性能方面,两节点部署的RadonDB数据库性能,相比单机部署的MySQL数据库性