面向金融场景的下一代数据库测试基准研究.docx

《面向金融场景的下一代数据库测试基准研究.docx》由会员分享，可在线阅读，更多相关《面向金融场景的下一代数据库测试基准研究.docx（24页珍藏版）》请在优知文库上搜索。

1、一、前言改革开放以来，随着经济稳步增长和经济、金融体制改革的深入，金融业在我国国民经济中的地位愈加重要。截至2021年年底,我国金融业总资产达381.95万亿元，同比增长了8.1%。其中银行业机构总资产为344.76万亿元，同比增长7.8%,在各类金融机构（银行、证券、保险）中占据主要地位。随着移动互联网时代的到来，手机交易逐渐增多，银行系统内部每时每刻都在产生着大量的数据信息，如何安全有效地管理好这些数据成为银行对自身业务系统的重要诉求。中国人民银行发布的金融科技发展规划（20222025）中也明确指出，金融科技整体水平与核心竞争力需要实现跨越式提升，全面加强数据能力建设，建设绿色、高可用的

2、数据中心。数据库系统及数据服务解决方案作为承载数据存储和计算功能的基础软件,向下发挥硬件算力，向上支撑上层应用，是银行业务系统中至关重要的一环。20世纪90年代，我国的银行机构通过使用Orade、DB2等国外数据库产品实现了跨网点的存取款业务功能（通存通兑）。近年来，受银行业务需求和国际形势影响，以银行业为主的众多金融机构逐渐从国外商用数据库向国产分布式数据库过渡，以在提高业务系统性能的同时避免使用国外商用数据库产品所带来的潜在供应链风险。随着我国对金融数据安全的重视，金融业数据库国产化替代己成为大势所趋。作为数据库性能测试的依据，数据库测试基准能够在给定的场景下公平、客观地对各类数据库产品和

3、数据服务解决方案进行统一的测试，对用户选择具有重大的参考价值。然而，现有数据库测试基准在应对金融场景下的数据库测试时面临诸多挑战。一方面，以银行为代表的金融应用场景中的业务逻辑更复杂并且同时存在多种模式的数据，现有的测试基准缺乏在这种复杂的环境下对数据库产品及数据服务解决方案进行全面、准确测试的能力，其模拟的应用场景（大多以商业销售为主）与金融场景有着很大的区别。另一方面，金融业对数据安全的要求更高，金融数据的安全关系到国计民生，因此相比于现有测试基准，金融场景下的测试基准需要具备更强大、更全面的可靠性与安全性测试能力，以辅助实现金融数据的安全治理，为金融数字化转型提供保障。此外，随着金融业数

4、据库国产化替代步伐的不断迈进，分布式改造如火如荼，金融场景下的测试基准需要能够对数据库产品及数据服务解决方案的可移植性、兼容性和分布式架构适配性等方面进行评测，而这正是现有测试基准所欠缺的。因此，亟需构建一个符合金融业务发展需求的数据库测试基准以对数据库产品及数据服务解决方案作出统一的评价和度量，助力金融从业者做出更准确的选择，同时引导数据服务厂商的健康发展。针对于此，本文首先对银行业数据库的应用发展现状进行阐述，深入剖析新时期银行数据库的新要求与发展趋势，介绍国产数据库在各大银行的替代情况与面临的挑战；其次调研分析国内外主要的数据库测试基准，结合金融行业的数据应用发展需求，分析构建面向金融场

5、景的下一代数据库测试基准的必要性和重要性，以期为金融数据服务领域的从业者和研究者提供参考。二、我国银行业数据库的应用现状（一）银行业数据库应用的发展与变迁在信息时代，数据库系统作为存储和管理数据的基础软件，在银行金融系统中具有重要的作用，直接关系到银行金融系统的稳定。如图1所示，从银行信息化40多年的发展历程来看，金融行业数据库建设先后经历了手工记账的单机时代、各支行和网点业务数据互通的互联互通时代、数据集中在总行的大集中时代、面向服务的架构（SOA）时代以及目前和未来将长期处于的分布式微服务时代。其中，从互联互通时代开始（20世纪90年代），国外数据库产品己逐渐在我国银行内得到实际应用，打开

6、了我国金融业数据库建设的大门。之后，随着我国数据库行业的不断发展，部分国产数据库于2017年左右被投入到包括国有大型银行、股份制银行、城市商业银行在内的众多金融机构中使用并且表现出优异的性能。目前，国产数据库厂商大致可分为3类企业：一是以阿里巴巴集团控股有限公司为代表的互联网企业；二是以北京人大金仓信息技术股份有限公司为代表的传统数据库公司；三是以华为技术有限公司、中兴通讯股份有限公司等为代表的综合型信息技术服务企业。截至2021年6月，我国数据库产品共有135款；但是，在2020年我国高达200亿元的银行数据库软件市场中，OracleDB2等国外数据库产品的市场占有率仍超过了80%,这也从侧

7、面表明我国国产数据库拥有广阔的发展空间。手工记账V集中式数据库分布式数据库图1银行业数据库应用的发展历程(二)新时期银行数据库的新要求目前，金融行业在数据库应用方面呈现出了4个新需求。一是随着移动互联网的快速发展，金融业务系统内产生的数据量在不断增长，这对数据库系统的数据存储和管理能力提出了更高的要求；二是随着普惠金融的落地，数据库系统需要具有更强的容灾能力，以保障业务连续性；三是随着电子支付的普及，数据库系统需要具有更强的性能，以应对高并发业务和高用户量所带来的系统压力；四是防止潜在供应链风险，技术层面存在数据库国产化需求，以避免金融数据安全受到威胁。整体来看，为了适应银行的数字化转型升级，

8、满足业务发展需要，新时代的银行数据库除了满足原子性、一致性、隔离性以及持久性(ACID)等数据库的基本要素之外，还应有区别于传统的特性才能跟上甚至引领时代。这些新要求包括:可扩展性，数据库系统需要具备扩展数据的存储、访问、计算等方面的能力，特别是横向扩展的能力；自主性，自主可控是信息安全的前提，是我国金融业务发展的需要，因此金融业特别是银行业务系统中的数据库系统应该是自主可控的；海量性，随着电子支付的普及，数据库系统需要具备支撑海量数据存储和计算的能力；实时性,数据库系统需要具备在高并发环境下实时处理用户业务的能力;高可用性，数据库系统要具备足够的容灾能力，以提供全天候不间断的服务，保障上层业

9、务稳定运行；安全性,数据库系统需要具备足够的安全性,为金融数据安全提供保障；可迁移性，数据库系统需要能够将存储在Orade、DB2等国外数据库中的业务数据完美地迁移出来，并保证数据的完整性与可用性。（三）新时期银行数据库发展的新趋势为了应对手机支付、贷款风险计算、银行卡盗刷研判等需要进行海量数据存储和计算的业务场景所带来的性能压力，保证我国金融信息系统的自主可控，防止其受到国际单边主义和贸易保护主义所带来的负面影响，金融行业特别是银行在数据库应用方面呈现出三大趋势。1 .分布式数据库改造趋势随着业务不断增长，金融业务系统中需要处理的数据量急剧增加，而现有的集中式数据库面临着一定的数据处理瓶颈，

10、通过升级硬件来扩展能力成本高且有上限。因此，为了满足金融业务系统中日益增加的性能需求，将现存的集中式数据库改造为能够通过增加存储和计算节点来提升系统性能的分布式数据库，势在必行，也是未来的工作重点。中国人民银行发布的金融科技（FinTeCh）发展规划（20192021年）中明确指出，要加强分布式数据库的研发应用，确保分布式数据库在金融领域的稳妥应用，并于2020年发布实施了分布式数据库技术金融应用规范技术架构（JR/T02032020）等3项金融行业标准，对分布式数据库在金融业内的应用给出了具体的规范标准。2 .数据库国产化替代趋势随着国家政策引导的信息技术应用创新、网络强国、信息安全、大数据

11、等国家战略的推进，我国开发利用数据的需求逐渐增大并且也愈加重视数据的安全问题。数据库作为承载数据存储和计算功能的基础软件，为保障金融数据安全，在金融行业大规模使用国产数据库产品是必然的。止匕外，受当前国际形势影响,在金融系统中使用国外商业数据库产品存在着诸多风险。同时，多项案例表明，国产数据库在金融业务系统内已呈现出较好的性能水平，这也增强了金融机构选择国产数据库产品的信心。3 .非关系型数据库及多模数据库应用趋势随着金融业务系统中存储的数据量急剧增长，面对贷款风险计算、大额交易判断、银行卡盗刷预警等需要进行数据分析的业务场景，使用传统的关系型数据库来分析系统中所存储的海量数据已难以满足这些场

12、景中对处理速度的要求，金融业务系统中需要使用一些非关系型数据库及多模数据库来分类存储和管理金融数据，以提高数据分析效率，保障人民财产安全。例如，针对需要分析多层交易记录路径的贷款风险计算场景，将账户及交易记录等数据转换为图数据并使用图数据库（如Neo4j）来对这些数据进行存储和分析，能够比关系型数据库更加快速地获得任务结果。此外，在一部分业务系统中，需要使用能够同时支持对多种类型的数据进行集中存储、查询和处理的多模数据库，以满足系统对结构化、半结构化和非结构化数据的统一管理需求。因此，为了应对由海量数据所带来的性能压力，满足各类业务场景对数据分析速度的要求，未来会有大量的非关系型数据库及多模数

13、据库应用在金融业务系统中。（四）银行数据库国产化替代现状与面临的挑战受银行业务需求和国际形势影响，银行在广泛使用。racle、DB2等国外数据库产品时，存在诸多潜在风险。因此，包括国有大型银行、股份制银行、城市商业银行在内的众多金融机构，都在逐步从国外商用数据库向国产数据库过渡。具体而言，各大国有商业银行因尚不能在保证数据完整性和业务不间断的前提下，将数据从正在使用的数据库迁移到新的数据库中，而没有在主要核心业务系统中进行数据库国产化替代，但是在一些需要进行海量数据处理的新兴业务系统以及一些不涉及核心业务的业务系统中，已经逐步引入性能表现良好的国产数据库，如北京平凯星辰科技发展有限公司的TiD

14、B、天津南大通用数据技术股份有限公司的GBase、北京奥星贝斯科技有限公司的OCeanBaSe等；股份制商业银行不仅仅是在数据分析和模型开发等领域采纳国产数据库，同时对于传统的事务型系统也有部分银行采用国产数据库，如中信银行在事务型业务（O1.TP）领域采用中兴通讯股份有限公司开发的分布式数据库GoIdenDB,交通银行基于OCeanBaSe数据库自主研发了分布式数据库CBase并将全行的借记卡数据从DB2数据库下移至CBaSe数据库，使性能取得了显著提升；城市商业银行或者规模更小的银行由于客户量较少，涉及到的数据量远远小于大型银行，因此除在外围业务和新兴业务上实现数据库国产化替代外，在部分核

15、心系统上的替换也屡见不鲜，如南京银行使用北京奥星贝斯科技有限公司的OCeanbaSe数据库打造了完整的银行业务核心系统。整体来看，国产数据库具备自主可控、高可扩展、高性能、高可用等特性，可以很好地满足线上化、高频、多维度、高并发的场景需求，帮助金融机构解决技术瓶颈。分布式、云计算、混合部署等架构在国产数据库中的广泛应用还可以大幅提升成本控制和优化水平以达到降本增效的目的,有利于进一步实现金融数字化转型。目前，在银行数据库国产化替代的过程中，也面临着一些挑战。一是架构转型挑战。金融行业中大量使用集中式数据库并具备了丰富的运维经验，如何快速有效地实现从集中式数据库到分布式数据库的转型，成为金融机构

16、必须面对的挑战。此外，金融行业特别是银行对数据库有着极为严苛的要求，需要分布式数据库具备高度的稳定性和安全标准。二是数据迁移挑战。由于金融业长期使用Orade、DB2等国外数据库产品，这些数据库中存储了大量的业务数据，如何高效率、低成本地将数据从正在使用的数据库迁移到新的数据库中，以保证数据完整性和业务系统不间断，成为金融机构当前面对的一大挑战。三是数据库产品选择挑战。现有的数据库产品及数据服务解决方案种类繁多,彼此之间在金融业务场景中的优劣程度并没有标准的评价指标，如何选择适合自身业务需求并具有高性价比的数据库产品或数据服务解决方案，是金融机构当前面对的挑战。现有典型的数据库测试基准如TPC-C、TPC-HTPC-DS等针对不同的场景模式提供了相应的测试工具和说明文档来对数据库产品进行评测，但是由于金融应用场景中的业务逻辑与现有测试基准所模拟的商务应用场景有所不同，因此在金融场景下直接使用现有