证券企业基于华为全闪存存储实践经验分享.docx

《证券企业基于华为全闪存存储实践经验分享.docx》由会员分享，可在线阅读，更多相关《证券企业基于华为全闪存存储实践经验分享.docx（33页珍藏版）》请在优知文库上搜索。

1、1前言随着业务的发展，证券公司业务对IT的需求也越来越高，当前业务系统稳定性、可靠性、业务连续性面临严竣的挑战.而存幡作为数据中心最为核心的基础资源之一，存储产品型号选择、存储架构设计、存帏高可用性、存储性能、存储可扩展性、存储可维护性等因素均对应用业务的稳定运行起着非常关键的作用.作为国内大型券商企业，近几年伴随着老一批存储的逐渐退役，我司引入了华为全闪存存储用于生产系统应用的运行.本文结合华为存储相关最佳实践和我司长期使用多家厂商的全闪存存储实践经验，就华为中端全闪存存储的实践经脸进行分析、总结和分享.2背景需求2.1 证券行业应用系统数据分类分级根据国标证券期货业数据分类分级指引“，证券

2、公司应用系统数据可做如下分类分级：及务类型提供实时雇务面向用户布效客户数日委托第数级别交易消算业务美是210万A类是投资者-客户外掷礴羽3TM4%)Nt1.H设立后将近R7rtfUMDVJ存侬但依侬悠H幔机轮M1.Mn谢ACamrw图存储发展中遇到的难题(1)实时业务系统对存储读写时延敏感：现网核心交易系统对存储的读写时延性能指标要求较高，对基础架构稳定性要求极高，特别是在交易时间段不能出现任何问题。(2)混合介质存储架构的性能瓶颈：我司老一代存储采用的是SSDSAS盘的混合分层架构，SSD介质作为热数据缓存区或承载tierl性能卷,SAS机械盘作为主存区或承载tier2性能卷,该架构是性能和

3、容量成本妥协平衡的产物.该架构在应对突发型高IO并发、高带宽负载、IO读写命中率低的场景时会有明显的性能波动情况出现(10命中率低需要直接从SAS盘大量读数据场景影响尤其明显).(3)现网存储设待集中到保：核心存储设备老旧，可克性降低，伴随着部件老化存储设备故障率也出现了明显的上升情况.TCO较高，后期运维成本商，且扩容难度大扩容成本高。(4)存储容量空间接近耗尽：业务发展过快，现网存储空间接近耗尽越来越难以满足业务需求,需尽快发起设备替换并在替换过程中完成存储容后的扩容.(5)私有云海VM环境下的高IO并发问痛：证券公司IT基础架构虚拟化占比超过70%,混合分层架构应对海量VM高10并发访问

4、容易出现性能瓶颈，需转向全闪存架构存储从而提升IO性能。(6)存储TCO降低：和大多数企业类似,我司IT信息系统持续建设遇到的一大难题是：IT信息系统迅速发展，各类业务系统年年扩容设备上线数飙越来越多，导致机柜空间、能耗、制冷等机房资源消耗一增再增。而存储TCO的降低需要从此方面进行深入考虑.3存储规划思路和建设目标(D业务连续性架构要求在存慵的选择与架构设计上，我们需要充分考虑存慵的稳定性、高可用性、性能以及产品的市场和行业口碑情况等诸多因素，以保证业务的连续性.设计要求如下：确保应用业务系统的总体高可用，建立健全的故障应对和灾备应对方案；确保业务系统所选用的存储型号设备，在金融行业和证券行

5、业内有大盘的案例，长期以来市场口碑良好为久经市场验证的鬼定性产品。(2)存储技术先进性、前睛性规划要求业务对存储设备性能要求也越来越高,部分市要业务需提高存储屋面处理能力，确保所选存储型号类型非上一代或已淘汰的产品类型或存储技术，选择技术架构先进的较新代产品(稳定产品)以满足未来3-5年的发展需要.在存储功能方面要考虑技术的先进性，比如数据自动分层、在线压缩、数据更删、精简配置、QoS功能、配者管理的便捷性等，主要根据实际需要选配和使用这些功能.(3)存储产品和架构选型RAS(Reliability.Availability,Serviceability)到达6个9,存储(备横向扩展能力；采用

6、面向全闪介质的存幡架构以提升性能处理能力相比较HDD盘或SSD+HDD混合架构在性能方面优势巨大。全闪存阵列有若较商的IoPS和容量密度，一个标准机柜位置可以提供100万以上的IOPS,容最达PB以上，传统存储则需要4-5个机柜才能满足要求，大大减少了空间和能耗的需求，降低用户息体拥有成本.SSD对比传统机械盘,平均无故障工作时间大大提升，SSD换盘概率约为机械硬盘1/10,具有更快的至建时间，减少了风险.(4)存储环境架构冗余性设计要求无论是虚拟化环境还是物理机环境，以2台存储为一组进行规划，使用时同一平台或业务的A、B集群(或奇偶集群)主机分别各自接入1台存储，以增加应用总体架构的冗余性，

7、同时降低单台存储故障影响范围；确保所选存储产品架构设计符合商冗余性,关键部件冗余；确保从主机、SAN网络光纤链路、到存储的组网设计均为全冗余架构模式；确保主机端多路径软件运行状态正常。(5)存储扩展能力要求规划充足数后的存储前端口以满足未来3-5年的主机端连通接入；确保存储产品支持进行在线的容量扩容，以应对存储容量不足时的扩容需求.(6)存储性能能力要求采用全闪存架构提升性能处理能力；考虑适当加大存储控制器的cache容量以提升性能能力和优化读写时延;配臂32Gbps存储前端口以保证未来3-5年内端口速率规格不落伍;存储前端口设计隔离原则，确保核心业务主机采用独立的存储前端口组接入，不同主机集

8、群(虚拟化环境和物理机主机环境)采用各自独立的存储前端口组接入，以做到各个存硫前端口组间的流量、故障的相互阻离；确保执行SAN网络本地化访问策略(主机和存储接入同一台SAN交换机不经过IS1.级联)，以避免潜在SAN网络全局IS1.链路抖动、收敛比超载、queuefull.闹邻、慢速设备影响等全局性性能问题.(7)存储资源利用和资源预留存储各组件资源尽可能均衡利用.每台存博的控制器及每个前端端口都有QUeUeDepth和支持的最大1.UN数量限制；规划设计的最大资源利用率不应超过各项技术限制指标及各组件利用率的70%,为存储保留一定的容量和性能能力，应对突发、峰值情况，避免产生性能瓶颈；基于S

9、AN交换机的特性进行合理规划，存储前端口及主机HBA端口合理布局，物理主机连接存储采用2:2方式（即2主机端口连接2存储端口）保证Initator和Target的收发能力1:1匹配潞免阻塞影响时延，虚拟化宿主机连接存储采用2:4方式（即2主机端口连接4存储端口）保证带宽速率.（8）成本降低针对全闪存存储启用的数据压缩消函功能，根据经验数据库场里一般压缩比可达23倍，虚拟化场景一般的压缩可达1.72倍；所有全闪存存慵只开压缩不开市册,全局函删会极大的增加系统的matadata维护量和豆杂度带来风险险患。另外大部分场景下数据节约收益的70%-90%来自压缩，开再删的风险高收益小（备份场景除外）；针

10、对全机械盘或混合存硫设备不应开启压缩或去电功能（基于容量换性能的原因）.（9）存储高效的运营和运维靠力要求存储事件、监控、告警功能能力的支持满足情况;存储GUI日常操作维护的便捷性和丰富性；存储C1.1、RestAPI支持的完善和丰富性，以满足自动化脚本和程序的调度开发，大幅提升存储运维效率；通过C1.1.ReStAPl快速获取存储配置和性能数据支持情况；存储厂商的的售后质f能力，包括服务能力、专业技术能力、排障及方案设计等能力因素.4华为OCeanStOrDorado中端全闪存存储架构分析总结分析来讲：华为OceanStorDorado中端系列包含5300/5500/5600,高端系列包含6

11、800/18500/18800,中端和高端的差别主要分为：(1)高端存储为全互联多控制器可扩展架构，扩展能力更强；(2)高可用方面高端存储明显强于中端存储，高端存晴控制框内前端口不归属单控制器，具和框内所有控制器互联打通，高端存储单控制器击启时主机链路不会发生Offline或切换现象，甚至当主机仅一条单链路访问时高端存储控制器故障或函启也不会导致主机访问存储卷中断.中端存储因为前端口在物理上就绑定了控制器归属所以没有具备高端存玮的这些能力；（3席端存阵控制器处理能力、前端口数目、性能负载能力等各方参数能力更强.以下为华为OCeanStorDorado中端系列的存储架构说明：全互联设计：华为OC

12、eanStorDorado5000系列全闪存存储采用智能矩阵式多控架构，消除单点故算,实现系统高可用；多个控制器之间通过负载均衡算法共同承载业务压力；一旦某个控制器发生故障，其他控制器可平滑接管业务，业务0中断.全对称的A-A架构：存储架构采用全对称的A-A设计，应用服务器可通过任意一个控制器访问到1.UN,IO无需转发.盘控一体机控制框设计：全闪存存偌系统控制框为2U2控，盘控一体形态，包括25盘位SAS和36盘位NVMe两种硬盘形态.互连：SCaIe-OUt接口模块采用RDMA协议互联.后端后端接口支持12GbSAS接口模块（接入SAS硬盘框的接口模块或100GbRDMA接口模块（接入智能

13、SAS硬盘框,智能NVMe硬盘框的接口模块）方式连接存储介质.华为OCeanStorOceanStorDorado5000系列全闪存中端存储逻辑架构示意图中端(NVMe)逻泪架构示意图华为OCeanStorDorado5000系列全闪存中端存储控制器互联架构图：控制梅A主机控制那B播口卡接口卡接口卡接口卡接口卡后续后逐接口卡图控互联架构图5实施规划5.1 双活组网规划通过华为OceanStorDorado5000系列中端存储HyperMetro特性实现双活架构,设备部署在东莞数据中心（A区域和B区域），两个区域可同时承担相同业务,提高数据中心的整体服务能力和系统资源利用率，当单区域故障时，业务自动切换到另一个区域。方案逻辑示意图如下所示：小AFUB主机主机存储系统IP交换机