2020年系统架构师真题(论文+答案解析).docx
《2020年系统架构师真题(论文+答案解析).docx》由会员分享,可在线阅读,更多相关《2020年系统架构师真题(论文+答案解析).docx(6页珍藏版)》请在优知文库上搜索。
1、2020年11月系统架构师真题论文及答案解析试题一论数据分片技术及其应用数据分片就是按照一定的规则,将数据集划分成相互独立正交的数据子集:然后药散据子集分布到不同的节点上,通过设计合理的数据分片规则,可将系统中的数据分布在不同的物理数据库中.达到提升应用系统数据处理速度的目的:话闱绕.论数据分片技术及其应用“论题,依次从以下三个方面进行论述。1.柢要叙述你参与管理和开发软件的项目以及承担的工作2 .Hash分片、一致性Hash分片和按照数据范围分片是三种常用的数据分片方式3 .具体阐述你参与管理和开发的项目.且采用了哪些分片方式,并且具体说明其实现过程和应用效果。常用的关系型数据库都存在性能瓶
2、颈.即在数据达到一定的量级之后.数据库的性能会显著下降,数据库的读写操作都会f之受到影响,所以就需要对数据库进行优化处理:比如缓存技术,读写分离技术和数据分片技术都可以起到提高性能.缓弱单个物理节点的压力。1.缓存工作中比较常用的如RediS用来缓解数据库的压力。符热点数抠预热到媛冲中.晓免大量的访问压力m接给到数据库上面,给数据库减轻负担,4 .读写分凄配置实现主从数掂库,将请求分为读/写两种类型,读请求走从体(SIaVe),写类型请求走主阵(master).比如MySQl自身提供的主从数据同步方案。主从库之存在较低(可接受范围)的数据同步延迟。3数据分片如果单表/单库存在数据保存的性能问题
3、,可使用分片将保存的数据分散到多个库表中,其中分为水平分片和垂直分片。5 .水平分片统一类型的数据,分别放到不同的库/表中。每个分片包含了整体的数据集合的一部分。虽然可减轻单节点的访问压力,又迎来了分布式事务的问题,6 .垂直分片存在一个览表(即包含过多字段的表),其中某几个字段属于热点数据.客户端请求某一条记录.大部分情况下都是要获取这条记录中的某几个热点字段,,这个时候.将这张表拆分为主表和从表两张表.热点数据单独成表(从表).这样数据访问/更新会避免在宽表上的大fit操作。提前合计好对应的主从表,按照不同的业务模块拆分数抠库.这样可以适当的减少单个服务器的压力。7 .三种数据分片方式ha
4、sh方式.一致性哈希Consistenthash),按赚数据范围(rangebased)哈希分片概念:按照数据的某一特征来计算哈希伯,并将哈希值与系统中的节点建立映射关系,优点简单易于实现块点很难解决数据不均衡问时.再增加一个机器.每个机器对应的一个hash值的区域就发生改变.补充:假设这里面是按员工的薪水进行计算hash值实际人群中,可能处于平均薪水IOk左右的人比较多.高薪水的人比较少这导致某些机器上的数据很大,导致大量的数据集中到一个物理节点上。2:一致性哈希概念一致性hash相当与一个环,,所有的数据都在这个环上.每个机器相当于环的一裁.相比于上述的hash方式,一致性hash方式需要
5、维护的元数据额外包含了节点在环上的位置。优点:简单易于实现,在增加数据的时候只会影响到hash环上相邻的节点,不会发生大规模的数据迁移.发点增加节点的时候.只能分摊一个已存在节点的压力补充:在实际工程中,一般会引入虚拟节点(Virtualnode)的概念。即不是将物理节点映射在hash换上,而是将虚拟节点映射到hash环上。虚拟节点的数目远大于物理节点,因此一个物理节点需要负责多个虚拟书点的真实存储.操作数据的时候,先通过hash环找到对应的虚拟节点,再通过虚拟节点与物理节点的映射关系找到对应的物理节点。3.按赚数据范围概念就是按照关铤值划分成不同的区间.每个物理节点负责一个或者多个区间,其实
6、这种方式能一致性hash有点像,可以理解为物理节点在has环上的位置是动态变化的。优点:当达到这个网值之后就会分裂成两个块.这样做的目的在于当有节点加入的时候.可以快速达到均衡的目的缺点:在数据可修改的情况下,如果块进行分裂,那么元数据中的区间信息也需要同步修改。补充:rangebased这种数据分片方式应用非常广泛,比如MongoDB.PostgreSQ1.,HDFS4,比较如果一个节点负责的数据只有一个区间,rangebased与没有虚拟节点概念的一致性hash很类似,如果一个节点负责多个区间.rangebased与有虚拟节点概念的一致性hash很美似。分片方建of*元敷no万K三三e*3
7、三.几手不JWiy三wew)j三w不支恃ttx三.以女于11句“1.n11W11Ig*MR3tU4骗上时神点.r*手不呼现但不醐何T5电防,与敕声任移篁*TJaiaqfWA些,主M次子&QIWBWW9SJRitM”.且男支珞(却TWQ与旬*,5-l.少g加片取肝rJW)大小,一般f磬WITOSgfi少,且MFIWIUE衣至W,BH5 .数据分片需要按照一定的规则.不同的分布式应用有不同的规则.但都遵循同样的原则:按照演主要、最频繁使用的访问方式来分片。1.具体如何划分原始数据集6 .当原问题的规模变大的时候.能否通过增加节点来动态适应7 .当某个节点故障的时候,能否将该节点上的任务均衡的分摊到
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2020 系统 架构 师真题 论文 答案 解析
