云存储总体设计方案.docx

《云存储总体设计方案.docx》由会员分享，可在线阅读，更多相关《云存储总体设计方案.docx（16页珍藏版）》请在优知文库上搜索。

1、云存储总体设计方案编号：IoHoM21020002拟稿审核批准签名理永才日期2013-09-091. 目的32. m43. 定义44. 系统总体局部5系统慨述5系统功能，性能5系统总体构造6关求技术9系统限留IO外包、外购子系统熄格10产品升级IO用户支持（可选）10军赫性规格105. 软件设计11功能设计116. 测试系统设计15单元测试设计15集成测试设计15系统测试设计15修订履历序号版本号修订内容修订人修订EI期AV初稿磔永才2013-09-09BCDEFGI1.IJK1.MNOPQR1.目的云存储设计方案用来存储RCU-U（车云平台）终端设备所采集的数据，以及对采集数据简洁的查询功能

2、，是对软件及测试概要设计和具体设计的约束。2.适用范围时丁此设计方案设计多方面的内容，运用范围：软件代表、测试代表、设计代表。3.定义缩略语英文中文据述I1.adoopHadoopApachc基金会卜面的，个开源工程,这个工程包含许多子工程ZkccpcrZookccpcrHadoop于工程之一，大型分布式系统的军农协调系统HBascHBascHadoop子工程之一.分布式的、面对列的开源数据库HDFSHadoopDistributed足一个分布式文件系统.HDFS有著高容错性(fau1.t-to1.erantJ的特点并且设计刖来部署在低廉的(1.ow-cost)硬件上VINVehic1.eId

3、entificationNumber车辆识别码UBIUsage-BasedInsurance基于驾驶行为的保险GPSG1.oba1.PositionSystem全球定位系蜕GSMG1.oba1.SystemforMobi1.eCoMnunication全球移动通讯系统GISGeorahyInfonnationSystem地理信息系统GPRSGenera1.PacketRadioService)通用分组无线效劳3G3rd-generation第三代移动移伯技术G-SensorGravity-sensor由力传感器GYROGyroscope陀娓仪4.系统总体局部4.1 系统梃述1. 1.I名称、型

4、号、版本、保密代号此工程为云存储，简称1.aUnehCIoUd,云存储，版本V0。4. 1.2版本描述4.1.3云存储主要是设计一个存储亿级记录的分布式云存储系统，整个系统大致包含2大局部：（1）云存储：RCbU终端采集行驶数据的存储，RQ-U终端局部分析后的数据存储，HaPRCdUCe分析后的结果存储.（2）云存储门户网站：设备管理，用户管理，用户操作日志记录，笫三方应用的APM预留）。该系统存储的数据主要是为以后的业务应用（如：UBIs汽车租赁等）供应原始的数据，以及供应大数据分析的技术扩展4.2系统功能、性能4.2.1功能特性4.2. 1.1云存储功能有以下几个方面系统局部：1 .运用业

5、内比拟成熟的，开源的HadOOP+Zookeeper+Hbase云存储来存储汽乍原始的行联记录，2 .设招资料，用户资料等亿级以卜的数据运用开源的数据库mysq1.来存储3 .基于1.inUX操作系统具体业务局部：1 .GPS信息存储2 .G-SENSoR（加速/减速）信息存储3 .陀螺仪信息存储4 .速度信息存储5 .发动机转速信息存储6 .平安带指示信息存储7 .气囊信息存储8 .胎压信息存储9 .里程计信息存储10 .车门信息存储11 .油耗信息存储12 .点火信息存储13 .转向信息存储14 .远程诊断信息存储15 .超速信息存储16 .急刹信息存储17 .急加速信息存储18 .旅程行

6、驶距离信息存储19 .碰撞事故信息存储20 .意外事故信息存储21 .用户操作日志记录存储22 .设备信息存储23 .用户信息存储24 .用户汽车阀值存储（电子栏捌，超速阀值.各种数据采集的频度等）25 .软件下载26 .系统日志27 .第三方应用的4.3系统总体构造4.4.1云存储系统方框图4.4.1.1云存储功能性系统方框图4.4.1.2RCU-U物理性系统方框图4.4.13对应关系云存储层：GPS信息存储、G-SENSOR（加速/减速）信息存储、陀螺仪信息存储、速度信息存储、发动机转速信息存储、平安带指示信息存储、气囊信息存储5、胎压信息存储、里程计信息存储、车门信息存储、油耗信息存储、

7、点火信息存储、转向信息存储、远程诊断信息存储、超速信息存储、急刹信息存储、急加速信息存储、旅程行验距离信息存储、碰撞事故信息存储、意外事故信息存储、用户操作日志记录存储云存储门户网站：电备信息存储、用户信息存储、用户汽车阀值存储（电子栏删，超速阀值,各种数据采桀的频度等）、软件下载、系统日志、第三方应用的API（预留）4.4.2可测性设计的整体构造描述：测试过程一般按3个步腺进展，即单元测试、组装（集成）测试，系统测试，为了支持这些测试在下面的软件设计中作了如下考虑：软件模块以及内部子模块的对外接口标准化，整个软件流程系统化，以支持中元测试中的模块接口测试、出错处理测限，并使测试用例测试，同时

8、使集成测试便利简洁：软件模块内部采纳清楚明白的推断分支构造。以便利白盒方式的路径测试：软件模块保证可理解性。运用有意义的数据名和函数名，充分的注择.以便利测试用例的生成、以及走杳等软件评审。在关键的地方增加1.oG信息，以便利出问题的时候知道问题出在哪里。4.4关德技术1 .高军，性云存储底层的HDFS是个分布式文件系统。HDFS有着高容错性(fau1.t-to1.erant)的特点，并且设计用来部署在低廉的(Iow-COSt)硬件上.而且它供应高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(Iargedataset)的应用程序2 .高扩展性HadoOP是

9、在可用的计兑机集旗间安排数据并完成计郛任务的，这些集族可以便利地扩展到数以F计的节点中.假设想扩展云存储系统中的存储容易，运算实力，干脆水平添加机器，修改配置即可实现，上层程序不须要做任何修改。云存储门户网站前端采纳高性能的nginx效劳器做负载均衡，动静别离，静态资源缓存，经典的InaSter-SIaVe热备切换，不连续供应效劳：Keb集群层同样也可以依据集群的负担状况动态添加物理机涔：数据缓存层是供应快速响应的重要保障：数据库MySq1.存储层可以随着访问量的增大，依据业务垂直切分3 .高效性HadOOP能终在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度特别快.根本上系统

10、的关键点上都采纳分布式部署，当系统访问量增大时，可以通过添加效劳器来持续保证整个集群的高效性。4 .高容倚性HadooP能第自动保存数据的多个副本，并且能第智能地将失败的任务重新安排。根本上系统的关键点上都采纳分布式部署,即使有局部效劳器可能因为网络、馁就、cpu,主板等物理损坏，也不会导致整个集群不行用4.5 系统配4. 5.1硬件配置（比拟节约的配置）5台效劳器。台server1：24GB内存+2TBWJ盘7200RPM,其他4台:8GB内存+2TB硬盘7200RPMJ）,其他千兆交换机把这5台效劳器连接起来5. 5.2软件配置1.inUX操作系统、NginX软件、Tomcat,Hadoo

11、pZookeePer、HbaSe、Mysq1.6. 5.3具体部署serveri:NameNodeDataNode+HRegionserver2:DataNodeZookeepjr+IIMster+IIReinserver3:NamcNodcSecondary+DataNode+HMasterS1ave+Zookecper+HRegionServer4:DataNode+Zookeeper+HRegion+NginxS1.avo+Tomcat+Mysq1S1aveserver5;DataNodeHRegion+NginxMaster+Tomcat+Mysq1.Master4.6 外包、外购子系

12、统规格无4.7 产品升皴1 .7.1版本升级规格由于整个系统都是运行在我们的效劳器上,干脆依据升级步骤来升级即可4 .7.2系统可扩大性设计整个系统都是分成多个小模块，多层架构来开发，便利产品的有效的维护和升级。4.8 用户支持（可选）4.8 .1资料供应可以在存储门户网站明显的位置放运用快速入门，在须耍用户填写的表单位置有提示行说明4.9 .2联机帮助暂无要求4.9牢靠性规格5 .软件设计5.1 功能设计5. 3.1软件根本设计思想云存储系统要求工作稳定，性能到达相关标准规定。程序架构多层分模块设计，分布式、高牢器、高可用、高扩展架构。6. 3.2软件开发平台1.inUX开源稳定高性能的开源

13、效劳涔操作系统：HadOOP是大数据存储分析的事实上的标准，开源免费，目前仍旧在快速的开展；NginX是一个高性能的HTTP和反向代理效劳器,同样是免费开源的：MySq1.是目前最流行的开源免费数据库7. 3.3软件系统描述I软件系统构造描述、总体软件框图II功能实现原理通讯集群通过Z；存储系统供应的API接【1把RCU-U聚集的实时业务的数据插入到HBaSe:云存储门户采纳经典的MVC三层构造,有时变更其中的一层就能满意应用的变更.一个应用的业务流程或者业务观那么的变更只需改动MVC的模型层,它实现了示模块与功能模块的别国.提高了程序的可维护性、可移植性、可扩展性与可Ig用性,降低了程序的开

14、发难度.限制层的概念也很有效，由于它把不同的模型和不同的视图组合在一起完成不同的恳求.因此，限制层可以说是包含了用户恳求权限的概念最终，它还有利于软件工程化管理，由于不同的层各司其职，每一层不同的应用具有某些一样的特征，有利于通过工程化、工具化产生管理程序代码，依据用户的恳求，确定是从数据峰获得数据还是从HbaSe集群获得数据或者2者都有.III模块规格、设计描述在各功能模块中须要留意有关数据精度的优化，到达提高网络传输速度，削M云存谛的存储空间便利以后依据第三方业务快速的数据分析.表1：具体功能模块说明序号模块名称说明1公共工具模块整个系统的字符处理，数值转换，获得日期等2GPS信息存储模块依据可能的业务需求来设置HbaSe的RoWKey,提高海量数据的检索速度，保存的数据可以在地图上武现行驶轨迹，根本参数有：RCU-I:的SN、经纬度、海拔、时间、精度等。3G-SENSOR（加速/减速）信息存储根本参数有:RCU-U的SN、当前具体的加速/减速数字、采集时间、系统时间等。4陀螺仪信息存