千亿级海洋时空大数据智能航运平台云计算实践.docx

总看:2017杭州云栖大会降.*,THfeCOBHGCoN启"5三u××w!飞播磔、选千亿级海洋时空大数据智能航运平台云计算实践隐谴V.EV裳餐濯翳落A龙船科技创始人/CEO博士杜忠平:.%kWAG2017杭州云栖大会THECOMPUTINGCONFERENCEWhoweare?SHIP音I船IoT数据公司成立航运智能商业智能解决方案在正确的时间做正确的决定数据融合基于云端的数据分析和融合计算每天处理近亿条的业务协同颠覆传统业务协作各角色航运人高效协同-*2017年5月/千万PreA轮融资莞成云牺社ICODlNC1.IFEIMC1.IFE2017杭州云栖大会,THECOMPUTINGCONFERENCEISOng器2016年07月云牺社I中已:2017杭州云栖大会zOO110SHIP*THECOMPUTINGCONFERENCEjg船12p三m方案Solution海洋与航运海洋与航运重要性超乎想象，海上贸易占全球总额超过90%SHIP髓船出U：2017杭州云栖大会JC,THECOMPUTINGCONFERENCE 船型运力分布 运输市场变化 贸易市场变化 经营或决策风险 港口航道地理宏观：更长时间、更宽地域的趋势基本问题： 什么船？在哪里？ 从哪里出发？ 到哪里？ 装载什么货物？ 周边海况如何？微观：特定时段和区域航行安全和效率云牺社ICODlNC1.IFE本质问题如何达到极致的效率？如何确保可接受的安全？如何获取和加工信息，以降低不确定性？本质：对信息的处理以降低不确定性云牺社CICQOlNC1.IFE国际航运和贸易中心，从西方向东方转移云牺社ICODlNC1.IFE航运业挑战与机会挑战机会出U：2017杭州云栖大会JC,THECOMPUTINGCONFERENCE人力成本管理驱动流程化IT基础设施SHIP£船飞天智能PsaraNtelligence业务协同数据驱动移动化数据基础设施云牺社ICODlNC1.IFESHIP航运地理信息2017杭州云栖大会THECOMPUTINGCONFERENCE卫星IOT与海洋数据融合业务协同MakeshippingeasyOrtclaaiPtMM.:<ORONAQINGDAOFtSH按角色协同，完成必要流程智煮是信息消费者，也是数据提供者再索马里雅力达C.Execute(Monitoring)D.Evaluation云牺社ICOOINC1.IFE挑战数据处理速度可靠性数据处理能力运营飞天智能PSARAINTE1.1.IGENCE'YA*a'飞'A结COnSeqUenCe，卷;看云牺社IZ产2017杭州云栖大会1.>OOfQSHIPTHECOMPUTINGCONFERENCEgg杷12问题方案SolutionPC用户移动用户制5服务层数据分析tt三Si+S数据来隼数据处理散据源运行环境JQueryHtmlPortofcallGeoEvent在找分析比计管商注分析IHze1ISParkSQ1.SparkMapReduceDatahub分发非结构数砧(HBaSe()HDFSQKDCob9°d()JavaApplication数据清洗数砧标准化日志记录权限拄制0独立服务BlSHIP船云计算架构amttw存MRiOCDNVtK*M4修S云分场与一I云mEC3I对goossII云IMUCMySQ1.网VPC¾iXIIEMpRMCI越由用，自决存zz¾UgSQlSorVOf与IGiWS1.8Ie<点KttSHBHPCOPU云务文件存NASI云BrgJKRgH*NAT网关HTTPONS大BdSit辱MaxC<xnp<tFPOA云如（测中）费拈存41TaMStoc云RUMongoDBK公网IP说妥金分析型BraUC金存SOAS云RMPPASK幅速通Ii“由EK分析（公评中）开放彼重vpc云存网关云故3PoslgroSO1.版VPN网关（公蠢中）动MHS（公刑中）日志努I煲<均IBSIB卬B立方云BTfi<OcanBas其享谑色*5禽试nttHPC避合云列云Memcache共*帝员8动WMKK体，看看云格（公刊中）秀般存4BTibleSlOfePCDN“用用户反，9««1»PCON云BHB”.ICDN籍码容8*髭考ICDNIHybgDBgrMySQ1.信段与盆授WAflBBiKtnHybridDBforPoSIgroSQ1.tnMI云»Inattn«?全性5M列IMBfHiTSDB8由*符访问E!云通信安全问（安全*务）IBtSMDTS开放妾aa«sI>6<1缰各与RlM保利泮（安全华）aBffjg>DM性“三作*if（公刑中）MmI1一注解I政（安全*务）!tOM3JRDCWMU>（公四中）康明莒理香色海s第X交9DDoS三WP（网安全）I开BHtrU件,违M品方隹I云"听DNSWM应用、火（耳千金）API网关UBt,中呼动脩送HTTPDNSI安（*J5H全）AXWKET清息身企我分布式启用*务EOAS消包*务云第0主机CA证书U务（应用安至机家3PAI后里对S分析务赤里队列MQam三is田计算三三数据宛乐存储石网络、三宝堂;,兴社22项里拿万网尸®RCAS（业务安全）fl）三5t8l云虚OB全一«务（公现中）内e安全（*每安全）云善*fifflBt三<iirAOAM.去身鸵0（安全曾埋）大M<分析及展现云投IT（公网中）修We）MBdK体HTSD221n（安全曾）DtVBt再慢化I码怪鱼安金育改（安金曾）QmCfcBlIHBCM舄合云（安全符理）西分析（公IB中）XBKBtUiA“阿妻伴无RIfM分析MaxComputeAKKMffl分.atw接再引IEMapR<8公众听ftHH（公中）企业SM大KM开次套”,引BCftM，社（IB1C1.1.E历程 RDS存储服务 DRDS(DistributedRelationalDatabaseService),分布式数据库服务，基于RDS,提供分库分表功能 HybridDBforMySQ1.(PetaData)同时支持O1.TP和O1.AP免去了ET1.过程小数据量，RDS(MySQ1.)超过千万的数据量查询，HybridDBforMySQ1.数据库MySQ1.13ms4573ms23367msHybridDB119ms241ms1287ms从实际应用来讲，在一张100亿数据量的表中，查询同一个时间段的数据，效率提升倍任务单表存储量超高1、入库数据：5千万7亿条/天预计数据：200500亿条/年业务场景需要大范围的查询2、DBA和运维3、数据库调优数据库运维、监控SHIP三船查询时间跨度长查询频率和复杂度在提升，导致慢SQ1.的出现出U：2017杭州云栖大会JC,THECOMPUTINGCONFERENCE飞天智能PsaraNtelligence云牺社ISon8器Data迁移和上云离线数据迁移上云步骤：从本地的MySQ1.上传至ECS自建MySQ1.数据库创建唯一主键字段(ID)百亿量级的数据拆分小表(10亿/表)通过DTS导入PetaData关键点：如何加速迁移速度支持联合主键ISOng落数据处理使用的主要大数据组件APACHAPACHESTORME-MapReduceQaUHIBHS云牺社ICOOINC1.IFEbo8蠢12方案Solution问题Problem动态查询动态跟踪以数据为中心的用户结构船位跟踪船位跟踪航行安全商务管理经营分析移动彳移动端应用解决方案船管租家基础数据情报分析API服务港口服务安全监管2017杭州云栖大会THECOMPUTINGCONFE