大数据可视化项目技术及服务方案V1.0.docx

大数据可视化项目技术月艮务方案目录一.项目背景3L1项目名称31.2项目介绍31.3项目目标41. 5行业分析5二,方案总体设计62. 1设计原则62. 2技术要求7三.详细方案83. 1用户需求描述83. 2系统架构93. 2.1硬件架构93. 2.2产品架构93. 2.3数据分析架构93. 3产品功能103.3. 1产品功能103. 3.2功能特性113. 3.3产品版本13四.项目实施144. 1项目案例144. 2项目管理154. 3售后服务174. 4培训方案171. 4.1培训概述174. 4.2培训计划18五.方案总结18XX有限公司大数据可视化项目技术及服务方案一.项目背景1.1项目名称项目名称：XX有限公司大数据可视化项目1.2项目介绍“互联网还没搞清楚的时候，移动互联来了；移动互联还没搞清楚的时候，大数据来了。”大数据的应用其实早已渗透到人们生活中的方方面面：亚马逊运用大数据为客户推荐商品信息，阿里用大数据成立了小微金融服务集团，而谷歌更是计划用大数据接管世界，大数据时代不仅处理着海量的数据，同时也加工、传播、分享它们。不知不觉中，数据可视化已经遍布我们生活的每一个角落，毕竟普通用户往往更关心结果的展示。就拿我们手中的智能手机来说吧，它既是一款数据采集工具，同时也是一个多媒体的数据可视化展示平台；现在的新闻播报也越来越多的用到数据图表，动态演示且立体化的呈现报道内容；影视剧和电子游戏频繁出现的数据可视化元素，无疑让作品的科技与未来感更加丰满;教育与科普方面则是数据可视化更大的应用领域，人们开始对单调保守的讲述方式失去兴趣，期待更加直观、高效的信息呈现形式，数据可视化正好弥补了这项需求。在智能手机、平板电脑和车载电脑等平台日渐普及的当下，新的交互手段将会成为数据可视化的趋势。随着XX有限公司运营数据的日积月累，无论从数量空间还是从维度层次上都日益繁杂。面对大量数据，管理层常常望洋兴叹：要么自产的大量数据不能有效利用，无法提供决策依据；要么数据展示模式繁杂晦涩，无法快速甄别有效信息。如何将海量数据经过抽取、加工、提炼，通过可视化方式展示出来，改变传统的文字描述识别模式，让决策者更高效的掌握重要信息和了解重要细节，这关系到数据应用方的重大决策的制定和发展方向的研判，XX有限公司希望提供的业务原始数据，及数据模型具体要求，来建立对应的大数据分析模型，并提供数据融合、数据采集、数据治理、数据分析及可视化集成服务，同时在这样的基础上，经过技术的积累及产品成熟，也能为客户提供大数据可视化服务。1.3项目目标1）深度学习建模：开展项目数据挖掘需求，建立学习模型以及对应计算调度算法，实现最终计算结果和应用的关联；2）数据建模和分析：可结合实际需求，快速实现对接，数据抽取、建模和挖掘，具备提供垂直行业的商业分析报告能力；3）数据可视化：数据可视化展现（如图片、图表、图形、图像等）；4）经过技术的积累及产品成熟，也能为客户提供大数据可视化服务。1.4项目意义通过上XX有限公司大数据可视化项目的建设，可以XX有限公司不管是业务监控、运营指挥、运维监控等，通过实时可视化大屏展示数据，但帮助用户快速理解数据，起到直观地监控、内部激励、发现异常等作用，同时还可以展示信息和数据本身的规律或结构，帮助客户挖掘行业数据隐含的价值，揭示数据之间复杂而迷人的内在关联，辅助领导决策，在经过技术的积累及产品成熟后，为客户提供大数据可视化服务。1. 5行业分析日前，中国软件网、海比研究联合中国软件行业协会应用软件产品云服务分会发布了2017年中国大数据可视化市场研究报告。这份业界首次发布的大数据可视化报告认为，2017年中国大数据可视化市场收入规模为12.7亿元，年增长率为45.2%。2017年中国大数据可视化市场份额排名第一位的是恒泰实达，占比7.7乐收入增长最快的厂商是东软。数据可视化主要旨在借助于图形化手段，通过交互式视觉表现的方式清晰有效地传达与沟通信息，帮助人们探索和理解复杂的数据。在大数据时代，可视化更像是一种媒介，帮助我们最大化挖掘数字背后的信息，让数据自己开口讲故事。目前，大数据可视化成为大数据行业热点，市场处于快速增长初期，可视化工具种类越来越多，应用需求的多样化催生了从场景衍生出来的定制化服务。大数据可视化市场的厂商主要来自这几类：一类是提供商业可视化产品的软件服务商，国内有帆软、永洪科技、东软、四方伟业、SMARTBl等，国外有SAPBO、IBMCognos.OracleBIEE、MicrosoftBI等传统商业智能软件服务商。第二类是新兴的可视化产品提供商，国内有恒泰实达、数字冰雹、海致BDP等，国外有TabIeau、QIik、MiCroStrategy等。第三类是互联网巨头公司，如网易有数、百度图说、阿里云数加，他们的大数据平台的可视化基本都是自己设计开发，同时也售卖各种数据产品。第四类是互联网大数据服务商，如百分点、海云数据、神策数据、友盟等。二.方案总体设计1.1 设计原则XX有限公司大数据可视化项目应从当前实际应用需求和对未来的规划设想出发，平台应用满足以下几个方面：先进性一一利用移动互联网技术、微信公众号技术、人工智能技术、云计算技术的有机结合，实现应用创新的，更好的服务于用户。实效性一一大大加快了用户的使用效率。推动性一一依托台平台技术，实现资源合理配置，优化报名流程，提高开课效率，提高综合管理水平，推动了流程与管理的变革。稳定性一一系统能承受长时间、高负荷的运转，低的故障率与高的恢复速度。安全性一一应用与数据高度安全，不会发生非法操作与信息泄露。灵活性一一系统具备良好的伸缩能力，容易后继扩展。经济型一一具备合理的综合性价比，不浪费。可管理一一有管理平台可管理系统相关的软硬件。可持续一一系统可以得到有效的长期维护和持续的提升发展。可靠性一一确保7*24小时/周的持续稳定运行能力；确保7*24小时外部网络通讯能力2. 2技术要求1）基于构件技术的系统搭建模式。面向构件技术整合传统的构件技术、模型驱动技术和面向服务技术。从构件的技术实现角度来说，应包含四个要素：构件本身、该构件的插口、构件与其他构件协作的能力、以及构件的使用者。2）采用标准化接口。项目通过制定统一的接口标准规范，约束系统建设时技术接口的规范化程度，从而保障系统在建成后的标准化和可扩展化。3）采用服务化调用。项目以服务的形式对系统中的各类资源进行服务化管理，在整合和扩展方面简化服务的调用工作，实现服务资源的远程访问和调用，并能够适应政府机构的业务扩展、机构扩展和人员扩展。4）数据挖掘技术。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、信息检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。5）海量数据处理能力。海量的存储能力不仅要求存储系统具备海量空间，同时还要具备高可用性、高并发行、按需扩展能力。6）分布式存储技术。能够通过增加存储设备的方式，对存储容量进行在线扩容，避免因为增加存储而导致的业务中断；需能够支持PB级数据的存储；需能够聚合服务器硬盘带宽，随着存储设备的增加，数据的存储带宽能够达到数百GB/S,有效提升数据的访问效率；采用数据副本策略，保证数据的完整性和安全性。7）分布式数据库技术。布式数据库为长期积累的海量数据的查询、处理提供解决方案，需具有高速的数据加载性能、海量数据抽取和查询功能。8）采用多维建模技术。针对可视化展示需求，对原始数据搭建多维度的可视化数据模型，解决大量数据在特定业务环境下的快速查询和多角度展示，以便得出管理决策的信息和知识。三.详细方案31用户需求描述1）深度学习建模：开展项目数据挖掘需求，建立学习模型以及对应计算调度算法，实现最终计算结果和应用的关联;2）数据建模和分析：可结合实际需求，快速实现对接，数据抽取、建模和挖掘，具备提供垂直行业的商业分析报告能力；3）数据可视化：数据可视化展现（如图片、图表、图形、图像等）；4）经过技术的积累及产品成熟，也能为客户提供大数据可视化服务。3. 2系统架构3.2.1硬件架构云服匆器硬件架构工作站用于访问服务器链接，并将大屏投放?吠照®件上1 .工作站台数：至少1台2 .显存：4G5三云服务器用于部署数据可视化分析平台1.最A台即可电视1电视2脂电4电视5电63.2.2产品架构数据可视化大屏产品架构基础图表地图I辅助图形I动效组件I文字配置项数据源大屏样式配置大屏数据映射MySQLIOracleIAPIICSV1静态数据3.2.3数据分析架构产品数据分析架构业别娓实时上报实时指标计算结果数据查询可视化展示专有班Jg一匕>&）数栈DataVKafkaZFlinkX雌流计鸵摩艇数揖庠（MySQL等）»jfc-DataVr®，DataHubStreamComputeRDS三gm流计期膜关朝演3.3产品功能3.3.1 产品功能1）高性能三维渲染组件DataV.GL将游戏级三维渲染能力引入地理场景，借助GPU算力实现海量数据渲染,提供低成本、可复用的三维数据可视化方案，适用于智慧城市、智慧交通、安全监控、商业智能等场景。2）海量炫酷图表组件支持绘制各类基础图表，接入ECharts、AntV-G2等第三方图表库，即便没有设计师，也可搭建出高水准的可视化应用。3）专业级地理信息可视化支持绘制地理轨迹、地理飞线、热力分布、地域区块、3D地球等效果,支持地理数据多层叠加。4）丰富的行业模版定制数十种行业数据模板，用户简单修改即可使用，业务全景一目了然。5）多种数据源支持支持接入包括阿里云分析型数据库、关系型数据库、本地CSV上传和在线APl等，支持动态请求。6）图形化编辑界面拖拽即可完成样式编辑和数据配置，无需编程就能轻松搭建可视化应用，业务人员和设计师的最佳拍档。7）灵活部署与适配大屏以网页形式发布分享，没有购买DataV产品的用户也可以访问无阻。支持加密发布，适配非常规拼接屏幕，支持内网部署。3. 3.2功能特性D多种场景模板，解决您的设计难题数据可视化的设计难点并不在于图表类型的多样化，而在于如何能在简单的一页之内让用户读懂数据之间的层次与关联，这就关系到色彩、布局、图表的综合运用。DataV提供指挥中心、地理分析、实时监控、汇报展示等多种场景模版，即便没有设计师，您的可视化作品也会显现出高水平的设计水准。2）多种图表组件，支撑多种数据类型的分析展示除了针对业务展示优化过的常规图表外，还能够绘制包括海量数据的地理轨迹、地理飞线、热力分布、地域区块、3D地图、3D地球，实现地理数据的多层叠加。此外还有拓扑关系、树图等异形图表供您自由搭配。3）多种数据源接入，充分发挥阿里云大数据计算的能力能够接入阿里云的分析型数据库和关系型数据库，支持本地CSV上传、在线API接入及动态请求。满足您各类大数据实时计算、监控的需求,充分发挥大数据计算的能力。RDS for SQLServerPostgreSQLRDS for PostgreSQLORALPostgreSQLOracleHybridDB for PostgreSQL阿里云APl网关小Ta