智慧警务项目解决方案说明书.docx

城市治理项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题41 .存在问题41.1 1缺乏整体规划和顶层设计41.2 缺少有效的系统平台41.3 现有数据仍显不足41.4 对数据的分析研判不足51.5 缺乏对信息整合的安全保障52 .而解决问题5二、解决方案61 .解决方案总体架构62 .核心技术7(1) )Hadoop7(2) SpringMVC7(3) MyBatis7(4) Echarts8(5) MySQ1.8(6) Hive8(7) HBASE9(8) Zookeeper9(9) F1.ume9三、开发范围101 .数据生产102 .数据采集/消崩103 .数据分析114 .数据展示13一、项目存在问题及需解决问题1.存在问题1.1 缺乏整体规划和顶层设计面临当前严峻的治安形势，缺少全局性的考虑和前期的充分整体规划，各级业务条线各自独立，研判信息和成果难以共享，数据格式标准不一，系统间的互联互通、相互协同都存在较大的困难，导致各管一摊、条块分割，信息和业务的交互只能通过人工手段实施。中奥科技在大量的项目建设中总结得出，缺乏信息共享的支撑能力、信息资源和个性化应用需求的服务能力、面向实战需求数据深度应用能力,缺乏共享数据标准、数据对接接口标准、基础数据字段标准、数据更新标准等，很难实现真正整合共享数据的目的，难以应对越来越复杂的形势。1.2 缺少有效的系统平台在项目调研中发现，早期的公安信息化建设，主要以业务条线信息系统建设为驱动，系统间存在着“信息化孤岛现有系统主要实现的情报汇集和整理工作，研判模型单一，主要由业务专家对固定模型打分，研判效果主要依赖人员经脸，缺乏对情报平台、警综平台、反恐平台、各业务信息综合应用平台的数据支撑能力，各警种普遍存在重复汇集和整合数据的现象，应用建设难以把重心投入到实战需求分析上。由于未以知识库的方式建设系统，导致新发现知识的导入，已有知识的分享、复制和大规模应用都较为困难。现有机制在当前形势下凸显出能力不足、专业性不强，不能满足业务需求的矛盾。1.3 现有数据仍显不足目前，公安部门汇集的信息资源有限，在种类上以公安机关信息资源为主，且汇集的信息资源从数量和质量上都不能满足实战要求。公安行业的大数据体系在有关数据总量上已见雏形，已掌握了公民相关的部分基本信息，但仍有大量的公民相关信息不为掌握，且缺乏对互联网信息、视叛图像、文本信息等非结构化数据和车辆轨迹、上网人员、卡口、旅店住宿、人员核查等大流量的结构化数据的合理规划、存储、展现，导致无法满足实战需求。1.4 对数据的分析研判不足犯罪、涉恐、涉毒、重点群体人员活动轨迹的跳跃性、隐蔽性逐渐增强，公安部门必须从大量的活动信息、背景信息、关联信息、趋势信息中利用信息化手段处理、分析、甄别出可疑信息，加以研判才能实现事件的事前把控。每个个体人在社会活动中产生了大量活动轨迹和数据记录，传统业务系统难以对每个个体人的全部活动轨迹和数据记录进行统一整合以及对有效信息进行提取并分析研判，无法根据案件的规律和特点发现、挖掘数据之间的除性关联，需凭借民警的办案经验进行多途径收集和经脸破案，具有较大的局限性。1.5 缺乏对信息薨合的安全保障在日常公安内部数据共享过程中，由于大量原始数据直接共享，导致无法对数据流程和用户操作行为进行监控。数据共享缺乏安全控制，数据质量无法进行监测，出现数据安全问题时难以追溯。安全隐患突出，导致整个信息系统无法安全、更好地发挥作用。2.需解决问题缺乏整体规划和顶层设计缺少有效的系统平台现有数据仍显不足对数据的分析研判不足缺乏对信息整合的安全保障二、解决方案1 .解决方案总体架构我出网示层任务调度与2控图1智慧警务解决方案总体架为HBaSe是一个分布式的、面向列的开源数据库，该技术来源于EayChang所撰写的GOOgIe论文“Bigtab1.e：一个结构化数据的分布式存储系统“。就像BigtabIe利用了GoOgIe文件系统(Fi1.eSystem)所提供的分布式数据存储一样，HBaSe在Hadoop之上提供了类似于Bigtab1.e的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBaSe基于列的而不是基于行的模式。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现遗辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2 .核心技术(1) HadpHadoop是一个由APaChe基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSPringMVC:属于SpringFrameWork的后续产品，已经融合在SpringWebFIOW里面。Spring框架提供了构建Web应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询，存储过程和高级映射的优秀特久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBa1.iS使用简单的XM1.或注解用于配置和原始映射，将接口和JaVa的POJOS(P1.ainO1.dJavaObjects,普通的JaVa对象)映射成数据库中的记录。(4) EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统，由瑞典MySQ1.AB公司开发，属于OraCIe旗下产品。MySQ1.是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQ1.是最好的RDBMS(Re1.ationa1.DatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQI.是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQ1.作为网站数据库。(6) HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQ1.查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQ1.查询功能；可以将SQ1.语句转换为MapReduce任务运行，通过自己的SQI.查询分析需要的内容，这套SQ1.简称HiveSQ1.,使不熟悉maprcduce的用户可以很方便地利用SQ1.,语言查询、汇总和分析数据。而mapredce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQ1.略有不同，但支持了绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在HadoOP中的大规模数据集，并支持UDF(User-DefinedFunction)、UDAF(User-DefnesAggregateFunction)和UDTF(User-DefinedTab1.e-GeneratingFunction),也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBaSe技术可在廉价PCServer上搭建起大规模结构化存储集群。(8) ZkeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是GOOgIe的ChUbby一个开源的实现，是HadOoP和HbaSe的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。(9) F1.umeF1.Ume是CIoUdera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，F1.ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，F1.ume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。三、开发范围1 .数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。2 .数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架f1.ume和kafka的定位是什么。我们在此需要将实时数据通过f1.ume采集到kafka然后供给给hbase消费。f1.ume：CIOUdera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：Iinkedin公司研发适合数据下游消费众多的情况：适合数据安全性要求较高的操作（支持rep1.ication）；因此我们常用的一种模型是：线上数据一>f1.ume->kafka>f1.ume（根据情景增删该流程）>UDFS线上数据一>f1.ume>kafka->Sparkstreaming实时流式处理消费存储模块流程图:HBa1cUZookeeperQFS图2消费存错楔块流程图3 .数据分析我们的数据已经完整的采集到了HBaSe集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式，如果情景允许，我们会采取一个mapreduce分析多个业务指标的方式来进行任务。分析模块流程图:IS3分析模块流程图4 .数据展示数据展示模块流程图:图4数凫展示模块流程图