二手车销售分析项目解决方案说明书.docx

二手车销售分析项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问遨及辐解决问区31 .存在问题32 .需解决问睡4二'解决方案51 .解决方案总体架构52 .核心技术6三、开发范困91 .数据生产92 .数据采集/消费93 .数据分析104 .数据展示11一、项目存在问题及需解决问题1.存在问题(1)缺乏标准化、透明化的车辆历史信息。面向社会大众公开车辆历史信息，包括车辆配置、车龄、里程数、维修记录等各项相关信息，实现车辆信息的标准化、透明化，提供可靠的数据和可信的车辆历史报告，有助于促进车辆流通，提升二手车交易的透明度和公平性，而且能够保障消费者的合法权益。另外，标准、透明的车辆历史信息也有助于推动二手车市场健康可持续发展,可以对推动二手车上下游产业及其他产业的融合发展做出很大的贡献。目前，阻碍获取标准化、透明化的车辆历史信息的关键因素之一是关于车辆历史信息的权限界定，法律或法规层面并未明确界定此类信息是否归为隐私信息，这也使得部分厂商和相关机构会阻挠社会大众对汽车信息的获取。(2)尚未形成消费者认可的检测认证车况的检测一直是二手车流通领域消费者最大的痛点，也是影响二手车交易的关键因素之，如何为消费者提供具备公信力的检测认证报告也是各大厂商或机构最重要的竞争因素。二手车是非标商品，一车一况的复杂程度以及行业多年来的信息不对称，对消费者实际购车造成了信任层面的障碍。目前，二手车市场的消费人群非常可观，其发展的重点是如何提供消费者认可的检测认证，保证二手车交易过程的诚信度。严格可靠的车辆检测认证不仅能吸引更多的二手车买家,也为二手车卖家提供良好的保障。(3)缺乏海量的匹配数据在近20年，国内的二手车市场虽蓬勃发展，但较其他国家成熟的二手车市场相比，仍处于起步阶段，这也意味着可统计并提供给二手车残值研究的信息量不足。此方面主要存在的困难是：国内汽车市场中共有3万多种车型，每种车型的鞘售大概为3年期，同时也要考虑该车型在全国300多个城市中表现的地区差异，也就是每个车型建立一个参考模型就需要多于2700万的数据量，而鉴于我国二手车市场的发展现状和交易情况，缺乏海量的数据源，在模型匹配方面仍有很长的路要走。（4）二手车历史数据具有很强的时效性目前，汽车产品更新换代快，结构升级、技术创新层出不穷，加之市场经济条件下市场行情多变难测，使二手车残值研究和评估工作都具有极强的动态性、时效性。要保证评估的准确可信，不仅要在具体工作中掌握有关的账面原值、净值、手续等历史依据，更要结合评估当下二手车市场的现实价格和行情。（5）区域化特征及残值曲线变化复杂在全国300多个城市中，不同车型会表现出不同的区域特征。对二手车残值和估价进行研究除了要考虑一般车况之外，还要综合区域化特征，如居民消费水平、消费偏好等，才能得到可信的研究报告。另外，二手车价格曲线变化史杂，难以通过传统的办法对各车型价格进行预估。2.需解决问题二手车市场在互联网时代有了全新的发展模式，并且在互联网技术发展的带动下，吸引了更多的厂商/机构和用户投入到二手车市场。目前，互联网已经渗透到二手车产业的各个环节，包括车辆拍卖、二手车寄售、信息服务等。基于互联网的二手车市场能够存储海量的数据，不仅能为社会大众提供更便捷的服务，也更便于统计分析二手车交易数据，为二手车的残值分析和估价应用提供了更强大的数据支撑。众调科技将从众多数据源获取的海量数据进行信息审核和数据整合、清洗，并归纳到其础数据库，对数据进行实时更新和管理。对已挖掘到的有效信息进行数据统计分析，寻找二手车残值的影响因素，利用各种数据分析工具构建二手车残值模型，实现二手车的估价应用。二、解决方案1 .解决方案总体架构政第处理以关tumtfttMk分布式女.CWASHWSKafka%rMtrMaingf*HBaSe是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Goog1.e论文“Bigtab1.e：一个结构化数据的分布式存储系统"。就像BigtabIe利用了GOOg1.e文件系统(Fi1.eSystem)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtab1.e的能力。HBase是Apache的Hadoop项目的子项目HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBaSe基于列的而不是基于行的模式。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2 .核心技术(1) HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSPringMVC:属亍SpringFrameWork的后续产品，巳经融合在SpringWebF1.oW里面。Spring框架提供了构建Web应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBa1.iS使用简单的XM1.或注解用于配置和原始映射，将接口和Java的PojOS(P1.ainO1.dJavaObjects,普通的JaVa对象)映射成数据库中的记录。(4) EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统，由瑞典MySQ1.AB公司开发，属于OraCIe旗下产品。MySQ1.是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQ1.是最好的RDBMS(Re1.ationa1.DatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQ1.是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQ1.作为网站数据库。(6) HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQ1.查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQ1.查询功能；可以将SQ1.语句转换为MaPRedUCe任务运行，通过自己的SQ1.查询分析需要的内容，这套SQ1.简称HiveSQ1.,使不熟悉mapreduce的用户可以很方便地利用SQ1.语言查询、汇总和分析数据。而Inapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQ1.略有不同，但支持了绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Had。P中的大规模数据集，并支持UDF(User-DefinedFunction),UD.,F(User-DefnesAggregateFunction)和UDTF(User-DefinedTab1.e-GeneratingFunction),也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBaSe技术可在廉价PCServer上搭建起大规模结构化存储集群。(8) ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Goog1.e的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。(9) F1.umeF1.ume是C1.oudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，F1.ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，F1.ume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。三、开发范围1 .数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题：数据结构，数据内容可能出现的问题。2 .数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架f1.ume和kafka的定位是什么。我们在此需要将实时数据通过f1.ume采集到kafka然后供给给hbase消费。f1.ume：C1.OUdera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作：适合与HadooP生态圈对接的操作。kafka：Iinkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持rep1.ication）；因此我们常用的一种模型是：线上数据一>f1.ume>kafka>f1.ume（根据情景增删该流程）一HDFS线上数据一>f1.ume->kafka->sparkstreaming实时流式处理消费存储模块流程图：3 .数据分析我们的数据巳经完整的采集到了HBaSe集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式，如果情景允许，我们会采取一个maprcduce分析多个业务指标的方式来进行任务。分析模块流程图:4 .数据展示数据展示模块流程图:*y