葡萄大数据项目简介.docx
葡萄管家项目简介XX科技股份有限公司编制目录一、葡萄管家项目背景3二、客户情况及市场情况31 客户情况32 .市场情况4三、技术选型5四、项目团队构成5五、团队成员技能需求6一、葡萄管家项目背景我国的传统农业生产,高度依赖专家的现场技术指导,不仅农业专家缺乏,且有限的专家费源在现有模式下也难以充分盘活。加之生产主体以文化知识薄弱的个体户为主,生产过程随意性大,农业生产缺乏标准化,导致农产品品质参差不齐、食品安全问题频发、土地产值低,严重制约了我国农业规模化、产业化发展。近年来,快速发展的大数据、物联网等高新技术,给传统农业带来了变革的可能。但由于我国农业长期处于小农经济模式,农业生产数据极为匮乏,数据采集方式落后,数据分析方法单一,加上普遍存在的数据孤岛问题,农业数据对农业生产的实际指导意义还相当有限。因此建立农业生产大数据库,研究农业生产的数据模型,充分挖掘利用农业大数据对农业生产进行科学指导,是推动农业生产标准化、智能化发展,最大化提升土地产值和利润的必经之路。二、客户情况及市场情况1客户情况粗放生产、分散经营和农业自身的季节性、地域性特征,信息不对称等,成为了贯通农业产业链的共性问题。当前农业产业链令人头疼的四大痛点问题,根源之一往往在于信息的缺失:一是种不好。农业经营者对种养技术和对病虫害、疫情信息把握不足,同时人力成本上升、假冒伪劣的农资产品泛滥市场;二是销不出。农产品滞销、卖难问题多地频发,农业经营者对同类产品生产数据估计不足;三是地鞋租。扩大生产规模租不到地,这既与地块分散、资金短缺有关,又与缺少土地流转信息渠道有关;四是钱难借。除了抵押物,农业经营者难以提供充分的信用数据,因而往往难以借到钱,这也限制其更新生产设备、扩大生产规模。上述四大痛点问题,涉及到农业经营者与政府、上游的农资企业、下游的消费者、金融机构等多个主体之间的信息对接。2.市场情况围绕着大数据与农业的融合,农业链条上的不同产业或迎来生态的转变。以大数据驱动下的单一农场为例,经营者将更多使用绿色、高效的农资产品,早已水涨船高的简单劳动力将被替换,而适应大数据的知识型、技术型“新农业经营者”将有更多的用武之地。如适应“水肥一体化”的发展,水溶性配料、液体肥将获得发展,而此前大行其道的普通化学肥料将因为颗粒不能完全溶解而堵塞滴灌设备,则可能遭到市场的淘汰。当前无论是“农村电商”还是大数据产业,都处于初级阶段。依托大数据技术广泛推动农业发展,在短时间内并不现实。农业大数据市场还是一个充满机遇、有待开发的市场。为此,需要政府部门、涉农企业、大数据企业和农业生产经营主体多方合力,共同推进农业大数据的示范与推广。想要大数据与农业更好的结合,首先应当推动大数据的基础设施建设,为各类农业经首者“触网”、联通大数据提供基础;要尽可能开发政府掌握的各类涉农大数据,以供农资企业合理调配生产,并制定针对各区域各品种的农资解决方案。其次,有关部门需要提供政策支持,引导涉农企业、大数据企业构建以品种或区域为中心的农业大数据平台。让农业大数据服务成为企业的直接盈利项目或配套的增值服务。三、技术选型 CDH/F1.umeKafka数据采集,结合数据流技术对接各类应用系统及数据库的数据资源 CDH/HDFS文件类数据整合与存储,HADOOP技术路线 CDH/HBASE格式类数据整合与存储,HADOOP技术路线 CDH/H1.VE数据清洗 CDHSPRK离线数据开发及处理 F1.INK实时数据开发及处理 CDHSPRK数据服务及安全 CDH/YARN+CM数据负载及集群管理 CDH/HIVESparkM1.数据分析及智能 TAB1.EAU针对数据分析及智能提供自助式或嵌入式的可视化分析图表 E1.ASTICSEARCH针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据搜索 HADOOPYARN针对数据服务及安全类应用的定制开发提供微服务运行环境技术管理工具四、项目团队构成姓名性别学历职称专业工作单位项目中的分工年工作时W(月)篓字成员A男本科高级大数据工程师应用电子技术XX科技股份有限公司项目管理12成员B男本科高级大数据工程师体育医学技术总监12成员C男本科中级软件工程灯计算机科学与技术软件开发12成员D男本科高级大数据讲师计算机科学与技术软件开发12成员E男本科中级软件工程师数学与应用数学软件开发12成员F男本科高级运雄工程师信息管理架构设计12五、团队成员技能需求(I)成员A云计算、大数据高级工程师擅长:负责企业级云计算、大数据平台项目,大数据应用开发项目的立项、论证、验收等项目过程管理,云计算和大数据相关通识性培训。项目经历:区域医疗云计算中心、重庆三峡银行大数据平台、电信分析云项目、重庆移动业务支惮大数据平台建设。(2)成员BC1.。Udera大数据专家高级软件工程师长期从事技术管理工作,对技术团队的管理和认识有自己独到的见解,善于将人员提升和管理经营有机结合。擅长技术:Windowss1.inux、Exchange、数据库、Hadoop、项目管理等系统开发与管理。(3)成员C高级软件工程师擅长技术:网络通信'网络安全、数据库操作、dui1.ib,cc+÷o(4)成员D南级软件工程师擅长技术:Python爬虫程序开发、Python数据分析、1.inUX系统管理、大数据存储与管理、Had。P大数据开发、SCa1.a函数式编程、数据挖掘、云计算平台架构、EXCeI高级数据分析、图像识别、机器学习、分布式计算、数据可视化分析等。(5)成员E大数据分析师擅长技术:R语言统计分析、Exce1.数据分析、Q1.ik数据可视化、数据可视化建模、概率论与数理统计。(6)成员FC1.OUdera大数据专家高级软件测试工程师曾在上海惠普、IBM、MOTORO1.A,北京融信恒通等公司任职,擅长技术:hac1.oop平台设计、运维、熟悉yarn,hdfsI!,mapreducev1.v2,f1.ume、SqoOp、pig、impa1.a、hive、ZoOkeeper、等相关组件集群的搭建和维护管理。