大数据平台运维方案.docx

《大数据平台运维方案.docx》由会员分享，可在线阅读，更多相关《大数据平台运维方案.docx（9页珍藏版）》请在优知文库上搜索。

1、大数据平台运维方案1.引言1.1 概述本文档为大数据平台运维用户的使用手册,主要用于对大数据平台的启动、关闭和检查1.2 环境本大数据平台主要配置如下所示:功主机名IP邰善蛆行HadOoP集群曾建节点(2fe)hadpManagerO117i1620.11HIVE(MYSQL).SQPhadpManagerO2172.1620.12Narw0Q11oop)、Urb4rttvervro4er(hadp)、ResourceManager(hadoop)MYSQLHadoOP集群期B节点(3)hadoop01172.162021JournaINode(hadoop),DataNode(hadp).Q

2、uorumPeerMain(Zkeeper).SPARK(master、WOrker).NodeManager(hadoop)hadoop01172.162022Xoopo2172.162023HbaSej熊楫理万点(2旬hbaseManagerO1172.1620.51NameNode(Kadoop)、DFSZKFkverCotroller(hadoop)、ResourceManager(hadp),Hmaster(hbase)KafkaOffsetMonitorszatbixhbaseManagerO2172.1620.52HbaSe*8微S节点(3台)hbaseO1172.1620.61

3、JournaINode(hadp),DataNode(Hadoop).Zookeeper,HReglonServehive_metastore.log2.1.6 SqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQLQrade,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2.1.6.1 SqOOP使用（一级）列出mysql数据库中的所有数据库sqooplist-databases-connectjdbc:mysql:/localhost:3306/-usernamemysql-password20182.1.7 KAFKAKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动