煤矿大数据项目部署运维手册.docx
煤矿大数据项目部署运维手册XX科技股份有限公司编制2. 10集群时钟同步231 所有机器卸载ChrOny232 .所有机器安装nip233 .node1.机器配置时钟与自己同步234 .集群其它节点，配置找node1.机器去同步235 .重启所有机器的ntp服务246 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行242. 11安装NariaDB24三、C1.ouc1.eraManager安装293. 1配置本地CM源293. 2安装CIOUderaManagerServer32四、CDH安装334. 1CDH集群安装向导335. 2集群设置安装向导40五、HBASE安装445.1 准备工作：445.2 安装：441. 下载hbase1.3.2442. 解压443. 配置环境变量/.base_profi1.e444. hbase-env.sh配置javahomeWZK455. hbase-site.xm1.配置参数45一、文章编写目的本文档主要描述C1.oudera煤矿大数据平台的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档KDH安装前置准备；2 .安装C1.oUderaManage门3 .通过C1.ouderaManager的WebUI向导式安装CD1.I集祥：4 .集群完整性检查,包括HDFS文件系统、MaPRedUce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用roo1.对集群进行部署4 .您巳经下载CDH和CM的安装包二、前置准备2.1配置网络ip开启虚拟机，修改配置文件输入如下命令11etcsysconfignetwork-scriptsifcfg*会出现如下内容（ifcfg-ens后面的名字可能不同）-rw.1rootroot6168月1319:25e1.csySConfigne1.work-scripts/ifcfg-ens16777736-rw-rr一.1rootroot2541月32018etcsysconfig/network-scripts/ifcfg-1.o输入如下命令DNSI=I92.168.139.2#DNS配置，虚拟机安装的话，DNS就网关就行,多个DNS网址的话再增加（增加）这里注意，因为静态ip她址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同，不然会出现无法Ping通的情况0EVICE=ethOKWADDr=OO:0C：29：14：8B：FATYPE=EthernetUID=63af865f-878d-4d93-8284-85d60af589bbIDNBoOT=yes1.NM_CONTRO1.1.ED=yesOOTPROTO=StaticI1.PAdD=192.168.1,100GATEWAY=192,168.1.2)NS1=114.114.114.114)NS2=8.8,8.8重启网络服务使ip生效servicenetworkrestart如果报错.reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132.192.168.1.133注意：每台节点克隆后需要删除每台节点etcudevru1.es.d70-PerSiSIen1.ne1.rUIeS文件，清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改nac地址rooIQhad(X)P1.O1.8vinetcudevru1.es.d70-persis1.ent-net.ruIes进入如下页面，删除e1.h该行：将e1.h1.修改为e1.h,同时复制物理ip地址，如图所示srcfi1.c=$2dest_fi1.e=$3USername=rootpassword=123456catwhi1.eread1.inedohost_ip='echo$1ineIawk,printS1.),Uusername=echo$1.ineawk,print$2)''Jtpassword=echo$1ineawk'print$3)./expect_scp$host_ipSusernameSpassword$src_fi1.eJdestfiIedoneexpect_scp#!usrbinexpectsettimeout10sethost!indexSargv03setusername!index$argv1setpassword!index$argv2setsrc_fiIe!index$argv3setdest_fi1.e!index$argv4spawnscp-rSSrJfiIe$username$host：$dest_fiIeexpect"(ycsno)?"(send"yesn*expect"*assword:nsend"Spasswordn""assword："(send"$PaSSWordn”expect"100%"expecteof群集设0HDT5三JBMKo*->*EIa>HtvfarwrI<1.»«.11MMvW>*，1.*MMr<4<r'S4v>4cMCMony*3MMe*>vIQta*<ta*MIinB'*marv4A4*-<三nOQDDQQ3.点击''继续"，进入下一步，测试数据库连接5 .点击“继续''，进入各个服务启动群集设置UO05Me1111UtUWT«»O妙CiMMrtHrtFM213½mMwr10aMMe1.1.y:½c4*.，.MN.XrcUM).H1%.1.w«U,C/s.*.C1.wv1.<EmtetR,力，oo6 .安装成功后进入CM管理界面主页C1.OUderdMANAGERCOO不cm1:7180/cmf/home主页次窸所再运行坎况同至QKKm，OC1.uster1*3王机4S16ZP*fC1.)图表GcpuOQHDFS02100%号EI小HuoXVImpa1.aQOozie-C1.UIUf1.三K、主机中的主机CPU快网J1.«!VARN(MR2S。1JZooKeepec.主矶落暮三½阴表仔仿W?C1.ouderaManagementServiceQCkXjdecaMar、五、HBASE安装5.1 准备工作：不同机器之间的时间同步要求每个节点子在30秒root(g)hadpNode5yum-yinsta1.1.ntp#安装ntp软件roothadoopNode5指定与啊里云时间同步服务5.2 安装：1 .下囊hbase1.3.22 .解压ambowhadoopNode1-$tar-xvzf-ZsofVhbase-1.3.2-bin.tar.gz-C-app'3 .配置环境变量/.base_PrOfi1.eHBASE_HOMEPATH4 .hbase-env.sh配置java_h(Mie和ZKambow(g)hadpNode1COnfJ$vi$HBASE_HOME/conf/hbase-env.shexportJAVA_HOME=/home/w1./app/jdk1.8.0_121exportHAD6bP_HOME=/home/w1./app.'hadoop-2.7.3exportHBASE_MANAGES_ZK=fa1.se#禁用Hbase使用内7/.zookeperexportHBASEBACKUPMASTERS=SfHBASEHOME)confbackup-masters#配置HA的笫二个节HMaster节点新建一个$HBASEJOMEJconf,IbaCkUP-masters文件Vi$HBASEHOMEconf.backp-masters把备用的HMaSter节点添加:hadoopNode25 .hbase-site.xm1.配置参数<configuration>< !-#指定hbase在HDFS中目录自动创建-><property><name>hbase.rootdir<name><vaiue>hdfsduster1.dghbase<va1.ue><property>< !-#true时，为集群模式u><property><name>hbase.c1.uster.distributed<name><va1.ue>true<va1.ue><property>< !-#设首用己的ZOOkeePer用的那个几个节点><property><name>hbase.zookeeper.quorum<name><va1.ue>hadoopNode1.,hadoopNode2rhadoopNode3,hadoopNode4,hadoopNode5<va1.ue<property><!-#使用内置Z。OkeePer时要指定-><property><nane>hbase.zookeeper.property.dataDir<name><va1.ue>homeambowzkdatahdata<va1.ue><property><conguration>6 .配置regionserver（配置每一个机器名子节点名不要配主节名）在hbaseConf/下新建regionserver文件,添力口如入内容hadoopNode3hadoopNode4HadoopNodeS7 .scp-rhbase到其他节点ambowhadoopNode1.contSscp-r/app/hbase-1.3.2ambowhadoopNode5:-/app/ambowhadoopNode1.confSscp-r-apphbase-1.3.2ambow1.IadOOPNOde4:/app/ambowhadoopNode1.confJSscp-r-apphbase-1.3.2ambowhadoopNode3:/app/ambowhadoopNode1.confSscpr-*apphbase1.3.2ambowhadoopNode2:-*/app/ambowhadoopNode5:ambowhadoopNode4:ambowhadoopNode3:-ambowhadoopNode2:-am
