智慧气象项目部署运维手册.docx

《智慧气象项目部署运维手册.docx》由会员分享，可在线阅读，更多相关《智慧气象项目部署运维手册.docx（19页珍藏版）》请在优知文库上搜索。

1、智慧气象项目部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本91. 批量执行命令脚本92. 批量重命名脚本113. 批量拷贝脚本134. cm_migrate,sh155. format2.sh166. mountDisk.sh167. network,sh178. node,1.ist189. node,txt182.3hostname及hosts配置181.配置每台节点的hostname182.配置节点ip、hostname映射192.4 禁用SE1.inux192.5 关闭防火墙212.6 设置Swappiness21

2、2.7 关闭透明大页面222.8 配置操作系统本地yum源232.9 安装http服务252. 10集群时钟同步281.所有机器卸载ChrOny282 .所有机器安装nip283 .node1.机器配置时钟与自己同步284 .集群其它节点，配置找node1.机器去同步295 .重启所有机器的ntp服务296 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行292. 11安装NariaDB30三、C1.ouc1.eraManager安装372.1 配置本地CM源373. 2安装CIOUderaManagerServer40四、CDH安装424. 1CDH集群安装向导425.

3、2集群设置安装向导45五、HBASE安装465.1 准备工作：465.2 安装：461. 下载hbase1.3.2462. 解压463. 配置环境变量/.base_profi1.e464. hbase-env.sh配置javahomeWZK475. hbase-site.xm1.配置参数476 .酉已置regionserver497 .scp-rhbase到其他节点49六、F1.ume安装506. 1安装50七、Kafka安装：517. 1安装51一、文章编写目的本文档主要描述C1.oudera智慧气象系统的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时

4、钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档CDH安装前置准备；2 .安装CIoUderaManager；3 .通过C1.ouderaManager的Web1.I向导式安装CD1.I集群;4 .集群完整性检查，包括HDFS文件系统、MaPRedUce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用root对集群进行部署4 .您已经下载CDH和CM的安装包二、前置准备2.1配置网络ip开启虚拟机，修改配置文件输入如下命令11etcsysconfignetwork-scrip

5、tsifcfg-*会出现如下内容（ifcfg-ens后面的名字可能不同）-rw.1rootroot6168月1319:25etcsysconfig/network-scripts/ifcfg-ens1.6777736-rw-r-r.1rootroot2541月32018etcsysconfignetwork-scriptsifcfg-1.o输入如下命令Vietcsysconfignetwork-scriptsifcfgens16777736出现下图界面rootwork-scripts#viifcfg-eno1.6777736# 网络类型（通常是Ethernet）TYPE=rEthernetw#

6、 IP的配置方法noneStatic1.bootpdhcpj（引导时不使用协议I静态分配IpIbootp协议IDHCP协议）bootproto=,dhcpDEFROUTE=yes”IPV4_FAI1.URE_FATA1.=noIPV6INIT=yesIPV6-A1.T0C0NF=yesIPV6_DEFRoUTE=yesIPV6FAI1.UREFT1.=noNAME=eno1.6777736# 随机idUUID=6d21f413-619d-4283-9ba2-e1.a724c1.c593DEVICE=eno1.6777736# 系统启动的时候网络接口是否有效（ycsno）ONBOOT=yesPE

7、ERDNS=yes”PEERROUTES=yes*IPV6_PEERDNS=yesIPV6一PEERRo1.TES=yesIPV6_PRIVACY=*no需要修改的地方有：BOOTPROTO=StaticWhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPADDR=192.168.139.101#静态IP（增加）GATEWAY=I92.168.139.2#默认网关，虚拟机安装的话，通常是2,也就是VMnet8的网关设置（增加）NETMSK=255.255.255.0#子网掩码（增加）DNS1=192.168.139.2ffDNS配置，虚拟机安装的话,

8、DNS就网关就行，多个DNS网址的话再增加（增加）这里注意，因为律态ip地址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同,不然会出现无法Ping通的情况SVICE=ethOHWADDr=OO:0C：29：14：8B：FATYPE=EthernetUID=63af865f-878d-4d93-8284-85d60af589bbIDNBOOT=yes1NM_CONTRO1.1.ED=yesbPRQTQ=staticI1.PAK=1.Z.1.b.1.IUU5ATEWAY=192,168.1.2)NS1=114.114.114.114)NS2

9、=8.8.8.8重启网络服务使ip生效servicenetworkrestart如果报错，reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132.192.168.1.133注意:每台节点克隆后需要删除每台节点e1.cudevru1.es.d70-PCrSiStCnt-net.ru1.es文件，清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改mac地址roothadoop1.01ftvimetcudevru1.es,d70-persistent-net.ru1.es进入如下页面，删除eth该行；将eth1.修改为eth,同时复.制

10、物理ip地址，如图所示*rf.-d.,，,71.AE1.Md9eW2*34：C4AEt,k1.T-vet.nK*fh4.*mu4-修改ip地址roo1.Qhad（K）p1.01/#Vim/etc/sysconfig/neIwork-scripts/ifcfg-CthO（1）把复制的物理ip地址更新HWADDR=OO:0C：2x：6x：Ox：xx#MAC地址（2）修改成你想要的ipIPDDR=192.168.1.132#IP地址2. 2编写相关操作脚本脚本依赖expect程序，雷要在执行这些脚本的服务器上安装expect.安装方式：yumins1.a1.1expect1 .批量执行命令脚本bat

11、ch_c11d.sh#!/bin/shCmd=$2userna11e=rootpassword=123456catS1.ist-fi1.ewhi1.eread1.inedohost_ip=echo$1ineIawk,printS1.),#usernane=echo$1ineawk,print$2Upassword=echo$1ineawkprint$3)./expect_cmd$host_ipSusername$PaSSWOrd$Cmddoneexpect_cmd#!/usr/bin/expecIsettimeout10sethost1index$argv0setusername!index$

12、argv1setpassword!index$argv2setcmd!indexSargv3spawnssh-P22$USCrnamCgShoSt$cmdexpect*(yesno),?sendyesn,ginfo_5.16.11.cm5161.p.1.e1.7.x86_64.rpmrw-r-r-1rootroot71204325Nov2714:40jdk-6u31-1.inu-amd64.rpm-rw-rr1rootroot142039186Nov2714:40orac1.e-j2sdk1.7-1.7.0+updatc67-1.x8664.rpmErootQnode1.cm5.16.1#Cr

13、eaterePO.Spawningworker0WiIh2pkgsSpawningworker1with2pkgsSpawningworker2with2pkgsSpawningworker3withIPkgSWorkersFiniShCdSavingPrimarymetadataSavingfi1.e1.istsmetadataSavingothermetadataGeneratingsq1iteDBsSq1.iteDBscomp1.ete如果createrepo命令没有，使用yum下载配置IWb服务器将上述cdh5.16cm5.16目录移动到varwwwhtm1.目录下，使得用户可以通过H

14、TTP访问这些rpm包。rootSnode1.11vcm5.16/cdh5.16/varwwhtm1.验证浏览器能否正常访问制作C1.ouderaManager的repo源rootode1.vietcyum.repos,dcm.repocnreponame=cm_repobaseur1.=http192.168.139.101cm5.16.2enab1.e=truegpgcheck=fa1.serootnode1.yu11.repos,dj#yu11repo1.ist1.oadedp1.ugins：amazon-id.rhui-Jb,scarch-disab1cd-rcposrepoidreponamestatuscmrepocmrepoRedHat1.pdarhui-REGION-c1.ient-config-server-7x86.64teInfrastructure2.0C1.ientCrhui-REGION-rhe1.-server-re1.eases/7Server/x86_6