《数据采集技术（初级）》实验手册项目10：项目实战：业务系统日志数据采集.docx

《《数据采集技术（初级）》实验手册项目10：项目实战：业务系统日志数据采集.docx》由会员分享，可在线阅读，更多相关《《数据采集技术（初级）》实验手册项目10：项目实战：业务系统日志数据采集.docx（18页珍藏版）》请在优知文库上搜索。

1、项目十：业务系统曰志采集作者时间版本审核王健2020-7-212.01.收集业务系统日志，保存到MySqI数据库中。一、概述因为业务系统以分布式的形式部署在不同的服务器上，为了便于有看所有服务器上的日志，必须要将所有服务器上的日志集中收收集到一个地方进行展示、查询等。这就是业务数据采集的核心概念。二、日志采集的方式方法1、Iog4j,Iogback等日志系统，默认情况下，已经提供了JDBCSocket这样的输出接口，完全可以将这些日志信息集中发送到一台中心服务器，但让其输出到JDBC、Socket等,会大大降低日志写出的速度，虽然异步可以解决速度的情况，但大部分情况下,我们依然还是将日志保存到

2、文本文件中。2、可以使用flume、IogStash、filebeat等第三方组件将文本日志信息输出到指定的服务器中。其中flume用于大数据环境下，Iogstash和filebeat都属于ELK家族，而Iogstash又是一个重量级的组件，所以，这儿可以使用filebeat做为日志收集组件。三、了解ELK1、概述官网：https:WwW.elastic.cocnWhat-is/elk-stack什么是ELKStack?很简单，指的就是EIaStiCStack。让我们解释一下。已经知道来龙去脉了？艮需几分钟，即可启用我们的托管型ElasticsearchService（如果喜欢，您也可称其为托

3、管型ELK）,同时欢迎观看我们的入门视频。那么，ELK到底是什么呢？ELK是三个开源项目的首字母缩写，这三个项目分别是:EasticsearchLogstash和KibanaeEasticsearch是一个搜索和分析引擎。LogStaSh是0艮务器端数据处理管道,能够同时从多个来源采集数据，转换数据,然后将数据发送到诸如Elasticsearch等存储库中。Kibana则可以i1用户在Elasticsearch中使用图形和图表对数据进行可视化。日asticStack是ELKStack的更新换代产品。从一个菜谱开始:Itstartedwitharecipeapp伦敦的公寓内，ShayBanorl

4、正在忙着寻找工作，而他的妻子正在蓝带(LeCOrdOnBIeU)烹饪学校学习厨艺。在空闲时间，他开始编写搜索引擎来帮助妻子管理越来越丰富的菜谱。他的首个迭代版本叫做Compass0第二个迭代版本就是日asticsearch(基于ApacheLucene开发)。他将Elasticsearch作为开源产品发布给公众，并创建了#elasticsearchIRC通道，剩下来就是静待用户出现了。公众反响十分强烈。用户自然而然地就喜欢上了这一软件。由于使用量急速攀升，此软件开始有了自己的社区，并引起了人们的高度关注，尤其引发了SteVenSChUUrmarI、UriBonessSimonWillnauer

5、的浓厚兴趣。他们四人最终共同组建了一家搜索公司。2、下载以下都以LinUX版本为基本:1.ogstash采集、转换、充实，然后输出.下载下载logstash：https:/artifacts.elastic.co/downloads/IOHStaSh/IOgStaSh-7.8.0.tar.HZFilebeatReal-timeinsightintologdata.Download下载fiIebea：https:/artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.0-linux-x8664.tar.z如果时EIasticSear

6、ch和Kibana有兴趣的可以同时下载这两个组件:Elasticsearch分布式、RESTfUl风格的搜索和分析.在ElasticCloud上启用下装地址：https:/artifacts.elastic.co/downloads/elasticsearch/elasticsearsh-7.8.0-linux-x8664.tar.gzKibana实现数据可视化.在ElasticStack中进行在ElasticCloud上启用地址：https:/artifacts.egstic.codownloadskibanakibana-7.8.0-linux-x8664.tar.gz四、IogStaSh

7、应用IogStaSh可以充当从日忐收集到EgStiCSeaCh的媒介。但本质上，IOgStaSh之初就可以收集日志。但由于它过于庞大，所以才有了后来的beats0同时Iogstash还可以对接收到的数据进行分析和转换。为了让大家掌握Iogstash,这儿我们先用Iogstash收集日志开始。同时，IogStaSh在收集到数据以后，可以保存到指定的位置，一般为ES,也可以是数据库。由于本课程没有涉及到ES,所以这儿将收集到的日志，保存到MySql数据库中。K准备工作由于大部分业务系统，都运行了UnUX上，所以，我们这儿是以LinUXCent0S7做为环境给大家讲解。准备工作主要包含以下过程：（以

8、后所有的测试，都需要做以下环境准备）为了给大家一个全新的环境，这儿从一个完整的纯净的CentOS开始。1使用VBox安装CentOS虚拟机参考：hltps:/bl。以CS由于过程相时简单，网上有很多教程，请大家自行参阅。2、CentOS准备使用XSheIlmobaXItem登录CentOSo并做以卜操作：1、关闭防火墙。root()serverl01#systemctlstopfirewalldTOOtSerVerlol伊systemctldisablefirewalld2、配置峥态ip地址修改配置文件：如果没有这个配置文件，关闭CentoS,并创建HoStc）My连接，然后再手工创建这个文件

9、即可:Iroot(三)ServerlOl#vimetcsysconfignetwork-scriptsifcfg-enp0s8TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=StaticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUT0C0NF=yesIPV6-DEFR0TE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=enp0s8UID=620377da-1744-4268-b6d6-a519d

10、27e01c6DEVICE=enp0s8ONBOOT=yesIPADDR=192.168.56.101重新启动网卡:TOOtSerVerlol#systemctlrestartnetwork.service查看IP地址:# ifconfigenps8:flags=4163BROADCAST,RUNNING,MULTICASTmtu1500inet192.168.56.101netmask255.255.255.0broadcast192.168.56.255inet6fe80:3b4a:77d:57eb:d4d3prefixlen64scopeid0x20ether08:00:27:86:6d

11、:5dtxqueuelen100O(Ethernet)RXpackets416bytes36839(35.9KiB)RXerrors0dropped0overruns0frame0TXpackets270bytes34662(33.8KiB)TXerrors0dropped0overruns0carrier0collisions03、安芸JDK及配量环境变将JDK1.8解压到usrjava目录下。配置环境变量：# vimetcprofileexportJAVA_H0ME=/usr/java/jdk-1.8exportPATH=$PATH:$JAVA_HOME/bin让环境变量生效:#SOUrC

12、eetcprofile检查是否安装成功:TOOtSerVeriol伊java-versionjavaversion,1.8.0-251Java(TM)SERuntimeEnvironment(build1.8.0_251-b08)JavaHotSpot(TM)64-BitServerVM(build25.251-b08,mixedmode)4、创建一个用户用于刑试建议创建个测试用于，用于测试，我们将所有的软件，都安装到这个用户的主目录下，当不再需要时，可以删除这个用户及这个用户的主目录：（可选）创建用户：TOotSerVerIOl伊useradd-Gwheeles修改密码:TootSerVer

13、lolpasswdes更改用户es的密码0新的密码：无效的密码：密码少于8个字符重新输入新的密码：passwd：所有的身份验证令牌已经成功更新。5、安芸mysql/mariadb数据库Centc）S可以在线直接安装Mariadb数据库，由于MySql数据库已经开始收费（非社区版本）。所以，为了方便,大家可以直接安装Mariadb数据库：(root()serverl01伊yuminstall-ymariadb-servermariadb安装完成以后，配置密码:root()serverl01mysql_secure_installation启动mariadb数据库:(root()serverl01

14、systemctlstartmariadb将mariadb数据库，设置为开机启动:root()serverl01systemctlenablemariadb登录测试:(root()serverl01伊mysql-uroot-pl23456WelcometotheMariaDBmonitor.Commandsendwith;org.YourMariaDBconnectionidis2Serverversion:5.5.65-MariaDBMariaDBServerCopyright(c)2000,2018,Oracle,MariaDBCorporationAbandothers.Typehelp

15、;orhforhelp.Typectoclearthecurrentinputstatement.MariaDB(none)showdatabases;IDatabaseinformation_schemahiveImysqlnacosoneperformance_schema参考地址：shanheyongmup/12470169.html2、安装Iogstash并使用使用之前创建的测试账户，登录CentOS,然后在主目录下，创建个Program目录，用于安装所有可执行应用程序。esserverl01$mkdirprogram步1、了解Iogstash的人和输出在Iogstash的官网API中,包含了Iogstash的输出输入配置说明:进入Iogstash的下载页面，就可以看到