日志中心云平台日志服务技术方案.docx

《日志中心云平台日志服务技术方案.docx》由会员分享，可在线阅读，更多相关《日志中心云平台日志服务技术方案.docx（8页珍藏版）》请在优知文库上搜索。

1、日志中心云平台日志服务技术方案一、日志中心简介日志中心概述日志中心(CLS)旨在为云平台应用提供方便、高效的日志采集、清洗、集中存储、检索服务，为云平台应用日志统一接入管理服务化提供一套可行的解决方案。日志中心为租户提供以下服务：1 .日志采集服务。日志中心采集对象适用于在云平台环境中任何系统、微服务、平台以及中间件、容器等持久化到磁盘的文本日志。2 .日志清洗服务。日志中心按照租户需求提供日志字段提取、替换等清洗能力，为日志分析提供标准化输入。3 .日志集中存储服务。日志中心提供租户日志的集中存储管理、安全备份，通过集中存储方便用户查询、分析日志为用户解决日志分散、难以管理的难题。4 .日志

2、检索服务。通过日志搜索引擎为租户提供近实时日志检索功能，方便租户集中查看日志进行线上排查问题,解决以前查看分布式日志来回啰然主机的痛点。云平台微服务日志的特点1.微服务相对于单体应用是松耦合的，在灵活性、可扩展性上要高很多，但是管理复杂性更高，服务数量增加时分布式部署追踪问题更困难.5 .为了降低微服务的部署和运维的复杂性，多通过容器做统一化的部署流程,采用微服务架构的系统在云平台中部署应用和服务.6 彳款服务具有独立开发、独立部署、独立运行和扩展、独立团队和自治的特点，这意味着不同服务的日志格式可能不同、团队没有统一日志标准，微服务日志存储相对分散、主机不固定、遇到问题难以追踪.4.为了解决

3、微服务难以追踪的问题，所有微服务日志需要统一采集到后台日志系统，集中存储、集中管控，方便团队进一步分析和处理问题.二、技术实现原理日志采集实现原理容器日志分为标准输出日志和文件日志两种,用户可进入容器查看文件日志或使用容器的相关命令查看标准输出日志,根据容器内文件日志是否挂载到相关存储介质实现持久化保存，日志中心将提供持久化和非持久化两种方式采集容器内的文件日志。持久化方式采集日志:可通过挂载卷持久化到主机磁盘，目前日志中心使用专用日志采集端采集此部分日志，日志持久化方式接入是应用和日志中心之间通过一块存储实现日志的共享，由于容器具有隔离的特点，应用和日志采集端是隔离的，因此应用需要通过本地挂

4、载卷或外部卷的形式将日志分享，提供给相应的日志采集端读取。存储一般选择本地存储、云磁盘CBS和文件存储CFSo写入读取应用存储日志中心图1日志持久化方式接入非持久化方式采集日志：可支持日志投递、SDK/API等方式接入日志中心。日志投递流程如图1.2所示,用户应用实例在程序内部直接将自身业务或应用日志发送到日志中心前置信箱(日志队列)，投递到信箱的日志通过日志中心提供的ETL服务存储到日志中心日志库。采用直接投递日志到日志中心的日志采集方案需事先向日志中心提交直接投递用户申请，申请成功后将获得主题(topic)、投递地址、投递账户。信箱日志队列ETL日志中k日志库I SQL主题：日志中心信箱主

5、题（t。PiC）格式为：IC）gcenter租户名_分组名其中租户名可为云平台租户名，分组名为用户日志分组。投递地址：信箱投递地址默认为日志队列集群地址。投递账户：信箱投递账户为日志队列账户，账户对用户主题具有生产和消费权限。ETL:同一分组的日志格式请尽量保持一致。日志中心基础架构日志中心总体架构采用了分层设计的原则,其中日志采集层负责各类日志的采集,消息总线层是模块间日志消息的缓存，日志处理层负责日志标准化的过程,主要包含清洗、解析、标准化（格式转换、字段映射、打标等）三项能力，存储层为ES片妾口层实现日志中心内部接口与外部接口，日志分析层为用户提供数据源服务，不提供分析逻辑，交互层为用户

6、和管理员页面。勺MX日本分析国sntj图3日志中心架构图日志采集层：依托云平台，支持持久化方式日志采集方式：包括本地存储、CBS和CFS。提供非持久化方式日志接入，支持日志投递、SDK/API等接入方式。提供第三方日志接入接口，支持用户自建logstash、fluentd等第三方工具支持各类计算服务日志接入：裸机、CKE.CCS等消息总线层：消息总线层负责缓存日志，并具有高可用、高吞吐的特点。日志处理层：支持日志清洗、日志解析、日志标准化等支持用户自定义解析规则日志存储层：支持日志以文档形式存储，支持日志压缩、日志归档等日志交互层：日志导出日志检索日志解析日志存储管三、日志中心主要功能介绍日志

7、采集能力。日志中心采集对象适用于在云平台环境中任何系统、微服务、平台以及中间件、容器等持久化到磁盘的文本日志。天宫DCOS集群日志清洗能力。日志中心按照租户需求提供日志字段提取、替换等清洗能力，为日志分析提供标准化输入。日志集中存储能力。日志中心提供租户日志的集中存储管理、安全备份，通过集中存储方便用户查询、分析日志，为用户解决日志分散、难以管理的难题。日志检索服务。通过日志搜索引擎为租户提供近实时日志检索功能，方便租户集中查看日志进行线上排查问题,解决以前查看分布式日志来回跳转主机的痛点。三王Q。s!sent*/金文F JKWX引：2i*KA7a-*化布Vw*fsBW SeMt:60IaIl

8、S5rtlfi1O1近30分Ifil小Jlfil2J。左义四、日志中心主要应用场景运维管理：通过收集天宫平台数百台机器上不同应用程序的日志（包括错误、访问日志、操作日志等）。通过不同的日志库、机器组对应用程序进行集中式管理。对不同日志进行处理。例如，访问日志进行流计算做实时监控；对操作日志进行索引、实时查询；对重要日志进行离线存档。问题诊断：当请求或应用发生错误时，开发无需登录服务器，直接通过日志查询功能对错误关键词、次数、关联影响等进行查询，快速定位问题，减少影响覆盖面。开发过程中，对客户端、移动设备、服务端、模块等加入日志、并通过ID进行关联。服务调用过程进行全链路跟踪。日志分析：通过实时

9、采集业务系统产生的事件，例如访问、点击等，进行大数据分析。通过日志流实时分析业务行为，例如分析用户最常用的习惯，当前最受欢迎的功能等等，实现精确运营。对日志进行汇集归档，每天、每周、每月通过离线批量计算统计出详细的运营数据、运营报告等。五、日志中心推广情况日志中心自上线以来已在亦庄、西咸、广州、无锡、廊坊数据中心、智网中心DCOS.联通在线DCOS部署、沃云POC完成部署洪建立25个日志集群，97个服务节点，累计为51个日志租户提供74个系统的日志采集服务，日均采集日志167亿条,日均日志量18.6T,日志中心存储租户日志已超过5000亿条，存储总量600T以上。日志中心为用户提供日志在线查询服务的同时，也为星舟平台、天眼等系统提供实时或历史日志消费服务，日志中心持续为各系统的监控、告警、报表、稽核等提供稳定的数据源，日志中心将不断优化升级，为IT系统提供稳定可靠的数字化底座服务。