产品数据分析系统用户手册.docx

《产品数据分析系统用户手册.docx》由会员分享，可在线阅读，更多相关《产品数据分析系统用户手册.docx（36页珍藏版）》请在优知文库上搜索。

1、产品数据分析系统用户手册V1.O1系统介绍综合资源数据分析系统基于先进的E1.技术，采用B/S架构，包含主题分析、专题分析、报表报告等多种分析功能，提供表格分析、趋势分析、同比、环比分析、分布分析、对比、关联分析等多种分析方法，使用人员还可以根据需要，自定义指标、维度、历史数据范围等,以多种直观、灵活的方式展现。实现短信、彩信、手机上网等重点业务端到端的质量分析；实现网络隐患的积极发现与溯源；实现多专业的平常分析和跨专业的网络专题分析；呈现资源瓶颈、呈现质量短板、呈现关联信息支撑生产和优化方案制定。综合资源数据分析系统面向维护、面向质量、面向经营，通过提取、整合专业网管、综合网管、业务管理、运

2、维管理、市场支撑在内的各层面系统的信息资源，通过对信息深加工和智能化分析挖掘，提供“可视、可分析、可溯源”的能力。打通与BoSS系统接口，结合BSS数据进行跨域分析，解决网络资源的精确投放问题；综合资源数据分析系统提供灵活自定义功能实现多专业的平常分析和跨专业的专题分析，提高运营维护效率，同时也大大减轻了一线人员的压力。2系统设计2.1 系统逻辑架构Pig(DataFlow)Hive(SQ1.)MapReducefJobSChedUling/ExecutionSystem)Hbase(ColumnDb)HDFS(HadpDistributedFileSystem)8(SefiaEtiom云计算

3、基于高效的虚拟计算资源，应用程序，以灵活安全的方式达成快速扩展和缩减的效果，从而交付高品质服务。业务以及客户服务以相对简化的方式交付，这将大大推动立异和高效决议计划。因此综合资源数据分析系统也采用基于云计算的技术架构，采用了服务器池、存储池、网络及安全池架构虚拟化结构。2.2 系统逻辑数据模型综合资源数据分析系统逻辑数据模型划分为五个主题域： 客户主题域：描述各类参与人（个人、集团、团队等）在中国移动业务活动所处角色的各类信息，重要涉及客户、客户性能； 服务主题域：描述中国移动向客户提供的重要服务，重要涉及服务、服务性能； 资源主题域：资源是移动公司拥有的为客户提供服务的所有载体，重要涉及资源

4、、资源性能; 公共主题域：重要涉及基本类型、时间、位置、性能等等; 公司效能主题域：公司效能主题域重要刻画公司内部资源的生产效率，涉及网络的效率和运维人员工作的效率等等;各主题域之间的关系如下错误!未找到引用源。所示:2.3 系统模型结构综合资源数据分析系统服务各级管理、规划、维护、优化及网络分析人员以及希望了解网络数据的市场相关人员，实现匹配网络资源与业务发展，发现网络短板，优化客户感知,提高运营维护效率的目的，为公司运营决策和维护优化提供完整、及时、准确、科学的信息支撑，从而保障网络收益最大化，保持竞争优势。网络综合资源数据分析系统涵盖4大专业，3大网络和8大规模业务，聚焦网络问题，对问题

5、进行层进实溯源分析，实现网络隐患的积极发现与溯源；重点实现语音、短信、彩信、WAPoCMNET和手机报的端到端分析；实现网络概览、网络运营分析、业务能力分析、客户全向分析、网络运营分析、热点聚焦等业务功能。3实现的功能3.1 元数据管理3.1.1 元数据基本功能本章节对元数据管理模块基本功能做出规定和描述，重要涉及元数据基本维护、元数据变更管理、元数据查询、元数据记录、元数据质量管理和元数据权限管理。元数据的基本维护元数据维护提供对元数据的增长、删除和修改等基本操作。对于元数据的增量维护，规定能保存历史版本信息。元数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向综合资源数据分析系统

6、的其它模块提供元数据维护接口。311.2元数据变更管理元数据变更管理涉及变更告知和版本管理两个部分。变更告知是当元数据发生改变时，系统自动发送信息（邮件、短信）给订阅用户。用户可以积极订阅自己关心的元数据，帮助了解与自身工作相关的业务系统变更情况，提高工作的积极性。版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。规定的基本功能是可以显示同一实体的元数据的修改历史。此外还提供版本差异分析和版本变更分析等。并且可以进行单个元数据版本的恢复。3.1 1.3元数据查询对元数据库中的元数据基本信息进行查询的功能,通过该功能可以查询数据库表、维表、指标、过程及参与的输入输出实体信息，以及其它纳

7、入管理的实体基本信息，查询的信息按解决的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。元数据查询功能规定支持对历史版本信息的查询，以了解具体实体的历史变更情况。3.11.4元数据记录元数据记录是指用户可以按不同类别进行元数据个数的记录。方便用户全面了解元数据管理模块中的元数据分布，该记录功能可以按元数据类型、元数据创建者和元数据的版本号来进行记录。3.11.5元数据质量管理元数据管理模块应具有对元数据自身质量进行检查的功能。元数据质量检查包含但不限于以下内容：元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称反复性、元数据关键属性的填充率和元数据关键属性值的唯一性。

8、对于以上检查结果，元数据管理模块可生成具体的检查报告，并可以支持相关人员对检查报告的检索和查找，可以把指定的检查报告导出成Excel、PPT等更易于阅读的文档。元数据一致性检查一致性检查重要是指从运营分析系统中抽取元数据，并与元数据库的相应信息进行比较，及时发现运营分析系统的应用变更，保证元数据的及时更新。一致性检查涉及两种方法：自动检查和人工检查。元数据关系健全性检查在运营分析系统元数据库中，除个别类型元数据之外，各类元数据之间都有着千丝万缕的联系，并且互相间的关联关系需要保持一致，不应出现空链或者错链的情况（即存在外键或链接，但所链接的内容不存在或错误）；运营分析系统各个子系统内部的元数据

9、之间的关联也要保持一致；同时，子系统之间的元数据关联也要保持一致（不能出现某一个系统引用另一个系统中出现的元数据对象，却在另一个系统中找不到这个对象的情况）。元数据管理模块通过元数据的这些关系描述了运营分析系统的数据流向、过程依赖和业务承载等各种内在的规律。元数据关系是否健全直接影响到维护人员的问题判断和解决结果，直接影响着开发者对数据流向的分析和判断，因此，元数据管理模块必须在元数据的关联关系健全性方面作好保障检查工作。对于元数据关系健全性检查工作，可以从以下几个方面进行：数据解决关系检查数据解决关系是数据实体和数据解决过程之间的关系。数据解决关系检查是从元数据库中找出缺少应有数据解决关系的

10、数据实体和数据解决过程。例如，找出没有与任何数据解决过程建立数据解决关系的数据实体和找出没有与数据实体建立数据输入输出关系的数据解决过程。上下级关系检查用户甘当不妹角色甘龙s日用户坦全部用户列我德丛百遗律夕管理员SFFr-alIC.ifi|导入AD用户|-r用户代号姓名EMM电话号码,I200277口算耒300086.2ioHi除$600036三SS生,S00082票着演&200458孳召8t400050Sft200565918Ii300339禁汉文S803009祭港8600045禁丽晔300709期酒生,.300892鬃秋水$400001平少的S392003禁献奂田400011蔡特复(3OO

11、72国300431蔡卫雷330261禁文胜率200448禁小球国200039荔秀有700050禁湾殄S690168期古红软箔_史壁I-720010彝0上下级关系是在元数据库中对运营分析系统实体进行分级管理所形成的元数据关系，例如将指标按业务主题和业务子主题进行分级管理。上下级关系检查是在元数据库中找出存在不合理上下级关系的实体，例如找出没有与任何业务主体建立关系的指标。1组合关系检查与选择用户组成员-网页对话框选择示例成员用户列表用尸蛆成员200277白振荣3300(386包穗雄二3200110卜远珍600036蔡昌琼500082蔡春洪200458蔡春梅400050蔡福良200565蔡高臊30

12、0339蔡汉文803009蔡洁600045蔡丽婵300709蔡梅生300892蔡秋水二组合关系是运营分析系统实体之间的整体和部分关系,例如数据库表和字段之间的关系。组合关系检查时在元数据库中找出存在不合理组合关系的元数据，例如找出没有与任何数据库表建立关系的字段。元数据属性检查元数据属性检查是对元数据库中实体属性具体信息方面的检查,涉及元数据属性填充率检查、元数据名称反复性检查和元数据关键属性值的唯一性检查等。对于元数据属性填充率检查,省公司可以根据自己的建设情况,抽样检查部分重要属性,原则上必须涵盖实体的关键属性。3.11.6元数据权限管理元数据模块的权限管理负责元数据管理功能的权限分派、审

13、批以及访问日记记录，实现对元数据管理模块的数据访问和功能的使用进行有效监控。元数据管理模块的权限管理工作应纳入综合资源数据分析系统中统一管理。3.1.2元数据分析功能本节具体描述了综合资源数据分析系统元数据管理模块功能层的各个分析功能。本章节对元数据管理模块分析功能做出规定和描述，重要涉及元数据血统分析、元数据影响分析、数据映射分析、差异分析和实体关联分析。3.121 血统分析血缘分析（也称血统分析）是指从某一实体出发，往回追溯其解决过程，直到综合资源数据分析系统的数据源接口采集层。对于不同类型的实体，其涉及的转换过程也许有不同类型，如：对于底层仓库实体，涉及的是ET1.解决过程；而对于仓库汇

14、总表，也许既涉及ET1.解决过程，又涉及仓库汇总解决过程；而对于指标，则除了上面的解决过程，还涉及指标生成的解决过程。数据源接口实体由源系统提供，作为综合资源数据分析系统的数据输入，其它的数据实体都通过了一个或多个不同类型的解决过程。血缘分析正是提供了这样一种功能，可以让使用者根据需要了解不同的解决过程，每个解决过程具体做什么，需要什么样的输入，又产生什么样的输出。为实现血缘分析，对于任何指定的实体，一方面获得该实体的所有前驱实体，然后对这些前驱实体递归地获得各自的前驱实体，结束条件是所有实体到达数据源接口或者是实体没有相应的前驱实体。血缘分析应可以以图形的方式展现所有实体和解决过程。3.12

15、2 影响分析影响分析是指从某一实体出发，寻找依赖该实体的解决过程实体或其他实体。假如需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时，评估实体影响范围。影响分析应可以以图形的方式展现所有实体和关联关系。3.123 数据映射分析用户可以查看数据解决程序内部的映射关系，了解数据加工过程的细节。以图形展现数据的解决过程。3.124 差异分析实体差异分析是对元数据的不同实体进行检查，用图形和表格的形式展现它们之间的差异，涉及名字、属性及数据血缘和对系统其他部分影响的差异等。3.125 实体关联分析实体关联分析是从某一实体关联的其它实体和其参与的解决过程两个角度来查看具体数据的使用情况，形成一张实体