Synball 数贝软件领先数据共享交换平台、数据集成和数据.docx

。TurboD×数贝软件TUrboDXTM基于Web和流处理技术新一代异构数据库复制同步、交换整合、加载产品一支持大数据MPP数仓、Hadoop>Kafka集成技术白皮书数据资源管理与整合数据共享交换产品开笈与服务北京数贝软件科技有限公司摘要介招今天的企业/政府领导越来越意识到数据资源的币要性。面对日益增加的数据、以及复杂的异构环境，如何更快.更方便地获取原有沉积在各种异构应用系统孤岛(SiIoS)中的数据，以及通过梳理、分类、管理、整合成为有价值的数据资源，更有效地应用于实时分析报SfReaI-TimeReporting),商业智城(B1.)、大数究(BigData)智能A1.应用、以及对外共享等，企业/政府需要方便易用的、可自主管理和可自我服务的(SeIf-SerVice)、可统一管理的、可扩展和可靠的、可快速部詈于本地或云中的企业级数据釐制同步和交袂整合产品解决方案.降低数据资源开发和使用的成本，避免陈旧传统技术产品解决方案所带来的困扰和问题。对于陈旧的基于ET1.的解决方案,我们求听到诸如一黑箱技术、易用性差、效率低、实时性差、本身又造成孤品、缺乏集中统一管理等许多来自用户的差评。根据IDC研究报告的疑计，客户对于传统的数蠢交换,但制、ET1.解决方案在性能方面的满意度极低.满意的用户只占17%左右。基于20多年前陈旧技术的ET1.解决方案面临着许多也于解决的挑战，主要有以下几个方面：(1)日掾增加的异构数据源环境，包括各种关系组数据库.结构化及非结构化数据、以及NoSqkNewSqI数亮库和“数据湖"及大数据平台(HadoOp、Kafka)的应用环境。(2)在企业/政府私有云和混合云的计算环境下，传统产品的C/S架构难于满足构建云与边的数据交换，以及在云中心的部署弁支持远程多租户共享使用方式的要求。在一个现有的企业环境中，往往不同项目要购买多套ET1.产品，各自成为孤岛.难于实现元数樨集中的统一管理、共享和任务的监控和运维,造成元数据目录管理与数据共享交换到裂的“二张皮”。(3)需要编写(二次开发)脚本语W或所谓的“模板蛆件.产品的使用对象主要是面向技术开发者的，易用性差、时间冏期长、成本高而.难于满足业务部门对数据的快速需求；而另一方面,越来越多的企业数究分析人员希望产品提供简单易用的功能.并实现自我服务'模式和数据端到端”的可视化管理。(4)传统的ET1.解决方案产品,往往采用批处理(batch)的数据采集/抽取方式,需要开发大的任务数,造成ET1.任务服务器不堪变负，实时性差，交换效率低下。北京数贝软件科技有限公司自主研发的TUrboDXTM产品，采用最新的基于Web、流处理和微服务的架构技术。整体架构由三个域组成：数据源、TUrboDXSerVer、及交换目标。用户通过简单易用的Web设计界面和控制台与TUrboDXSerVer后台交互。核心功彘包括：数据源连接、元数据目录、数据样例查看、复制同步、交换整合、文件传输交换、结构化文件加载、Kafka对接、任务管理、任务调度等功能模块。技术特点包括：异构数据摩全(FM1.oad)复制同步、非侵入式(Non-intrusive)增量CDC同步.数据盅拟化(DataVirtUaI1.ZaUon)及大数据整合(B1.gDataIntegration).多城程并行流式处理、优化的可犷展性和灵活性、以及方便易用的基于WebB/S的任务配置利实时监控管理界面。摘要介绍1一、TUrbODX1.M架构41.1 异构数据阵全员(FuII1.oad)增Jit(O)C)复制同步41.2数据过池(F1.Iter)和数据转换(TranSformation)61.3 大数据集成(BigDataIntegration)71.4 数据源连接及元数据采集81.5 元数据目录及数据查看81.6 交换整合数据8二、TUrbODXCDC技术92.1 传统的增量数据获取技术92.2 日志模式(CDC)技术9三、产品特色103.1 非侵入式(CDC)增数据获取103.2 完全基于B/S用户界面103.3 基于Web、内存流处理的先进技术架构、交换性能吗113.4 支持多种数据交换应用场景，提供图形化的统一监控和11志管理113.5 支持人数据集成(BigDataIntegration)123.6 支挣远程安全通道服务.WAN传输加速123.7 数据虚拟化和元数据技术123.8 分布式扩屣构建跨部门平台12关于数贝软件14一、TUrbODxTM架构整体架构由三个域蛆成：数据源、TurboDXServer,及交获目标。用户通过简单易用的Web设计界面和控制台与TUrboDXSerVer后台交互。这个产品架构通循公司致力于通过提供先迸的、方便易用的、高性能的、可扩展的产品解决方案，为企业/政府部门更好地挖掘利用数IK资源服务的理念。TUrt>Du架构图1.1异构数据降全员(FuII1.oad)增量(CDC)复制同步用户可以单独设立一个全量交换任务或增量交换任务,也可以同时设立一个全量+增量任务.全交换采用多畿程多表并行处理，优化交换传输和加载效率.增支持通过扫描数据库日志(在线或归档日志)的方式捕获变化数亮CDC1这种方式对于数据源应用系统的影响降至几乎为零(V3%)。增量事务数霜被打包成事件流弁加我于目标数据库。对于在线运行中的应用系统，在全量交换过程中可能持续有新的数据进入，为了保证源和目标的数据一致性，则应送择全量+带*CDC并行的任务方式。该方式是任务启动时,增(CDC)同时启动开始捕获数樨，但此时并不加戴于目标，而是等全交换完成后再将增量数据加载,从而哨保了源和目标数据的一致性。全(Fu1.1.1.oad)采用多姣程多表并行处理，大大提高全量交换和加载效率；可单独设St读表并发数及写表并发数,用户可根据机器硬件的性掂.选择最大并行数，迸一步优化效率。全交换支持断点接力续传的特性，如果全量交换过程中断则下次运行任务时会从中断的库表继续开始，节省委复交换的时间。全量任务的目标源支持关系型数据库、MPP数仓、MongoDB.Hive、HBase.Kudu.Kafka通道等。对于特定的目标数据库/仓声如：MySQ1_、POStgreSQ1.、GBaSe8a、华为GaUSS/DWS、Greenp1.um.Vertica等.除了缺省的batch加载模式，产品还提供针对不同数据用个性化的文件流加载模式，大大提升全量的加载效率。«I(CDC)采用非侵入性、扫描数据焯在线/归档日志的方式获取增量数据。目前版本TUrboDX4.0支持Orade(RAC)、SqIServer,MySQ1.MariaDB,PostgreSQ1.,InfOrmiX等的日志扫描CDC功能。这种方式不同于触发器(Trigger)模式,无需在源声中建立触发器成全局扫描比对堵,从而将对源应用系统数据库的影响降至最小(,3%)。对于某些厂商的老版本数据库或不支持日志CDC功能的源数据库，可以使用交换整合的任务类里交换数克。系统另支持采用触发置、标识位、时间数、全比对等精统方式荻取增数据，以及对视图的支持。塔(CDC)一个重要的特性是按事务(TranSaCtiOna1.)完整性边界及时间次序CrimeSeneS)交换数据，从而保证源和目标数据的一致性，这对一些业务场景十分更要。为了提升CDC增量加载到目标库的性能产品提供支持按单事务、合并事务、分拆事务多战程并发写人等多种模式供不同场景来选择，提升写辘的写入性能。CDC流处理策构限1.2 数据过i(Fi1.ter)和数据转换(TranSformat沁n)无论是全量或增量的数据黛制同步/交换整合过程，均有两个重要的数据处理功能,即过宓和转换功能。 过速(Fi1.ter)如果针对源数据库中的库表字段的值设定过宓条件，则不满足此条件的行记录将会被系统过谑掉，而不会技加载到目标底中。TUrboDX采用了先进的流式过iS(StreamFiIter)技术，大大提升过渡的处理效率。 转换(Transformation)在有的应用情况下，交换复制的目标数据不完全是与源数兆一康一样的娉贝。TurboDX提供图形化数据转换功能，允许用户自定义源与目标之间的数据转换关系，并自动进行转换处理，如包括：更新命名目标SChema、目标表及字段、增删字段、改变数嘉类型和长度等：在源和目标为异构数据声时.如果用户没有自行定义转换关系，趺省情况下,系统提供智能匹配技术，自动进行异构数据摩类型的转换处理。系维提供了几十种常用的函数.包括对敏窸数据(PH)常用的脱敏函数,用户可二次开发自定义的扩展函数。防Ift功能1.3 大数据集成(BigDataIntegration)部詈Kafka,日益成为企业大数据架构应用的标配。使用TUrboDX,可用快速地实现从各种业务系统中采集实时数据，批处理或实时流加找到Hadoop,Hive、HBaSe、Kudu或实时注入到Kafka应用主题中,提供给子其它甚于Hadoop,Storm.Spark、或NoSq1.NewSq1.MPP数据库/仓库等应用来消费。TUrboDX不但为各种大数据应用提供高效实时的数据来集息姣(DataBUS).并提供笠一的元数据目录、回业EQ三圉、元敏18管理任第沟度监控通知财务数意UTUrboDX企业数据总线)1.UEB/晶任务调度和监控管理。十ZTpSborf?/的夕然一,>.今S1.OnnmongoDB>维TIRM民1.4数据源连接及元数据采集TurboDX采用灵活的架构,允许用户管理数据源连接驱动包，并定义数况源适配器连接功彘。基于可用的数据源熟础上，系统提供元数据采集及梳理功罪,形成元数据目录。TurboDX采用了先进的数据虚拟化(DataVirtUa1.iZatiOn)技术，屏蔽各异构数据源数据结构的差异性,并提供虢一的数据展现形式.1.5 元数据目录及智能分析提供数况源的元数据采集、标签化梳理、元数据智能分析，包括字段级的语义识别、数据关系分析(知识图译)、主数据机理等功能.在元数据目录的基础上.用户可以查询、SS样例数据、迸行数据分析、标注中文谱义等元数据操作。系统通过建立虚拟字段关联数据、以及为关联的多表数据建立掇合视图，及提供古看整合数据的功饶.为数据整合交涣提供必要的样例分析服务。通过元数据目录的功能，让用户可以实现“所见即可交换、结果即可验证”的端到端”可视化管理。1.6 交换整合数据塔(CDC)复制同步任务以保持事务(TranSaCtionaI)边界,将一个事务中涉及的多表致据，按照与源端对应的数第库操作写入目标端，从而保证源和目标数据的一致性。整合数据的交换不同于数据复制。整合数据往往是以业务关联的数据为边界.保证相关联数据的完整性获取和交换。TurboDX采用先进的元数据(MetaData)技术，对需要整合的多表数据先进行迎旅关联,并建立整合视图,再通过交换任务的配置,实现整合数据的交换并“落地”目标库中。整合数据/视图的增获取支持采用CDC,触发器Crrigger)、标识位、时间I1.全比对等方式,由定义的触发事件驱动，并将整合数据打包交换到目标库中。整合数据交摸支持-8-"1对、"多对T'整合及T对多”分发的任务场景。二、TUrboDXCDC技术2.1 传统的增5数据获取技术传统的非日志模式增量获取技术