基于大数据的智能风险防控平台设计与实现.docx

《基于大数据的智能风险防控平台设计与实现.docx》由会员分享，可在线阅读，更多相关《基于大数据的智能风险防控平台设计与实现.docx（20页珍藏版）》请在优知文库上搜索。

1、前言近年来，受宏观经济下行压力加大、监管要求趋严、市场竞争加剧与犯罪形态升级等多重因素影响，防控金融风险的重要性日益凸显。商业银行作为金融中介机构，其经营本质是对风险的承担和管理。伴随着金融体系复杂程度的提高以及全球金融一体化进程的加快，商业银行的经营环境日益复杂，面临风险进一步加大；在新形势下，智能风险防控能力己成为商业银行获取竞争优势的关键。基于大数据、人工智能（AI）、生物识别等新技术培育大数据风险防控能力，加快智能风险防控平台的应用落地，已成为金融领域专家及学者研究的热点。陈稀结合大数据技术和Al技术，通过引入内置分析工具与监测模块，为商业银行审计部门设计并实现了以风险为导向的智能审计

2、系统。丁世博针对互联网企业在业务快速增长时所面临的业务安全问题，研究了基于面向服务的架构（SOA）框架的安全风险防控平台。张鲁男等以风险防控系统的架构、规则引擎和阈值体系的设计为基础，详细介绍了基于规则引擎并利用Al算法的实时业务风险防控系统。郭锐从大数据风险防控平台应用的概念特征及理论基础出发，论述了大数据风险防控平台对金融信贷发展的重要作用，并以某公司为案例，分析了大数据风险防控平台构建与运营发展过程中存在的问题并提出对策建议。目前多数风险防控应用系统是针对特定交易场景或业务需求进行逻辑处理的，并没有建立实时、动态、可更新、可扩展的风险防控体系。本文以智能风险防控平台的设计框架和实现方法为

3、研究对象,论述数字化转型背景下商业银行对智能风险防控平台的迫切需求；同时基于大量实践经验，从大数据智能平台的关键技术出发，提出一种高可用、高复用、易扩展、易伸缩的风险防控平台架构以及各功能模块的设计方法；以某金融机构部署的智能风险防控平台为例，从应用角度说明该方法的实际成效，据此对智能风险防控平台的应用发展提出建议。*、构建智能风险防控平台的需求分析（一）宏观需求分析1 .国际环境震荡多变，风险形势复杂严峻在世界经济陷入低迷、贸易摩擦不断升级、地缘政治持续紧张等诸多因素的影响下，我国经济转型发展阻力加剧。金融是经济的血脉，防范化解金融风险,促进经济健康高质量发展，是我国决胜全面建成小康社会、全

4、面建成社会主义现代化国家的必然要求。“十九大报告中把坚决打好防范化解重大风险列为三大攻坚战之首，其中防控金融风险是重中之重。十九届四中全会和中央经济工作会议提出，要打赢防范化解重大风险攻坚战，必须推进治理体系和治理能力现代化。2 .监管要求持续从紧，风险打击治理从严由于缺乏相应监管，支付行业经历一段时间的野蛮发展，造成支付市场乱象丛生，风险事件频频发生，网络赌博与电信诈骗风险尤为突出。针对该情况，中国人民银行及监管部门陆续出台了一系列规范与监管措施，严厉整顿支付市场乱象。2016年，中国人民银行发布261号文件，提出加强支付结算管理防范电信网络新型违法犯罪的有关事项；2019年的85号文件强调

5、需进一步加强支付结算管理，防范电信网络新型违法犯罪的发生；2020年的155号文件部署开展为跨境赌博、电信网络诈骗等违法违规活动提供支付结算服务的风险排查与整治工作。面对严监管常态化的政策环境，商业银行应严格落实监管政策要求，补齐风险防控短板，严防发生系统性风险。3 .业态变革不断加速，风险特征升级演变随着支付参与主体更加开放和多元，支付的内涵和外延发生全方位变革，新型支付方式不断推陈出新，扫码支付、手机闪付、无感支付等移动创新业务成为主流，在便利人们生活方式的同时，也对传统银行的风险防控能力提出挑战.犯罪团伙通过网络化渠道并借助程序多开、分身软件、短信嗅探等黑灰产工具对移动创新业务各环节实施

6、精准化攻击，风险防控压力向注册、开户、交易、转账等全链条渗透。商业银行应与时俱进，提前布局新型支付产品的风险防控体系，针对犯罪分子攻击新业务的手段和特征变化快的特点，升级风险防控技术能力，强化智能风险防控建设。（二）技术需求分析传统的风险防控体系以定性风险管理为主。然而，基于传统架构所设计和研发的风险防控系统已经不能满足业务快速发展的需要，突出表现在以下三方面。风险防控系统与业务系统的紧耦合导致重复建设和数据孤岛传统系统设计通常采用垂直应用架构，风险防控系统往往作为业务系统的一个子模块；在业务形态较为单一的早期，这种架构的问题并不突出，但随着业务创新的加快，这种架构将导致大量重复的功能建设。例

7、如，某商业银行重复建设信用卡风险防控系统、手机银行风险防控系统、在线支付风险防控系统等多套类似功能的系统,造成系统维护和升级的高昂成本；这样的架构也不利于数据沉淀，各个风险防控系统彼此难以打通，数据视角只能局限在其对接的业务场景中，而无法建立全局风险防控策略。单机存储与算力的限制导致风险防控特征计算范围的瓶颈。风险防控系统的核心是风险特征计算，即从卡片、商户、设备等不同维度计算一段时间窗口内的统计指标，从而刻画风险程度的高低，统计指标的时间窗口跨度、统计函数的复杂度直接决定了风险防控能力的强弱。然而，传统的以AIX/DB2为代表的小型机架构一般只能通过增加单机的中央处理器（CPU）、内存、磁盘

8、等方式提高处理能力，代价高昂；随着数字互联时代的到来，在大规模高并发的交易行为处理方面显得力不从心。规则模型迭代周期长导致无法应对层出不穷的新欺诈。当前的犯罪形态已经从个体化和作坊式向集团化、专业化、智能化和国际化转变，加之猫池、伪基站、自动化脚本、流量劫持等网络黑灰产已形成一个庞大的产业链，进一步降低了犯罪成本。然而，传统风险防控系统仍然大量依赖“事后分析的专家规则，规则参数与模型变量迭代周期长，无法满足“事前甄别、事中干预的新需求。此外，受制于底层的数据治理和模型训练环境，单纯依靠机器学习算法并不能解决所有的风险防控难题。三、基于大数据的智能风险防控平台关键技术构建一个能够有效支撑大数据应

9、用的智能风险防控平台，涉及大数据处理、实时计算、机器学习算法等多项关键技术，(一)大数据处理大数据可以概括为海量数据+复杂类型的数据。HadOOP是典型的大数据批量处理架构，目前己发展成为以分布式文件系统(HDFS)分布式计算框架(MapReduce)分布式数据库(HBase)等功能模块为核心的完整生态系统，支持在大型集群服务器上对文件进行分布式处理。Hadoop主要采用分而治之的思想，先对大规模数据的计算任务进行分解,然后派发到众多计算节点分别完成。其中，HDFS负责将大规模文件分布式存储在多台服务器中，适用于海量数据的存储和读取；MaPRedUCe实现任务分解和调度，负责协调计算任务在多台

10、机器上并行运算；HbaSe是运行于HDFS文件系统上的分布式非关系型数据库，主要用来存储非结构化和半结构化的松散数据，支持数据的实时随机读写。SPark是另一个知名的批量数据处理平台系统，但与MaPredUCe将计算中间结果保存在磁盘上不同，将中间计算结果存放在内存来减少迭代过程中的数据落地，能够实现数据高效共享，提高迭代运算效率。（二）实时计算Hadoop等批量操作静态数据的方式在处理实时性要求较高的业务时，难以满足应用需求。流式计算可以直接处理运动中的连续数据流，在接收数据的同时计算数据，实现秒级响应。Storm、Flink是流式计算框架的重要代表。Storm是TWitter公司支持开发的

11、分布式、处理流式数据的系统，采用主从式体系结构,包含一个主节点和多个从节点；主节点负责系统资源的管理和任务的协调，从节点负责执行具体的任务。Flink是Apache软件基金会开发的，以数据并行和流水线方式执行任意流数据的分布式处理引擎，突出特点是将所有任务当成流来处理；批数据可作为流数据的一个极限特例，因此Flink同时支持批数据和流数据的处理，采用多线程的方式来极大提高CPU的使用效率，具有高吞吐、低延迟、高可靠、精确计算等特性。实时计算同样离不开消息系统和内存数据库的支撑。Kafka是分布式发布订阅消息组件的代表，由APaChe软件基金会开发，支持中央式流数据处理；由发布者向代理发布消息，

12、订阅者订阅消息的方式处理流式数据，将消息系统、存储系统、流处理系统组合构成了灵活伸缩的流式数据处理平台CRediS是以key-value形式存储数据、运行在内存中的数据结构存储系统，可以用作数据库、缓存和消息中间件，适用于高并发、大数据量的处理，能克服单一使用关系型数据库来保存数据所导致的磁盘读/写速度较慢等严重性能弊端。（三）机器学习传统数据分析技术是基于特定任务，使用预先设定的方法分析数据隐藏规律。机器学习则是在历史数据中自动发现规律并利用规律对未知数据进行分类或预测，常见的机器学习算法有监督算法、无监督算法、半监督算法、图算法。有监督算法利用己标识数据作为训练集来建立函数模型，再用模型来

13、预测未知样本，例如逻辑回归、随机森林等；以先验知识作为输入模型训练效果相对较好，但因需要人工标注数据，所以训练成本相对较高。无监督算法通过对无标识样本集数据的学习来获取数据的内在模式及统计规律，如K均值聚类、主成分因子分析等；由于不需要对数据集进行标记，相应训练成本较低但训练效果难以量化。半监督算法是有监督与无监督的结合,在训练过程中利用小部分的标记数据、大部分的非标记数据进行训练学习，如标签传播算法等。图算法借助关系网络，通过个体之间的行为等信息建立全局的关系图，进而在全局关系图上发现具有一定行为模式的团体。四、基于大数据的智能风险防控平台总体框架设计（一）设计目标1 .打通数据壁垒为顺应银

14、行业的数字化转型，从平台定位的角度看，风险防控系统不应作为业务系统的附属子系统，而应视为大中台的重要组成部分，“一切业务数据化、一切数据业务化也已逐步成为行业共识。风险防控平台需要具备完备的数据接入能力，通过灵活的报文结构设计，能主动或被动地从各个业务系统实时采集数据、完成风险评估、执行风险防控动作。2 .平衡计算资源实时决策己逐渐成为风险防控系统的标配，但是硬件资源的投入同样远超准实时和批量系统，如何最大化利用计算资源的投入是不可回避的问题。应充分借助大数据平台处理海量数据的优势，将特征计算与模型计算解耦，从两个方面平衡计算资源：一方面，对于指标特征的计算应区分为在线与离线两类，对于多日特征

15、提前交由大数据平台计算完成，T+1日加载至内存中；另一方面，将模型区分为在线模型、离线模型，对于时效性优先的风险防控场景（如交易反欺诈、申请反欺诈场景），采用在线的有监督树类模型来提高模型计算效率，而对于分析广度优先的风险防控场景（如洗钱团伙场景），采用离线的无监督与复杂网络模型来最大程度地挖掘潜在风险网络。3 .具备迭代能力风险防控是Al技术应用的热点领域，各类软件包、建模工具日趋完善，基于海量样本和数学统计学的风险防控模型也正在逐渐取代基于小样本和专家经验的风险防控规则，但风险防控模型同样面临迭代周期长、迭代难度大的现实困难。因此，在风险防控平台设计中应考虑模型训练环境与运行环境的一体化，

16、将模型迭代配置为一种业务人员可自主操作的轻量级更新,从而无需依赖整个风险防控平台的更新；在数据脱敏的前提下，尽可能保证建模环境与运行环境的数据一致性，避免模型在离线表现的差异性导致模型迭代失败。（二）框架组成本文提出一种五层两域总体框架（见图1）,纵向涵盖风险数据层、特征计算层、风险模型层、决策引擎层、业务接入层等5个功能层，各层之间松耦合、无状态、可扩展。风险数据层包含底层的数据集市、各维度的数据标签以及良好的数据管理功能；特征计算层同时支持实时数据的在线计算、批量数据的离线计算，通过统一的特征计算调度模块实现对特征计算函数和计算周期的灵活配置；风险模型层主要用于部署有监督、无监督、半监督、复杂网络等机器学习算法，具备模型训练、验证、部署的模型全生命周期管理功能；决策引擎层完成各类风险防控规则的配置和管理，规则执行时可以调用风险模型的计算结果，最终决策当笔交易的阻断、挂起或