基于深度学习的网络异常流量检测系统的设计与实现.docx

《基于深度学习的网络异常流量检测系统的设计与实现.docx》由会员分享，可在线阅读，更多相关《基于深度学习的网络异常流量检测系统的设计与实现.docx（32页珍藏版）》请在优知文库上搜索。

1、摘要在信息化相关基础设置及技术的迅速发展的时代，以网络为基础的各种类型的服务给人们带来了种种便利，但与此同时，针对信息安全的威胁也在不断增多。随着网络安全问题的日益突出，网络安全问题日益引起人们的关注。网络流量异常探测技术能够对各类非法的网络入侵进行实时探测，并对其进行预警，从而降低经济损失。但是，在高速发展的信息化时代，网络攻击呈现出日益复杂和多样化的特点，并且由于网络环境的异质性，其识别难度也日益加大。随着互联网的智能化和大数据时代的到来，传统的网络异常检测技术已经不能满足需求，其根本原因是传统的基于机器学习的方法过分依赖人工，以人的经验为基础，很难对网络中的未知环境进行适应，而且在存在大

2、量未知信息的情况下，会导致检测结果的准确性下降。网络流量是一类时序数据，其波动性具有非平稳性和随机性，因而，传统的网络异常流量检测方法只能对表层进行有效的检测，但对深层的检测精度将大大降低。本次毕业设计结合了深度学习技术，采用了CNN（ConvolutionalNeuralNetworks,卷积神经网络）与LSTM（LOngShort-termMemory,长短期记忆网络）相结合的算法模型对网络流量的数据特征进行提取，人为工作量减少，人力成本降低。通过对已有的网络异常流量检测模型进行分析，构建LSTM网络实现对网络异常流量进行分类和检测，将提取到的网络流量特征作为LSTM网络的输入参数进行预测

3、，为保障网络安全提供了一条有效途径。关键词：深度学习；网络异常流量检测；卷积神经网络；长短期记忆网络；异常检AbstractIntheeraofrapiddevelopmentofinformatization-relatedinfrastructureandtechnology,varioustypesofnetwork-basedserviceshavebroughtvariousconveniencestopeople,butatthesametime,threatstoinformationsecurityarealsoincreasing.Withtheincreasingpromi

4、nenceofnetworksecurityissues,networksecurityissueshaveattractedincreasingattention.Networktrafficanomalydetectiontechnologycandetectallkindsofillegalnetworkintrusionsinrealtimeandwarnthem,therebyreducingeconomiclosses.However,intherapidlydevelopinginformationage,cyberattacksarebecomingincreasinglyco

5、mplexanddiverse,andduetotheheterogeneityofthenetworkenvironment,theiridentificationisbecomingincreasinglydifficult.WiththeadventoftheeraofintelligenceandbigdataoftheInternet,thetraditionalnetworkanomalydetectiontechnologycannolongermeetthedemand,thefundamentalreasonisthatthetraditionalmachinelearnin

6、g-basedmethodsrelytoomuchonmanuallabor,basedonhumanexperience,itisdifficulttoadapttotheunknownenvironmentinthenetwork,andinthepresenceofalargeamountofunknowninformation,itwillleadtoadeclineintheaccuracyofdetectionresults.Networktrafficisakindoftimeseriesdata,anditsvolatilityisnon-stationaryandrandom

7、,sothetraditionalnetworkabnormaltrafficdetectionmethodcanonlyeffectivelydetectthesurfacelayer,butthedetectionaccuracyofthedeeplayerwillbegreatlyreduced.Thisgraduationprojectcombinesdeeplearningtechnology,usingCNN(ConvolutionalNeuralNetworks)andLSTM(LongShort-termMemory)algorithmmodeltoextractthedata

8、characteristicsofnetworktraffic,reducinghumanworkloadandlaborcosts.Byanalyzingtheexistingnetworkabnormaltrafficdetectionmodel,theLSTMnetworkisconstructedtoclassifyanddetectabnormalnetworktraffic,andtheextractednetworktrafficcharacteristicsareusedasinputparametersoftheLSTMnetworkforprediction,whichpr

9、ovidesaneffectivewaytoensurenetworksecurity.KeyWords：DeepIeamingjNetworkanomaloustrafficdetection;Convolutionalneuralnetworks;Longshort-termmemorynetworks;Anomalydetection摘要II目录V第一章绪论-1-1.1 研窕背景及意义-1-1.1.1 研究背景-1-1.1.2 研究意义-1-1.2 国内外研究现状-2-1.3 论文结构-3-第二章相关基础理论-5-2.1 网络流量采集及分析方法-5-2.1.1 网络流量采集方法-5-2.

10、1.2 网络流量分析方法-6-2.2 网络异常流量及其行为-6-2.2.1 网络异常流量-6-2.2.2 网络异常流量行为-7-2.3 网络异常流量检测方法-8-2.3.1 基于规则的网络异常流量检测方法-8-2.3.2 基于机器学习的网络异常流量检测方法-8-2.3.3 基于深度学习的网络异常流量检测方法-9-2.4 本章小结-9-第三章基于TPCNN模型的异常流量检测模型-11-3.1 运行环境-11-1 .1.1基础运行环境要求-11-3 .1.2实验数据准备-11-3.2 TPCNN模型构建-11-3.2.1 设计目的-11-3.2.2 2.2模型实现-12-3.2.4 模型训练-16

11、-第4章异常流量检测系统-19-4.1 UI界面设计-19-4.1.1 流量获取界面-19-4.1.2 流量鉴别界面-20-4.1.3 功能实现-20-4.2 异常流量监测功能设计-21-4.2.1 流量获取模块-21-4.2.2 流量鉴别模块-22-4.3 本章小结-24-第五章总结与展望-27-4.4 1总结-27-4.5 2展望-27-参考文献-29-致谢-31-第一章绪论11研究背景及意义1.1.1 研究背景随着网络基础设施的不断完善和信息化技术的飞速发展，互联网技术与人们的工作和生活变得越来越紧密，网络已经变成了人们生活中不可或缺的一部分。随着信息网络的日益普及，人们对网络信息的安全

12、问题也日益重视。随著网路使用者的增多，连结网路的装置也随之增多。如果不能保证网络的安全，就会使潜在的网络犯罪的受害人不断增多，从而给社会带来难以估量的损失。性能低、误报率高是传统的网络异常流量检测技术存在的问题。面对网络流量数据的急剧增加，采用深度学习的方法能够准确、高效的检测出网络中的异常流量，并在数据量很大的情况下也可以表现出很好的效果，从而弥补了传统的网络异常流量检测方法的不足。在此基础上，利用深度学习技术，对网络中的未知异常流量进行更精确的识别，从而有效地解决了现有方法对未知异常流量的识别和误报率高的问题。随着神经网络技术的复苏，更多的人使用深度学习的方法，并将其运用到实际当中。在异常

13、检测中使系统具有某种程度的智能化，从而可以更好地完成对网络流量的检测。当网络中的信息被输入到网络中时，网络中的信息会自动地被神经网络所学习，并通过类别概率的计算来对网络信息进行分类。相对于传统神经网络，深度学习具有更强的特征提取能力，已被广泛应用于多个领域，而重复性学习可以将原数据映射为新的特征，因此，对网络中的异常流量进行检测是一种很有前景的研究方向。1.1.2 研究意义近年来，深度学习在多个领域得到了迅速的发展，并取得了空前的成就。深度学习利用了将数据表达成神经网络嵌套结构这一概念，具有较好的性能和灵活性，并且随着数据规模的增大，其性能也会逐步提升，因此，它可以取得比传统机器学习更好的效果

14、。深度学习中的自动特征学习能力，降低了手工提取特征的成本和时间成本，在处理复杂、大规模数据和流量数据的特征时，有着更好的表现。深度学习是当前人工智能研究的热点，它不仅能够从底层的异常流数据中提取出高层的特征，而且能够从大量的数据中进行学习。在深度学习领域，卷积神经网络中卷积层和池化层相结合的网络结构能显著减少运算量，提高模型的检测率和分类精度。由于网络中的流量攻击通常是未知的，因此传统的检测方法难以与新型的网络攻击相匹配。在此基础上，利用已有的训练样本，加强模型对未知数据的学习，从而实现对未知网络攻击的快速检测，并提升模型在大时间序列变化下的检测精度。1.2国内外研究现状网络流量指的是在网络上

15、进行传输的数据，对它进行分析是网络异常检测系统的一种主要实现方式，也被视为网络安全相关领域的一个重要研究方向。通常情况下，网络异常检测系统能够实时地收集目标流量数据，并对收集到的流量进行分析，如果发现有异常的流量，就会触发报警，从而有效地抵抗犯罪分子的攻击，增强网络的安全性。目前，国际上已有大量的研究工作，特别是在工业系统，交通系统，医疗系统，建筑系统等方面，异常检测系统得到了广泛的应用。目前，国际上已出现了大量与行业有关的网络异常探测技术，如腾讯开发的御界高级异常检测系统和阿里云开发的云安全中心检测系统等。其中，以腾讯防毒中心为基础,结合腾讯云计算平台的庞大大数据，研发出了具有自主知识产权的

16、腾讯智能防御体系。其关键技术在于，能够有效地探测到未知的网络威胁,并在此基础上，结合内部和外部的数据，对内部和外部的数据进行实时监测，实现对内部和外部的数据流的有效探测。而阿里云所研发的云计算安全中心则是一套能够实时识别、分析和预警的一体化的安全管理体系。通过防敲诈、防病毒、防篡改、合规检测等安全功能，实现威胁检测、预警响应、攻击溯源、自动化、安全运行的闭环。国外以思科的思科流量可视化和智能安全分析平台网和MCAfee的终端防御系统为代表。思科平台能够充分发挥网络终端的数据收集功能，对网络流量数据进行全面收集，关联应用和运维上下文信息，从而实现端到端的可视化。在此基础上，采用基于网络行为的机器学习引擎叫结合全球安全智能大数据，对异常流量