某电台故障处理报告.docx
某电视台故障处理报告1. 故障现象某电视台备播系统存储设备扩容过程中产生瞬时网络风暴，导致重大播出事故，采用应急处理后网络恢复正常，电视台领导责令查找网络风暴产生原因。2. 根底网络环境1.2. 分析方案1 .分析目标查找备播系统内部产生瞬时网络风暴的原因。2 .分析思路第一步：先检查备播网络环境中是否存在干扰因素：如病毒、网络配置不当导致网络环路：第二步：如果没有干扰因素，那么需要重现存储扩容操作过程，查找是否因操作异常导致网络风暴出现；工具软件：利用科来协议分析仪进行精确定位；1.3. 排除环境干扰1) 定位是否为病毒引起1)病毒特征分析根据上面的现象，能够出现这种网络风暴的病毒般情况是蠕虫或者攻击类的病毒，该病毒有如下几种特征：2) 蠕虫类病毒网络层：同大量的主时机话，大多是发包，每个会话流量很少；连接层：连接很多，大多是发出的TCPSYN包，大局部没有响应或被拒绝：总体流量：发包远大于收包数量3) arp病毒ArP扫描病毒：发送大量arp请求，扫描本网段内的mac地址，消耗交换机资源；ArP欺骗攻击：通过主动发送大量的arp响应实现地址欺骗，从而获取其它主机通讯信息，4)结合现场环境情况分析网络中的计算机设备被感染该类病毒后会扫描所有网段内的设备，根据故障现象描述，单台被感染的计算机设备扫描网络的流量不会这么大，除非备播系统内部很多的计算机设备被感染，而且是在同一个时间进行这样的操作，否那么不会导致备播系统内部4台交换机的指示灯全部狂闪。根据了解系统升级前后运行状态均正常，但是褥要查看是否有隐含该类病毒的情况，即是否个别计算机设备存在这类现象，只是数据量比拟小，交换机表现不明显；另外根据故障现象，产生网络风暴应该主要是播送风暴，因此通过抓取播送数据包能够检查是否存在该类现象；2.确认病毒的方法部署协议分析仪（笔记本电脑安装科来软件）：监控对象：在每台交换机上镜像所有端口流量到协议分析仪端口科来软件抓包结果：1）分析软件诊断界面中没有出现频率很高的扫描行为；2 ）诊断界面出现很多IP地址冲突192.168.0.128,经过了解，该IP在所有的计算机上都存在，是HP效劳器默认管理IP,经过了解对网络无任何影响，业务系统中也没有使用该网段；少量arp扫描信息,172.27.112.36、172.27.112.6,经过了解这2个IP扫描属于正常业务情况，这2个效劳器正在查找几个业务效劳器，而这些效劳器已经关机：3 .结果判定备播系统内正常情况下无异常流量；4 .定位网络配置根据上面备播系统网络拓扑图和实际的交换机配置，网络设备物理连接根本为单链路连接，网络设备为2层配置，但是和全台网互联为3层连接，因此初步排查备播交换机网络设备的配置不会存在网络路由环路，但是需要进一步验证是否受全台网核心交换机的影响。网络路由环路原理：同一个数据包在路由器间循环传输最终丢掉；由于路由实际上是不可达的，IP包的TTL值在传输过程中断减小直至1：路由器在丢掉数据包时会向源地址发送ICMP数据包；网络物理环路原理：同一个数据包在2台设备间无限循环传输，不丢弃；循环播送报文形成播送风暴（播送报文死循环），导致整个网络阻塞；部署协议分析仪（笔记本电脑安装科来软件）：监控对象：镜像备播系统内1台效劳器访问通信信息到协议分析仪端口验证思路：看数据包解码中3个参数：IPIDsTTL、ICMP是否同时出现，并且3个参数的特征如下：IPID：如果PID相同的tcp/udp数据包那么表示同一个数据包TTL：即同一个数据包的TTL为第一个值逐渐减1,到最后TTL为1；检查是否有ICMP协议返回给该效劳器；科来分析仪抓包结果：诊断界面：只有诊断界面中出现很多IP地址冲突192.168.0.128,；出现很多IP地址冲突192.168.0.128,前面已经介绍过对网络无任何影响：没有异常报警；少量arp扫描信息，172.27.112.36、172.27.112.6,经过了解这2个IP扫描属于正常业务情况，这2个效劳器正在查找几个业务效劳器，而这些效劳器已经关机；数据包解码界面：3个参数没有上面的特征分析结果：没有网络路由环路和物理环路产生；5 .环境干扰分析总结根据前面对病毒、网络配置的分析结果，网络中的设备无明显大量发包情况，现场网络环境正常，无任何干扰因素。1.4. 重现故障思路：根据前面环境干扰分析总结结果，网络环境正常，而网络风暴是瞬时出现，疑心是操作过程中操作不当导致，因此让存储扩容人员详细讲解和重现扩容当天的操作过程和线缆连接过程，看是否出现故障现象，并通过科来协议分析仪来详细分析和定位。1 .恢复连接存储1的B控制器的数据端口说明：存储控制器上有2个RJ45类型的端口，其中1个端口为数据访问端口，另外1个端口为存储固件升级专用管理口。1）交换机备播系统4台交换机没有出现网络风暴现象；2）科来协议监控对象：交换机上连接存储1的B控制器的数据端口抓包时间：15分钟；概要界面：播送流量所占比例很低：诊断界面：没有异常报警信息；矩阵界面：矩阵连接数量正常，未见明显异常会话连接；TCP会话udp会话/IP会话界面：均正常连接，未见发包数量很多的会话；2 .连接存储1的B控制器的固件专用管理端口根据存储扩容人员回忆，操作过程中A控制器的数据口能够连通，但是B控制器的数据口不通，疑心是端口插错了，于是直接将不通的线缆拔下来插到另外1个端口上，然后去做其它的业务操作，之后便出现了交换机所有指示灯全部狂闪的现象（实际情况是该操作人员把2个控制器标记给记颠倒了）。根据其提供的信息我们按照其操作过程演示了一遍：1）第一次：网线1连接A控制落的数据口，网线2连接B控制器的固件管理口现象：网线1能够连通,网线2连接后不能Ping通172.27.112.20后交换机现象：备播系统4台交换机没有出现网络风暴现象；部署协议分析仪（笔记本电脑安装科来软件）：监控对象：镜像交换机连接B控制然的固件管理口的通信信息到协议分析仪端口抓包分析结果：抓包时间：15分钟：诊断界面：没有异常报警信息；概要界面：播送流量所占比例很低：矩阵界面：矩阵连接数量正常，未见明显异常会话连接；TCP会话udp会话/IP会话界面：均正常连接；2）第二次：网线1连接A控制器固件管理口，网线2连接B控制器固件管理口交换机现象：备播系统4台交换机立刻出现网络风暴现象：部署协议分析仪（笔记本电脑安装科来软件）：监控对象：镜像交换机连接B控制器的固件管理”的通信信息到协议分析仪端口抓包分析结果：抓包时间：持续；诊断界面：网卡2连通后立刻出现arp请求风暴，并且数量不断增加，源IP为2台效劳器IP：矩阵界面：矩阵连接数量正常，未见明显异常会话连接；数据包解码：主机172.27.112.36和172.27.112.6发送arp请求的数据包非常频繁：访问的目标IP比拟固定，经过了解这些IP是业务工作站和数据库的IP,只是当时这些设备关机了：处理：将连接B控制器固件管理口网线2拔掉后，网络立刻恢复正常；3）第三次：将有问题的2台效劳器网卡断网，并重新将网线2连接B控制器固件管理口网线连通后没过多久，又再次出现以下现象；交换机现象：备播系统4台交换机立刻出现网络风暴现象：部署协议分析仪（笔记本电脑安装科来软件）：监控对象：镜像交换机连接B控制器的固件管理的通信信息到协议分析仪端口抓包分析结果：抓包时间：持续抓包；诊断界面：再次出现arp请求风暴，并且数量不断增加，源IP为其它效劳器IP；处理：将连接B控制器固件管理口网线2拔掉后，网络又立刻恢梵正常；至此找到该故障现象，出现交换机网络风暴是人为操作不当导致：网线应该连接到控制器数据口，但是被错误的连接到控制器的固件管理端口上，经过与存储扩容操作人员确认，确实有这种情况；1.5. 深入分析与结论1 .存储控制器第一：2个存储控制器的固件专用管理口实际上为1个物理端口，可能是控制器板卡内部部件将这2个固件的管理端口连通，经过与厂商工程师了解得到确认；第二：由于2个存储控制器的固件专用管理口为1个端口,因此同时连接2个控制器的固件管理口会直接将交换机2和交换机3物理连通，导致交换机物理环路：2 .交换机被物理环路的表现特征向播送地址X.X.X.255发送的数据包频率很高，在亳秒级；向播送地址X.X.X.255发送的数据包的IPID号相同、TTL值不变：发生物理环路会出现arp请求风暴报警，即网络中同时会伴随大量的arp请求数据包出现，不能找到目标MAC的arp请求数据包被交换机重复转发，造成死循环，最终导致ae请求风暴出现：同时如果将出现a2请求风暴的设备断网，那么会陆续有其它设备接连出现请求风暴报警；3 .交换机配置经过检查交换机上的生成树spanning-tree协议没有启用，在交换机存在物理环路的情况下没有阻塞其中1条链路，从而导致数据包被重复转发。1.6. 故障解决交换机上启用生成树SPanning-tree协议：4台H3C5600交换机：stpenable验证：再将2个存储控制器的固件专用管理口同时连接，没有网络风暴现象出现。1.7. 案例自评1 .故障简单，但是处理过程中重现该故障具有一定的操作难度：2.在没有原始数据包的情况下，查找产生瞬时网络风暴思路处理过程清晰：物理环路特征总结：IPH）相同、TTL值相同、伴随arp请求风暴报警；
