[故事之十八] 服务器网卡损坏引起广播风暴

E网十族

[症状]今天是周末，和家人及朋友一起正准备登上“黄山二日游”的旅游列车，忽接网络医院“急诊呼叫”，心想这下完了，整个休假计划准要泡汤。不出所料，某银行向医院求助，其西城区整个网络瘫痪，与电脑中心的联络基本中断，只偶尔有部分交易能达成，但速度很慢，不知何故。由于电脑中心的网管系统也陷于瘫痪状态，无法观察任何网上设备的情况。
[诊断过程]从火车站匆忙告别家人和朋友直奔该行电脑中心，途中与中心主任继续联络了解情况。系统故障是凌晨4:30左右出现的(约4小时前)，值班员当时发现网管系统有报警信号，20秒钟后网管机就基本上处于死机状态了，想进一步了解故障，遂将系统重新启动过三次，每次网管机都在20秒钟左右失效，而主服务器和网管机脱机自检均正常。
询问各营业所网络内部工作情况，回答正常，只是交易动作无法实现。可以基本断定故障就在中心的计算机系统中。中心除了配置有HP公司的网管软件OpenView外，没有再配备其它任何网络维护工具。所以一旦网管系统不能正常工作，运行维护人员也就无从下手。东城区和西城区的网络主服务器分别在两个不同的网段中，之间用交换器连接起来。全城结算主机与东城区主服务器在同一网段。用F683网络测试仪接入东城区正常工作的网段观察，发现Cisco5500交换机的Plot3Port4(第3插槽的第4端口)有异常流量，而该端口连接的正是西城区主服务器和网管系统所在的网段。为更仔细地观察此网段的工作情况，将F683网络测试仪和协议诊断器PI接入该网段，测得网络持续流量为97％，其中错误帧占98％。错误类型为短帧40％，帧常50～60字节不等，长帧58％，帧长3000～5200字节不等，并报告了出错机器的Mac地址。依此地址查找对应的机器，遗憾的是该电脑中心没有Mac地址备份表(只有IP地址和符号名对应表)。试着用ICMP的Ping查找网管机和服务器，显示Mac地址对应的是服务器的IP地址。重装服务器网卡驱动程序，无效，用F683测试服务器端口，协议显示Unknown，更换服务器网卡，重装驱动程序并设置响应参数，重启系统即恢复正常。
[诊断评点]服务器网卡已经损坏，发出的数据帧错误率为98％，只有不足1％的数据正常。所以网络偶尔还有交易可以达成。我们知道，超长帧有封闭网络的作用，主要是引起网络速度变慢或网络瘫痪，而短帧达到一定流量则会对网络设备的工作协议造成一定程度的破坏，引起设备死机(实际测试中发现工作站对此更敏感些)。网管机上网时在收到高错误流量帧后约20秒钟即被破坏死机，无法观测参数。
许多设备在自检时只检查部分参数(有些参数尤其是某些物理参数无法仅靠自检来测试)，此案例中网管机和主服务器自检表现正常，而实际上主服务器的网卡物理功能已经失效，但在自检时与操作系统的通信协议能正常工作，靠1％左右的正常帧可以维持极低的网络活性。其它网站会在高流量错误帧的“轰炸”中陆续丧生。
[诊断建议]交换机用来隔离网段和网络故障有较好的作用，主服务器、网管机等重要网络设备应以独享交换机端口为佳，不宜再用共享式集线器连接上其它设备，这样可以迅速孤立出故障设备，减少因网络停运造成的损失。如果恰好遇到交换器故障，那么根据网络拓扑结构图就可以迅速定位交换机的问题，提高维护工作的时效性。另外，Mac地址是文档备案的最重要内容之一，除了用于排除网络设备故障有极大方便外，对于迅速查找我们称之为“恶意用户”的非合法上网成员也有很大帮助。
[后记]您当然不会想到，两个小时后我们乘上了另一列开往黄山的列车，心情还不错。