大型企业局域网故障问题

bocaccio

单位局域网大概情况：核心下面接服务器接入交换机和终端接入交换机，服务器和终端网关都在核心交换机上，服务器大概有三四十台，终端用户一二百个。正常情况下终端用户都可以访问服务器和互联网。核心交换机是华为9306，接入交换机是思科2900.
最近出现一个很奇怪的问题：1。每天楼层终端会不定时的不能访问80%的服务器，有很多终端访问不了互联网。
2.出问题时在核心交换机上也ping不通服务器地址。
问题排查情况：
1.在服务器接入交换机上接一个笔记本，地址配成和服务器一个段，同一台接入交换机下的服务器有的能ping通，有的ping不通。
2.本记本ping不同接入交换机下面的服务器，有些能通，有些不通。
3.笔记本每次ping能通的服务器，第一个包都会丢。正常情况第一次ping服务器，arp解析，丢第一个包正常，以后再ping 应该不会再丢。但是现在每次ping第一个包都会丢。
怀疑是arp攻击问题，但是通过抓包，也没有发现arp攻击。不知道从何下手了，请各位大神帮帮忙，看有什么好的思路没有？

ayakaforever

ping不通也是有好多种可能的，按照你给的拓扑，笔记本ping服务器不通是二层的问题，你可以通过端口流镜像抓包判断。
我随便说几个可能，比如arp表错误，收不到arp回包，收到错误的arp包，服务器是否能收到icmp request包，服务器是否发出icmp reply包。你看是哪一步出现了问题，才有可能分析出来具体是什么原因。

chzxc820129

core 的cpu? 在無法ping通的時候是否有飆高?

bocaccio

chzxc820129 发表于 2017-5-5 14:25
core 的cpu? 在無法ping通的時候是否有飆高?

核心和接入交换机的CPU都正常，没什么问题。

hahaaaa

hao wei ti o

bocaccio

ayakaforever 发表于 2017-5-5 16:23
ping不通也是有好多种可能的，按照你给的拓扑，笔记本ping服务器不通是二层的问题，你可以通过端口流镜像抓 ...

我也怀疑是二层问题，只是不知道从哪下手，不太会使用抓包工具

alejandro111

二层PING不同，很大可能是服务器网段出现了ARP的问题（病毒、攻击）。 抓包操作不复杂， 可以在连接服务器的交换机上配置一个monitor session，镜像流量到一个特定的端口，将装了wireshark的机器接在此端口直接抓包。或者简单的方法是将一个空口配置成问题服务器网段。直接插上笔记本开始抓包。 抓包应该在故障期间抓， 时间5-10分钟即可。 此时在wireshark上针对arp包进行一个过滤，找到arp reply包。核实reply包中的MAC地址是否为真实的服务器网卡或三层网关地址。如果不对，则为ARP故障（病毒，攻击）。根据该MAC地址找到具体端口，shutdown端口同时找helpdesk查该计算器上是否安装有异常软件，同时查毒即可

bocaccio

alejandro111 发表于 2017-5-10 17:07
二层PING不同，很大可能是服务器网段出现了ARP的问题（病毒、攻击）。 抓包操作不复杂， 可以在连接服务器 ...

恩，谢谢你的建议，现在已初步判断为ARP攻击了，通过科来分析仪发现其中一台终端异常。等待进一步确认，不过问题已经很明了了。
CPCAR on slot 6
-------------------------------------------------------------------------------
Packet Type         Pass(Bytes)  Drop(Bytes)   Pass(Packets)   Drop(Packets)
arp-request            61110852   3902005092          898689        57382426
arp-reply             440480014       168232         6477581            2473

异常接口如下：

GigabitEthernet6/0/31 current state : UP
Description:to_5F_S3352_1
Switch Port,PVID :    1,The Maximum Frame Length is 9216
IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 0025-9ee5-891d
Port Mode: COMMON FIBER
Speed : 1000,  Loopback: NONE
Duplex: FULL,  Negotiation: DISABLE
Mdi   : NORMAL
Last 300 seconds input rate 3140232 bits/sec, 5660 packets/sec
Last 300 seconds output rate 906240 bits/sec, 117 packets/sec

Input:  635464704 packets, 46453039903 bytes
  Unicast:      27022210,  Multicast:   496615
  Broadcast:   607945879,  Jumbo:            0
  Total Error:         0,  Discard:          0

tonyzu

还用分析仪？抓包就看的到。网工基本素质。