双机热备：双机配置或设备状态不一致

小乔

双机配置不一致现象描述

在双机热备环境下，登录主备设备任何一台的Web界面，选择“系统 > 高可靠性 > 双机热备”，单击“一致性检查”，再单击“详细”发现主备设备配置存在差异，部分配置在主用设备上存在，在备用设备上不存在；也有部分配置在备用设备上存在，在主用设备上不存在。

                               
登录/注册后可看大图

可能原因

• 主机和备机启动的初始配置不一致。
• 双机状态曾经出现过故障，导致主备机之间配置备份异常，在此期间进行的配置会存在主备差异。
• 主机或者备机曾经关闭过配置备份功能。
  

操作步骤

通过主机和备机黑匣子记录，确认设备最后一次启动的时间点：
HRP_M[sysname-diagnose] display black-box information startup
Reason ID  Slot  Date(Y/M/D)  Time(H/M/S)  Reason                                    Para1  Para2
3          0     18/07/12     02:26:23    Software reboot                            1     0
2          0     18/07/11     11:24:51     Software reboot                            1     0
1          0     18/07/11     11:00:44     Reset key reboot                           1     0
通过FTP将主机和备机上最后一次启动之后的所有日志全部导出：
HRP_M<sysname> dir   
Directory of hda1:/log/  
  Idx  Attr     Size(Byte)  Date        Time       FileName
    0  -rw-        135,217  Jul 12 2018 04:02:48   log.dblg
    1  -rw-      8,040,645  Jul 12 2018 04:16:11   log.log
    2  -rw-          4,506  Dec 12 2017 19:02:56   blackbox_vrp
    3  -rw-        841,245  Jul 08 2018 20:37:14   2018-07-08.20-36-55.log.zip
    4  -rw-        837,455  Jul 09 2018 17:50:06   2018-07-09.17-49-49.log.zip
    5  -rw-        840,753  Jul 10 2018 15:55:06   2018-07-10.15-54-49.log.zip
设备重启后，配置恢复的命令行也会有日志记录，“Task=CFM”就可以确认是设备配置恢复。对比主备机的所有配置恢复命令行，确认是否有差异：
Jul 12 2018 02:21:18+02:00 DST sysname %%01SHELL/5/CMDRECORD(s)[12]:Recorded command information. (Task=CFM, Ip=**, VpnName=, User=**, AuthenticationMethod="Null", Command="web-manager enable")
Jul 12 2018 02:21:18+02:00 DST sysname %%01SHELL/5/CMDRECORD(s)[13]:Recorded command information. (Task=CFM, Ip=**, VpnName=, User=**, AuthenticationMethod="Null", Command="web-manager security enable")
如果两台防火墙的启动配置一样，那说明是启动完成之后导致的双机配置不一致。防火墙所有的命令行配置，都会生成操作日志。
Jul 12 2018 04:12:57+02:00 DST sysname %%01SHELL/5/CMDRECORD(s)[847]:Recorded command information. (Task=co0, Ip=**, VpnName=, User=admin, AuthenticationMethod="Local-user", Command="default action deny")
在主机上查找日志，确认主机配置该命令行的时间点。同时在备机上改时间点也找一下日志，确认备机是否有执行同样的命令行，如果是从主机上备份过来的命令行，备机的操作日志的Task是HRPT：

Jul 12 2018 04:13:56 sysname %%01SHELL/5/CMDRECORD(s)[722]:Recorded command information. (Task=HRPT, Ip=**, VpnName=, User=**, AuthenticationMethod="Null", Command="default action deny")
如果在备机上查找不到对应的操作日志，先确认主备机是否有配置关闭自动备份功能，在日志中查找是否存在以下操作记录：
Jul 12 2018 07:29:01+02:00 DST sysname %%01SHELL/5/CMDRECORD(s)[2059]:Recorded command information. (Task=co0, Ip=**, VpnName=, User
=admin, AuthenticationMethod="Local-user", Command="undo hrp auto-sync config")
如果主机和备机都没有关闭过自动备份功能，还是出现了配置不备份的情况，说明主备机的状态应该出现了问题，可以在该命令行执行的时间点前后查找HRP状态变化的日志HRPI/4/CORE_STATE，确认命令行执行时间点是否双机已经出现了异常，日志如下所示：
HRPI/4/CORE_STATE:HRP core state changed, old_state = [old-state],  new_state = [new-state], local_priority = [local-priority], peer_priority = [peer-priority].
联系华为工程师。
如果故障未排除，请联系华为工程师获取帮助。



双机配置不同步现象描述

主机和备机配置存在差异并不能说明双机配置不会自动备份，有可能是一开始主备间配置就存在差异。验证配置是否同步的比较好的方法是，在主机上新建一个ACL，然后在备机上看看这个ACL是否已经生成。

HRP_M[sysname] display acl all   //查看主机存在哪些ACLHRP_S[sysname] display acl all   //查看备机存在哪些ACLHRP_M[sysname] acl 3333          //新建一个主备机都不存在的ACLHRP_S[sysname] display acl all   //查看备机是否生成了对应的ACL，如果没有生成，说明双机配置不同步。测试完成后，把新建的ACL删除。
可能原因

• 心跳口异常
• 主机或者备机任何一端配置了配置不自动备份。
• 备机配置冲突导致备份失败
  

操作步骤

• 检查两台防火墙心跳口状态是否正常。
  HRP_M[sysname] display hrp interface               GigabitEthernet1/0/0 : running
  如果心跳口非running状态，需要先调整恢复心跳口状态。
• 检查主机或者备机是否有配置不自动备份，两端任何一端配置了不自动备份，都会导致双机间配置不同步。
  HRP_M[sysname] display current-configuration | include hrp  hrp enable                                                                      hrp interface GigabitEthernet1/0/0 remote 1.1.1.1                               undo hrp auto-sync config   
  主机或者备机配置了不自动备份都会导致该问题，需要启用自动备份功能。
• 检查不同步的配置，确认两台设备是否存在配置冲突。
• 联系华为工程师。
  
  如果故障未排除，请联系华为工程师获取帮助。
  
  

双机会话表项不一致现象描述

主机和备机的会话数不一致，主机的会话数多于备机的会话数。

HRP_M<sysname> display firewall session statistics Session Statistics:  Slot 11 cpu 0:       1120  Total 9 [0.01%] session(s) on all slots. HRP_S<sysname> display firewall session statistics Session Statistics:  Slot 11 cpu 0:       850  Total 9 [0.01%] session(s) on all slots.
可能原因

主备场景下，业务流量经过主机，创建会话，会话备份到备机。负载分担场景下，业务流量可以经过主机或者备机，创建会话之后，都会同步到对端。

部分会话由于本身是不需要备份的，所以设计上就不会备份到对端：

在未开启会话快速备份的情况下（hrp mirror session enable），FW上不同类型会话表的备份支持情况和备份时机如下：

• 到FW自身和从FW发出的报文产生的会话不会备份。例如，管理员登录FW时产生的会话。
• ICMP会话不会备份。
• 对于TCP协议会话，FW在TCP三次握手完成后才会备份会话。
• 对于UDP协议会话，FW在收到正向的第二个报文后才会备份。
• 对于SCTP协议会话，FW在SCTP四次握手完成后才会备份会话。
  

在开启会话快速备份的情况下（hrp mirror session enable），FW上不同类型会话表的备份支持情况和备份时机如下：

• 到FW自身和从FW发出的报文产生的会话不会备份。
• ICMP会话会备份，FW收到ICMP ECHO-REQUEST报文生成会话后就立即备份会话。
• 对于TCP协议会话，FW收到SYN报文生成会话后就立即备份会话。
• 对于UDP协议会话，FW收到正向的首个报文生成会话后就立即备份会话。
• 对于SCTP协议会话，FW收到INIT报文生成会话后就立即备份会话。
  

所以双机会话不一致可能原因有以下几种：

• 双机心跳口状态异常。
• 关闭了会话自动备份功能。
• 存在大量不需要备份的会话，造成主备机会话差异。
• 主机会话新建速率过大，备机还没有同步完成。
  

操作步骤

执行命令display hrp interface，检查防火墙心跳口的状态。
HRP_M<sysname> display hrp interface
GigabitEthernet1/0/0 : running
如果心跳口状态不是running，需要先定位心跳口异常原因。


执行命令display hrp state verbose，检查防火墙是否有关闭会话自动备份功能。
HRP_M<sysname> display hrp state verbose
Role: active, peer: unknown
Running priority: 45000, peer: unknown
Backup channel usage: 0.00%
Stable time: 0 days, 2 hours, 58 minutes
Last state change information: 2018-07-18 3:59:07 HRP core state changed, old_state = abnormal(standby), new_state = abnormal(active), local_priority = 45000,
peer_priority = unknown.
Configuration:  
hello interval:              1000ms
preempt:                     60s
mirror configuration:        off
mirror session:              off
track trunk member:          on
auto-sync configuration:     on
auto-sync connection-status: on
adjust ospf-cost:            on
adjust ospfv3-cost:          on
adjust bgp-cost:             on
nat resource:                off  
如果主机或者备机配置了关闭状态自动备份功能，则会话不会备份到对端，主备机会话存在差异。需要开启会话自动备份功能。
HRP_M[sysname] hrp auto-sync connection-status    //开启会话自动备份功能
HRP_M<sysname> hrp sync connection-status　　　　　//手动触发状态批量备份
如果已开启会话自动备份功能，则继续往下进行。
执行命令display firewall session table verbose，检查防火墙会话详细信息。
如果主机存在大量的不需要备份的会话，则会造成主备机会话数不一致。通常情况下，可能是设备遭受了攻击导致的。
HRP_M[sysname] display firewall session table verbose
udp  VPN: public --> public  ID: a58f39307216850f765b46d1b6
Zone: trust --> untrust  TTL: 00:02:00  Left: 00:01:59                                                
Recv Interface: GigabitEthernet1/0/0
Interface:GigabitEthernet1/0/0  NextHop: 20.1.1.1  MAC: 04fe-8df4-18f9      
<--packets: 0 bytes: 0 --> packets: 1 bytes: 971         //类似会话，只有单向报文，并且只有一个报文，这种会话不会备份到对端。
10.1.1.1:4915 --> 1.1.1.2:1851 PolicyName: ---  


udp  VPN: public --> public  ID: a58f39307216850f765b46d1b8
Zone: trust --> untrust  TTL: 00:02:00  Left: 00:01:59                                 
Recv Interface: GigabitEthernet1/0/0               
Interface:GigabitEthernet1/0/0  NextHop: 20.1.1.1  MAC: 04fe-8df4-18f9   
<--packets: 0 bytes: 0 --> packets: 1 bytes: 971
10.1.1.1:4916 --> 1.1.1.2:1852 PolicyName: ---  
查看主机会话新建速率，如果新建速率过大，会出现备份到备机出现延迟的情况。会话备份的流程为：主机新建会话->会话置上需要备份标记->老化进程扫描会话->如果会话有备份标记，将会话通过心跳口发送到对端->对端收到该报文后，新建会话。
如果主机会话新建速率过大，会出现备机会话滞后的现象。这种情况，开启会话快速备份（hrp mirror session enable）后，会有一定好转，主机会实时的将会话发送到备机（可能还是会有少量延迟，因为备机新建会话也需要时间）。


联系华为工程师。
如果故障未排除，请联系华为工程师获取帮助。


双机特征库版本不一致现象描述

在双机热备环境下，登录主备设备的Web界面，选择“系统 > 升级中心”，发现主备设备的特征库版本不一致。

                               
登录/注册后可看大图

                               
登录/注册后可看大图

特征库版本不一致可能会导致双机业务异常。以应用识别特征库为例，假设主机应用识别特征库比备机特征库更新，则可能某些应用在主机上存在，在备机上却不存在。如果在主机的策略中应用了这个应用，就会导致配置备份到备机时配置备份失败，造成主备机配置差异，业务倒换出现异常。

可能原因

• 主备机License不一致。
• 备机无法与sec.huawei.com网站通讯，导致自动升级失败。
• 主机执行了本地备份，但是备机没有执行本地备份。
  

操作步骤

• IPS/AV特征库升级需要License，检查主备机的License状态是否一致。
  HRP_M<sysname> display license Device ESN is: 210235951210G*******  License file ESN is: 210235951210G******* The file activated is: hda1:/licse_v500r001_20180713i6h260.dat The time when activated is: 2018-07-12The time when expired is: 2018-10-11Virtual System      : 50 SSL VPN Concurrent User: 200 Content Security Group: Enabled Encryption Function : Disabled IPS Update          : Enabled; service expire time: 2018-10-11Anti Virus Update   : Enabled; service expire time: 2018-10-11URL Remote Query    : Enabled; service expire time: 2018-10-11Cloud Sandbox Inspection: Disabled
• 防火墙要实现自动升级，需要配置DNS服务器，并且放行对应的安全策略。
  license-server domain  sec.huawei.comdns server 8.8.8.8dns resolvesecurity-policy                                                                rule name update                                                                 source-zone local                                                               destination-zone untrust                                                        action permit
  
  • 如果配置检查正确，则执行命令ping sec.huawei.com确认与安全中心的连通性。
  • 如果不能ping通，继续往下执行。
    
• 确认主备机的升级方式。如果主备机只有一个公网地址，那么一般情况下这个公网地址配置在VRRP上，属于主机，那么备机就无法和安全中心进行自动升级了，这种情况下，需要定时的手动从sec网站进行特征库下载，然后上传到设备上，进行本地升级。
• 联系华为工程师。
  
  如果故障未排除，请联系华为工程师获取帮助。
  
  

liyou60

华为认证，值得拥有！