esxi5和iscsi服务器跨网段的连接问题？

zerohv

本帖最后由 zerohv 于 6-4-2012 15:54 编辑
esxi5和iscsi服务器在不同ip网段时，
可以发现iscsi目标，但是无法挂载lun
。而同网段时就能正常挂载，特来请教。
我试过了几种环境了：
一、esxi5和iscsi不同IP段，可以发现，无法挂载。
1、esxi5使用IP 192.168.1.2，网关192.168.1.1；
2、iscsi服务器使用IP 192.168.2.2，网关192.168.2.1；两个网段使用3层交换互联。
3、iscsi服务器不论使用freenas8.04或starwind5.2都一样。
二、esxi4.1u1和iscsi不同ip段，可以发现，可以挂载。
1、esxi4.1u1使用IP 192.168.1.3，网关192.168.1.1；
2、iscsi服务器使用IP 192.168.2.2，网关192.168.2.1；两个网段使用3层交换互联。
三、esxi5和iscsi相同ip段，可以发现，可以挂载。
1、esxi5使用IP 192.168.2.3，网关192.168.2.1；
2、iscsi服务器使用IP 192.168.2.2，网关192.168.2.1；两个网段使用3层交换互联。
四、win7和iscsi，不论是否同网段都可以发现，可以挂载。
不知道是否有人在esxi5和iscsi存储处于不同网段需要跨路由通讯的环境成功使用的，关于vmkernel，5.0和4.1的配置方式不一样了，请教一下不同网段时配置的注意事项。

Tinging

5.0分网段就没成功过放弃了，官方文档也是分开来做的，应用和存储使用的网卡使用不同的交换机。

TiGi

过几天搭个环境试试看。

jar

建议先在ESXi的console/ssh上用vmkping iscsi target的IP看看能通不能通。
此外，为啥要让iSCSI initiator和Target不在一个网段呢？经过L3路由会使网络延时大大增加，影响性能的。生产环境里大概没人这么设置的。

TiGi

本帖最后由 TiGi 于 6-4-2012 19:38 编辑
Metro vMotion
http://www.vmware.com/files/pdf/ ... uslet-101-web-1.pdf
v5的这个特性到很少有人谈及，改天研究一下。

winxp2000

个人的观点：
1-iscsi走的是标准的TCP/IP协议，没特殊要求
2-V5和V4的最大区别，在ISCSI这块，就是对于IP SAN的必须要求是1GB的速度，你可以去查手册；为什么4可以挂成功，而5失败，应该是ESXI的主机在这里认为你的IP SAN网络不符合最低要求（1GB）；还有管理网络，也是要求1GB的；
在DELL的IP SAN （MD3200I）的最佳实践手册上也有句话：（必须超5类或者6类线材）
General Network Practices: Make sure the category rating for the cables used are gigabit Ethernet compliant (CAT5e, CAT6). Design your network to have the least amount of hops between the array(s) and the host(s). This will greatly reduce your failure points, simplify your manageability, and reduce latency and complexity of your network architecture (particularly in the area of redundancy). Managed switches are recommended because they provide advanced features to help you optimize and maintain your network for your application. It is recommend you use auto-negotiation only, since gigabit Ethernet networks are designed to always have auto-negotiation enabled. If a particular application requires a specific speed/duplex mode, this must be done by changing the advertisement options of the switch.

winxp2000

另外，关于交换机的STP（ Spanning-Tree Protocol），这一点只是相关，而不是根本的，因为你根本挂不上LUN
在整个IP SAN的链路里面，建议关闭的；即便必须打开，那么希望你的交换机支持快速生成树协议RSTP
It is recommended that you disable spanning-tree protocol (STP) on the switch ports that connect end nodes (iSCSI initiators and storage array network interfaces). If you still decide to enable STP on those switch ports, then you should turn on the STP FastPort feature on the ports in order to allow immediate transition of the ports into forwarding state. (Note: FastPort immediately transitions the port into STP forwarding mode upon linkup. The port still participates in STP. So if the port is to be a part of the loop, the port eventually transitions into STP blocking mode.)
Note: PowerConnect Switches default to RSTP (Rapid Spanning Tree Protocol) an evolution in STP that provides for faster Spanning tree convergence and is preferable to STP
Note: The use of Spanning-Tree for a single-cable connection between switches or the use of trunking for multiple-cable connections between switches is encouraged.

winxp2000

刚才GOOGLE了一下楼主说的现象
VMWARE在5.1速度发布了一个补丁去修复一个BUG，跟你这个结果有点象，但是现象不大同
人家的情况是，第一次enable那个software initiator之后是正常工作的，但是重启之后完全不通了
链接在这里：（注意红色框是需要修改之后的，之前默认是YES的）
http://vmtoday.com/2012/02/vsphe ... cts-software-iscsi/
                                
意思就是你用5.1或者手工修改这个地方就能FIXED这个BUG，不知道楼主是否可以尝试用5.1呢？

winxp2000

刚才提到的官方KB在这里：
http://kb.vmware.com/selfservice ... ;externalId=2008144

TiGi

交换机速度的事情，等LZ来介绍一下就知晓了。
过段时间，我可以做一个测试：
在Juniper SSG550M内置的扩展网卡上(端口都是千兆的)配置两个网段，两个网段各接一个存储设备。

zerohv

谢谢楼上大家的意见。
交换机等设备都是千兆全双工的网络。
昨天升级到了esxi5u1，并且修改了NIC teaming页面中的设置，依然不能挂载。
我比较疑惑的是，同网段的ipsan可以挂载，没有问题，说明存储和iscsi配置应该都没问题吧。就是不同网段的才有问题。

zerohv

终于可以挂载了，我把iscsi配置中绑定的vmkernel端口给删除了（图片），然后居然可以挂载了。
在3台esxi5和两台ipsan测试机上试了，都是一样的结果。

jar

你把iscsi绑定的vmkernel删掉，iscsi流量就不会再从这个网卡走了，而是走其他的vmkernel绑定的网卡... 你可以通过监视交换机端口流量来确认。
对ESXi来说，确实只有一个默认网关。
对于绑定在iSCSI上的vmkernel, 需要单独设置网关，否则ESXi的iSCSI initiator只能访问同一个子网的Target。

zerohv

之前iSCSI绑定的vmkernel也是有设置网关的，试过其他vmkernel均不设置网关，也是无法通讯的。
这个我也想不通，按道理来说，就算存在其他网关，iscsi的通讯也应该优先在绑定的vmkernel接口是进行路由选择的吧。
我也试过用sniffer来观察tcp通讯，发现上述无法挂载的时候，esxi5在进行完discovery过程通讯后就不在有任何tcp通讯了，也就是说根本没有发起挂载请求，或者如你所说的，esxi5无法确定该使用那个vmkernel进行iscsi挂载通讯。
所以，问题还是在esxi5自身。