Vmware在Openfiler上多路径存储提速的问题，写比读快？

pineweb · 发表于 2012-3-7 17:54:33

本帖最后由 pineweb 于 7-10-2012 10:25 编辑
最近在vmware想利用多网卡多路径的方式给虚拟机的IO提速，试验的环境是这样的
主机：采用esx4.1的PC SERVER 2台，每台主机有4块千兆网卡
存储：采用Openfiler 2.99的 PC Server 1台，磁盘是8块 SATA 盘组成的RAID10，也是4块千兆网卡，32G内存
交换机：H3C 5500 千兆交换机，测试时是将所有网卡都接在同一个交换机上。
Vcenter中建立了分布式交换机DVS，ESX主机的四个网卡都挂在DVS上，并建立了4个 PORTGROUP用于ISCSI,每个PORTGROUP都采用单独的子网，每个主机都在PORTGROUP分别开VKERNEL端口，共4个。
然后在存储适配器和存储上都使用了多路径，路径选择规则为循环。
存储OPENFILER一端也对应使用了四个子网的IP。
VMFS的BLOCKSIZE为8M。
交换机没有启用巨帧。
然后在虚拟机上测试读写速度。
发生了比较奇怪的现象，写速度很快，大约400M/S，Openfiler和ESX的四块网卡都跑满。
读取速度却很慢，始终无法超过115M/S，但是经观察，Openfiler和ESX的四块网卡都是在工作的，流量大约是每块网卡25－30M不等。
写
，经测试BS设置8M最快：
[root@Test1 ~]# dd if=/dev/zero of=/root/10Gb.file bs=8192k count=1250
1250+0 records in
1250+0 records out
10485760000 bytes (10 GB) copied, 25.4017 seconds,
413 MB/s
读
，经测试BS设置4K最快
[root@APP1 ~]# dd if=/root/1Gb.file bs=4k | dd of=/dev/null
250000+0 records in
250000+0 records out
1024000000 bytes (1.0 GB) copied, 8.89806 seconds,
115 MB/s
折腾了好几天也没搞清瓶颈在哪里，请各位老大帮忙看看是什么问题，多谢啦！

TiGi · 发表于 2012-3-7 19:55:08

装Openfiler的机器配置了多少内存啊？

pineweb · 发表于 2012-3-7 20:30:44

OPENFILER配置的内存32G ：）

TiGi · 发表于 2012-3-7 19:55:00

这个缓存够大的。
不妨试试看读写50GB看看 —— 目前这个数据，写入的数据，很多可能都在缓存内。

jar · 发表于 2012-3-7 21:13:01

你写用的是8k block size, 读的时候是4K, 本来4k的速度就比8k慢哎。
顺便说一句，openfiler还是别在生产环境中用的好，迟早会后悔的。

nowayx · 发表于 2012-3-7 20:30:00

机器都配成这样了肯定已经上了，楼上劝不回来了。

pineweb · 发表于 2012-4-7 10:14:55

本帖最后由 pineweb 于 7-4-2012 11:51 编辑
果然，是缓存在作祟，多谢！
[root@Test1 ~]# dd if=/dev/zero of=/data/50Gb.file bs=8192k count=6000
6000+0 records in
6000+0 records out
50331648000 bytes (50 GB) copied, 538.713 seconds, 93.4 MB/s
看来多路径也只能做HA，增加带宽是不大可能了，回头用802.3绑定试试。

pineweb · 发表于 2012-4-7 11:17:38

好的，下一步准备测试nexenta和2008 storage server,看看哪个效果好。

pineweb · 发表于 2012-4-7 11:48:21

还好，只是测试，

jar · 发表于 2012-3-7 21:13:00

如果我现在DIY新存储的话，肯定选Solaris ZFS, 分层存储，dedup, compress这些功能都有了，还tmd的不要钱，这种好事上哪里找？

24242625 · 发表于 2012-4-7 11:50:11

试试同时写两个文件试试

pineweb · 发表于 2012-4-7 10:14:00

同时写两个速度也不会超过千M，但是多ESX主机同时读写的话，存储速度是可以超过千兆的。
基本是速度是主机数×千兆网卡的速率。
所以分析，多路径只能起到备份和HA的作用，单ESX主机提高速率恐怕还是不行，记得一篇文章说过，多路径其实在瞬时只是其中一个网卡在工作。

ykzj · 发表于 2012-4-7 11:52:52

这是大多数人对MPIO的误解

jar · 发表于 2012-4-7 11:17:00

VMware的MPIO雀屎能做到多网卡带宽叠加，但RR的缺省参数要3000io后才切换路径，基本没有叠加效果。改成1或3就行了。
esxcli storage nmp psp roundrobin deviceconfig set -d {xxxxxxx} --iops 3 --type iops

pineweb · 发表于 2012-4-7 11:57:49

学到了，多谢JAR，看你以前的帖子收获也很大，在此一并感谢了！！！

账号		自动登录	找回密码
密码			论坛注册

Vmware在Openfiler上多路径存储提速的问题，写比读快？

客服中心

投诉建议