Vmware在Openfiler上多路径存储提速的问题，写比读快？

defytony

请问 {xxxxxxx}  是否输入存储的标识名？

jar

是的，是存储的标示符。用esxcli nmp device list命令列出的第一行。
naa.6a4badb0004a95d40000064b4c06220e
  Device Display Name: DELL iSCSI Disk (naa.6a4badb0004a95d40000064b4c06220e)
  Storage Array Type: VMW_SATP_LSI
  Storage Array Type Device Config: SATP VMW_SATP_LSI does not support device configuration.
  Path Selection Policy: VMW_PSP_RR
  Path Selection Policy Device Config: {policy=iops,iops=3,bytes=10485760,useANO=0;lastPathIndex=2: NumIOsPending=0,numBytesPending=0}
  Working Paths: vmhba33:C2:T01, vmhba33:C3:T01
下面的naa.6a4badb0004a95d40000064b4c06220e就是标示符。
我是用下面的shell可以一口气都改掉。这个shell是ESXi 5用的，ESXi 4的vCLI命令有所不同，而且要按照自己的环境适当修改我的这个shell[ol]

#!/bin/sh

esxcli storage nmp satp set --default-psp=VMW_PSP_RR --satp=VMW_SATP_LSI

for i in `esxcli storage nmp device list | grep "iSCSI" |awk '{print $7}'|sed 's/(//g'|sed 's/)//g'` ; do

  esxcli storage nmp device setpolicy -d $i --psp=VMW_PSP_RR

  esxcli storage nmp psp roundrobin deviceconfig set -d $i --iops 3 --type iops

done

[/ol]复制代码

pineweb

bytes=10485760
这个参数是否有必要修改？

TiGi

读，因为随机数据不大会保存在缓存内，所以缓存对读测试，不一定有太大的意义（实际工作中，缓存足够大、对于反复读取的数据，还是有帮助的）；写，一开始肯定扔到缓存内，然后计算RAID之后，再写入硬盘 —— 读缓存、写缓存，在实际工作中有个要注意的：最好要有电池保护！
稍许注意一些的话，就会看到，RAID卡上缓存开启的条件是“内存、许可以及电池包”！！！也就是说要确保断电的时候，数据能够“保存在缓存内”！！！
实际工作中，假设操作系统发出一个写入指令，而这个写入数据仅仅还在缓存内的时候，断电了；这时候，操作系统会以为这个数据已经写入完毕，但是实际上这个数据可能还是没有真正写入！

pineweb

本帖最后由 pineweb 于 7-10-2012 10:30 编辑
按照JAR大的提示修改了IOPS的限制参数，效果如下
单虚拟机顺序读速度没有提高。
于是在同一ESX上起两台相同的虚拟机，同时运行测试，结果如下：
两台虚拟机的读取速度都超过100M,同一ESX的读达到了200M，看来MPIO的带宽叠加起作用了。
不过为什么单一的虚拟机读取速度不能超过100M呢，难道是虚拟机本身有限制？

TiGi

每个虚拟机的网络流量，同一时间只走一个链路。

jar

我觉得是CDM的问题，我用Atto和iometer顺序读写都能达到200MB/s以上，一个VM里。

jar

下面这个是RR策略的缺省iops为1000时Atto的测试结果
下面是iops改为3后，Atto的测试结果。明显读写速度都double了。
同样条件下，CDM的测试结果却基本一样。

TiGi

CDM读写测试也是选择2G？
就个人觉得，ATTO的读写数据量有些小。

jar

CDM的截图没留，文件大小不是1G就是4G. 结果都一样。
IOmeter 16K 顺序读测试的吞吐率为189Mbps(4 worker), 更大block size就没测了，肯定能超过200Mbps
测试的可以观察到target的两个交换机端口流量同时基本达到1Gbps, 接近满负荷。