高密度VM存储的问题

sunyucong

高密度VM存储问题不知道有人有经验没有
跟大家分享一下我目前的 存储方式 三台 14盘raid10  挂载到一个DELL R710上做 iscsi (支持VAAI) 。 每个raid10 做一个 vmfs volume,每个volume上跑大概100-150台VM. 启用了SIOC.
很多人说一个volume不应该跑那么多vm, 我认为都是纸上谈兵 我就是跑了 效果也很好每个volume 有接近2k的 IOPS. 不知道别人是如何管理的.

scegg

沒有什麼問題。
一個volume不要跑那麼多VM，主要是因為管理和安全問題，不是性能考慮呀。
性能方面volume關係不大，更主要的是多少塊物理盤以及raid算法。

remember

应该属于对IOPS要求不高，2000 IOPS跑100-150 VM，这里还没看宿主计算机的性能，网络性能，IP SAN存储的性能，测试肯定可以的，这个可能开机风暴你会有点觉得明显

TiGi

本帖最后由 TiGi 于 1-17-2013 07:04 编辑
实话实说，“一个盘柜上面一个Lun，2000iops”和“一个盘柜上，10个Lun，总计2000iops”有何区别？？？
——————————————
100-150个VM，2000iops不算高，也不算低 —— 具体看你的需求。
io需求高的VM，一个VM用掉2000或者20000iops都正常。
而我的有些VM，很多时候只有几个iops。
一个Lun上别放太多VM，主要是从管理角度着眼：
1、对一个Lun误操作，上面几百个VM和只有几个VM，影响不一样；
2、一个Lun上空间满了，(可能会)整个Lun下线，导致几个VM不可用和导致几百个VM不可用，影响也不同。
.......
你的14硬盘RAID10，仅仅硬盘本身而言，大约能够提供700-1400iops，外加阵列卡、存储系统上的内存和缓存，因此可以达到接近2000iops。
——————————————
另外说一句，单单看iops也没有太大的意义，读写时延更重要。

eltonfive

根据VMFS本身的特点（per-file locking），多个Lun对一个Lun的性能优势是明显的。
一个Lun上运行很多Vm是没问题的，但是故障的边际成本太高，呵呵

sunyucong

我一直不能理解的是 一个盘柜 raid10上 划分多个lun 这个性能应该更差啊！  因为raid10本身就是 strip到所有硬盘上 你划分了lun  具体到盘柜上 不管哪个lun IPOS高  所有机器还是都受影响.    如果你盘柜出问题  划几个lun 也都是一样一起出问题，所以 划分多个lun 我认为只是YY 没有实际价值.

TiGi

本帖最后由 TiGi 于 1-17-2013 12:46 编辑
RAID组坏了，那显然不管怎样划分，都是“坏”；前面说的管理/安全，是指对一个Lun的各种操作而言(例如扩容、更改VMFS、更改权限等等)。
此外，你的存储，应该不支持存储内的快照吧？假设支持存储内的快照，你可以试想一下，如果对Lun施行快照或者复制，那上面所有的VM都将被快照 —— 而如果根据不同需求，将虚拟机放到不同的Lun上，那时候对某个Lun进行快照或者复制，那只会是这若干个VM。
————————————————
有机会，你去用一下存储设备的快照/复制功能，就会有所体会了。
————————————————
存储内的快照功能的意义？
.......
你可以搜一下本版的一个关于VMFS 5.58的帖子；按照那个帖子内的说法，采用VMFS 5.58后，某些备份软件会出错。
当然，目前没有办法直接转换VMFS 5.58；假设可以转换，那就可以在将现有的VMFS 5.45转换之前，对Lun做个快照，然后进行测试，一旦发现不兼容/问题，那可以通过存储的快照回滚。.......而如果存储不支持快照，那类似的问题就只能依靠迁移虚拟机来操作了。

sunyucong

阵列的存储快照功能我确实没有，我现在就是用vmfs + vdp 备份一下有几个重要的vm .  production datestore 侧重点主要是 performance  , 现在3个vol 每个配 4G的 read cache 才达到2000iops  勉强够用了 hehe
顺便问一下 大家对performance monitoring 有什么好工具没有  vcenter自几生成的那几个图片实在是太烂了。 简单的IOPS per VM 都看不出来有多少 每次出问题都是抓虾

jar

LUN上VM过多的缺点主要是当某个vm start/stop的时候，由于需要对LUN做锁定和解锁操作，会影响其他VM的IOP，短时间内IO delay会比较高。
如果不考虑IOP的压力，倒也没啥不妥。

TiGi

我的帖子里面有个工具DPack，愿意的话，不妨监测一下，然后提交给Dell，让他们帮你做一份最终报告 —— 当然，甚至可以要求他们根据报告推荐适合的存储给你。

eltonfive

vOPS Storage Exploer , 免费的，Io Meter， VMware IoAnalyzer， 等等

sunyucong

vops这个看起来不错 我可以试试
有关 LUN加锁解锁 的问题 这个VAAI已经解决了 所以没事

幻影L