我遇到的问题与我的解决方案

dongnan

我是非常看好vmware 高级功能，不过没有共享存储没办法实现，tigi 谢谢你的帮助！

dongnan

依领导的意思最好有开源的方案,"我这里除了服务器网络设备花钱，其他的都是开源的方案解决的"！ 我去都开源了厂商怎么活！

dongnan

谢谢 winxp2000，拜读过您的文章， DELL T620服务器 google 一下不太合适这里,世纪互联的机柜死贵，领导舍不得！，没用过 windows 2008 r2 这个比 MD3220i 双控制器/600GB 10k sas 硬盘 *24/raid5 + hot spare *2,的可靠性，iops 要高一些对吗？

dongnan

谢谢 天擎，我这里虚拟机主要是 web类 与 cache 类服务器 和 db 类
web 类主要是读取 php/asp 等文件，图片等静态另有其他图片服务器
cache 类如 Lucene/memcache 除了写入syslog 基本没有磁盘io
db 类 读写都有不过有了cache 服务器挡在前边，读取能有效减少了，写入我观察过一个项目最大写入带宽2MB/s 左右
通过cacti 观察过一段时间了，感觉存储带宽要求并不高
而iops 暂时还有办法监测。

dongnan

本帖最后由 dongnan 于 6-20-2012 15:05 编辑
我更新了方案
计划使用vsphere5 cluster 集群
组成：
ESXi 主机配置：Dell R610 服务器，XEON 5620 *2/
128GB
memory/16GB U盘 * 10台。
存储：MD3220i 双控制器/600GB 10k sas 硬盘 *24/raid5 + hot spare *2；使用vsphere5 mpio 多路经负载。
备份机：Dell r510 E5620 *1/16GB memory/perc 6i raid5/2TB *12 7.2K sas硬盘。
网络：增加一个专用存储网络，共3个 vswitch ,ESXI Management network 与 业务内网复用 vmnic0网卡使用 vlan1 网络;
      业务外网与iscsi1复用 vmnic1 网卡使用vlan2;iscsi2 使用vmnic2 网卡使用vlan 3。
功能：
整个vsphere 5 集群提供 1TB 内存，160棵cpu 内核，12TB 存储空间，允许2台ESXI 主机故障而不影响服务；
提供HA/DRS/vMotion/FT/MPIO/等高级功能;可以共100-120台标准虚拟机运行(4vcpu/8GBmem/100GB vdisk)
问题:我先在担心第二个问题。
1 iops 我暂时忽略
2 存储故障后影响与恢复时间，虽然使用VDR 备份到 dell r510 服务器，但是恢复时间无法保障。

天擎

其实，
1：在多主机共享一个存储的情况下，你会发现IO是一个你无法忽略的问题。
2：那么多虚拟机，存在一个存储里面，如果出了问题，那么影响到的虚拟机可能会很多，这个时候，恢复时间，肯定比你原来每个都是单独主机恢复的时间长。
你原来都是用本地硬盘存储虚拟机，这样即使一台主机出现宕机，影响的可能就是这上面的3,4个主机，你的存储当了，那么就是上百台的虚拟机了。这个风险你能承担吗？还有，主机坏了，没有保修，无所谓，但是你的存储，是否有厂家的保修呢？如果也没有保修，那么你怎么办？

xyhyuyunhai

在IDC机房里面，我也不是很建议你 100台物理用2台存储，（除非你的存储是上百万的，呵呵）。可以多用几台。一台存储能连20台左右的物理机，这应该是比较合适的。

dongnan

影响的可能就是这上面的3,4个主机，你的存储当了，那么就是上百台的虚拟机了。这个风险你能承担吗？
确实这个是我最担心的，有没有什么软件的解决方案那？

dongnan

这个方案是给新项目做的不涉及以前的350虚拟机，只为10台ESXI主机，100-120台虚拟机准备！

TiGi

本帖最后由 TiGi 于 6-20-2012 18:50 编辑
继续谈：
1、10台主机的话，既然打算托管到IDC，那其实采用刀片不错 —— 一般一次5把刀、一两年内插满的情况下，用刀片就有性价比可谈了 —— 10U高度，可以放16把刀 —— 目前用掉10-12把，短期内还可以拓展 —— 整体费用你自己不妨框算一下“10台1U服务器外加相应的网络交换机”与“10U机框，包含10把刀、网络组件等”的购置费用和托管费用）。
2、采用VMware DR的话，一个VMware DR可以备份不超过100VMs；因此如果采用VMware DR备份的话，至少要准备四个"VMware DR"。此外，每个“VMware DR”只支持2个“存储设备”，每个限定1T还是2T。 —— 因此4×2×2=16T的空间就足够了（注意哈！难保只能4×2×1=8T）。 而采用VMware DR的方案的话，因为VMware DR也是在ESXi上跑，因此可以考虑在五台主机上每台运行一个VMware DR！数据存储就存储在主机上面。
————————————————
就我的实际应用，大约90个VMs，用一个VMware DR备份（设置了两个“存储设备”，当然，有些VMs里面没啥数据，有大约10多个VMs每台大约100G-200G的数据），一共用掉了1TB+0.75TB的空间。可以根据需求，每周备份一次或者每天备份一次甚至每天备份多次。
3、我不是太了解你的应用。假设是“应用中间件服务器之类的没啥频繁更改/增加的数据”的应用，我可能会这样处理：将主机A上的VM1的镜像VM1-1放在共享数据存储内，平时的IO就负担在主机本地硬盘上，万一主机挂了，那在其他主机运行共享数据存储上的VM1-1。 —— 反正如果采用“2”内的VMWare DR方案的话，有几台主机上需要备置一定的存储空间的。
看了你前面一段回复，再补充一点：
4、是不是可以考虑采用类似于“R620机架或者M620刀片”这样配置的机器（包括Dell的和非Dell的）？R610服务器有个问题：只有12个内存槽位！全配8G的话，只能达到96G内存！！！而采用620的话，有24个槽位，全8G的话，可以配置192G内存！！！在CPU负荷不高的情况下，8台服务器就能实现1.5T内存的容量规模！
————————————————————————————————
综合一下，建议如下：
1、建议采用新一代服务器，内存容量更大、处理器性能更佳，以较少的台数实现整个项目；
2、假设总计设置八台服务器跑应用，其中四台不配置本地存储，四台本地配置镜像磁盘组或者RAID5磁盘组或者RAID6磁盘组，主机上跑没啥实际数据的应用以及作为VMware DR备份其他主机上的应用；
3、如果采用可以内置双SD卡的新一代1U服务器的话，还是配置双SD卡吧！ESXi装在SD卡内；
4、设置两个24口或48口交换机，划两个vLan，应用和iSCSI各跑两个交换机，2台交换机实现交换机集群 —— 当然也可以采用四台交换机的方式，将应用和存储完全分开。
上述各项，采用机架式方案的话，大约是8×1U+2×1U=10U或者8×1U+4×1U=12U；采用刀片方案的话，基本上也是这些空间，但是短期内的扩展余地会大一些 —— 据说配置5-8把刀加机框的钱和5-8台机架服务器的钱差不多 —— 我没有询价/买过/用过刀片，因此是否属实有待确认。
————————————————————————————————
不太了解的事项：IDC那里托管，是怎样收费的？一个机柜随便你怎样放设备还是对U数、电源功率数、端口数综合计费？IDC内不同收费方式，对采用怎样的设备其实很有影响 —— 因为整体考虑的话，设备购置费用仅仅是一部分，还需要考虑若干年内租赁/托管费 —— 假设1U一万/年的话，8台主机的方案比10台主机的方案，一年就可以节省2万块，如果按照3年计算，6万块钱可能和新旧两代服务器的差价差不多了。
————————————————————————————————
再次补充：
1、服务器上采用何种RAID卡，需要注意：有些RAID卡可能不兼容ESXi；如果所有机器都配置RAID卡，那到时候可以将四硬盘的RAID5拆成两个镜像 / 将6硬盘的RAID5或RAID6拆成两个RAID5 / 将8硬盘的RAID6拆成两个4硬盘RAID6。
2、似乎有必要购置DRAC卡等控制模块/许可；可以远程开关机、安装系统、输入指令等等；如果采用刀片，说不定一个机框配置一个模块就可以搞定；
3、你不妨实验一下，在U盘上装一下ESXi，然后插到同样配置的机器上去，看看是否对于系统故障后的应急处理有帮助；这样的话，假设SD卡内的ESXi系统挂了，捣腾一个U盘上去，说不定系统就能起来了。