扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
作者:中国IT实验室 来源:中国IT实验室 2007年9月17日
关键字: 体系结构 Exchange 2003
多节点集群设计
OTG 决定采用使用多个活动(在线)和非活动(离线)节点的多节点集群设计。此设计使得一个故障的活动节点能够立即被一个相同配置的非活动节点代替,并将故障活动节点的资源,例如存储,立即转移给该非活动节点,从而确保故障转移最大限度地减少对终端用户体验的影响。
OTG 实施了两种独立的非活动节点类型: 主要非活动节点和被选非活动节点。主要非活动节点是一个与活动节点服务器配置相同硬件的服务器。这使得活动节点故障转移能够恢复完全的功能。备用非活动节点是一个配备较低性能的硬件的服务器,主要用于将磁盘数据导向磁带之类的任务。它还充当降低性能的故障转移服务器。两种类型的非活动节点都被用于软件的滚动升级。
OTG 的多节点集群设计同时使用主要和备用非活动节点。和主要非活动节点不同,备用非活动节点是一些较小的服务器,主要用于执行磁盘到磁带的备份任务。当需要对操作系统和/或 Exchange 进行滚动升级时,OTG 使用集群中所有的非活动节点。替代了将活动节点故障转移到主要非活动节点、升级离线的活动节点,然后将已升级的节点再恢复为活动状态并对每个活动节点滚动执行这一循环过程,OTG 同时部署主要非活动节点和备用非活动节点的方法加速了该过程。OTG 首先修补所有离线的非活动节点,然后将与可用的非活动节点数量相同的活动节点故障转移。然后并行地升级这些离线节点并在就绪时使它们恢复服务。此过程重复一次以升级剩下的一个活动节点服务器。
OTG 集群设计
OTG 在主企业目录林中为 Exchange 2003 部署实施了两种主要的集群设计: 一个区域设计和一个总部数据中心设计。在 Level B Test 有限使用产品目录林中还部署了一个独立的、可伸缩性的身份验证设计。全都使用多节点、活动/非活动集群设计。表 4 显示了 OTG 的集群配置。
表 4 每个部署的集群设计规格
区域总部Level B Test
四处理器活动节点的数量341
四处理器主要非活动节点的数量111
双处理器备用非活动节点的数量120
每活动节点的 SG 数量444
每活动节点的邮箱数量2,7004,0005,000
每活动节点的数据库数量202020
每数据库的邮箱数量135200250
数据库的最大容量27 GB40 GB50 GB
每集群的邮箱数量8,00016,0005,000
•区域设计。区域集群实施的服务器规格包括每集群一个 SAN 模组,带有三个活动节点、一个主要非活动节点、以及一个备用非活动节点(表示为 AAAPp)。
•总部设计。总部集群实施在设计上是类似的。它包括两个 SAN 模组,四个活动节点,一个主要非活动节点,以及两个备用非活动节点(表示为 AAAAPpp)。
•Level B Test 森林设计. Level B Test 服务器规格与区域集群在设计上类似,但拥有更大的邮箱容量。它包括一个 SAN 模组,一个活动节点,以及一个主要非活动节点(表示为AP)。
为了以最佳的价格获得最好的性能,OTG 将四处理器的 1.9 GHz Intel Xeon Processor MP 服务器作为它的活动和主要非活动集群节点的标准,用于区域和总部数据中心部署。对于备用非活动集群节点,OTG 使用双处理器的 2.4 GHz Intel Xeon Processor MP 服务器。得益于这个新的处理平台,OTG 的 Exchange 2003 基础结构获得了巨大的性能提升。
OTG 的集群设计有力支持了每个 Exchange 服务器的邮箱数量和容量的同时增长。它有助于消除第二阶段的备份过程对用户的性能影响,因为它将该阶段的备份过程交给了集群内的非活动服务器,从而维持了 SLA。
存储设计与配置
OTG 的存储配置的全部设计都是基于有效地管理高峰期的磁盘 I/O 进行的。OTG 研究了其 Exchange 2000 消息存储基础结构的使用趋势,发现高峰期的使用通常发生在星期一的上午。OTG 接受了这一使用数据并将其作为设计 Exchange 2003 SAN 解决方案的基线。OTG 计算了每个邮箱在高峰期平均每秒的磁盘 I/O 数量。他们将邮箱数量乘以 I/O 率的结果作为一个服务器的总 I/O 率。
例如,在一个支持 4,000 个邮箱的服务器上,如果高峰期的 I/O 率是每邮箱每秒 1.2 次,那么该服务器总的 I/O 率等于每秒 4,800 次 I/O。在 Exchange 中每次 I/O 传输的数据量是 4 KB,在这样的 I/O 下,约等于每秒 20 MB 的 I/O。再考虑到在总部数据中心配置中每个 SAN 模组支持两个主机,则 I/O 率倍增为大约每秒 10,000 次 I/O。
在 OTG 为满足这些要求所进行的设计中,OTG 选中的每个 SAN 模组能够支持最高每秒 12,000 次 I/O,这为不寻常的活动高峰提供了边际空间,但是预期对于正常的 I/O 活动高峰时段应该足够了。任何超过这个数字的巨大负载都有可能导致磁盘读写延迟,它将会给连接到该 SAN 的所有邮箱造成负面影响。OTG 系统设计师在综合考虑预期的情况、额外硬件的成本、以及 Microsoft Operations Manager 中的检测与报警改进之后,认为这是一个可以接受的风险。
为了确定任何企业的消息存储需求,必须测量每邮箱用户每秒的平均高峰时段 I/O、邮箱的最大容量、项目在已删除项目保留区内保留的时间长度,以及在一个组织中典型用途的电子邮件模式的流通率。这些是 OTG 在设计其 Exchange 2003 SAN 解决方案时所考虑的因素。
OTG 给每个支持邮箱存储的 LUN 分配了额外的容量,其目的是减少未来出现意外增长时对重新分配大小的需求。LUN 的大小被设置为能够支持 6.5 个“毛边因子(fluff factor)”为 1.4 的生产数据库。
OTG 使用毛边因子来指根据已删除项目保留区、数据库开销、不受限邮箱等在磁盘上为一个给定的邮箱所分配的平均容量。例如,为 Exchange 2000 的用户创建 100 MB 邮箱实际上需要为他们每人保留 140 MB 空间。1.4 这个值是多年来支持 100 MB 邮箱的 Exchange 生产服务器的趋势,并仍然是设计新的支持 200 MB 邮箱的新解决方案的基础。
OTG 的 100 MB 邮箱大小限制是在 Exchange 级上通过策略设置和施行的硬性快速磁盘配额限制,但是如果用户用完了全部 100 MB 的可用空间,这经常是因为他们在后台超过了该数量。这常常在用户从邮箱中删除电子邮件时发生。电子邮件实际上不是从服务器的邮箱数据库中立即删除。而是暂时保留在数据库中一个名为已删除项目保留区的地方。只有在三天之后被删除的电子邮件才真正从邮箱数据库中清除。OTG 在规划它的 Exchange 2003 存储需求时需要考虑该级别的使用开销。
此外,OTG 为每个数据 LUN 分配能够支持六个半数据库的容量,即时他们在生产中只需要支持五个数据库。这使得他们能够在同一个 LUN 上复制单个受损的数据库,然后对它进行完整性检查。这种使用同一个 LUN 的能力使得 OTG 能够对数据库损坏做出最快的响应。
选择一个 SAN
像许多组织一样,OTG 决定干净利落地从本地(基于主机的)直接相连的 SCSI 存储转为 SAN 相连的存储。在过去,服务器存储被认为是一个关键的服务器组件,与服务器硬件紧密相联。SAN 技术使得存储变得更像是一种公共服务;它不再与服务器紧密相关。虽然对这种方案的评价是毁誉参半,但 OTG 仍然选择了 SAN 存储,因为它满足 OTG 对未来的性能、可伸缩性和容量的需求。这些需求是无法通过本地附加存储阵列来满足的。
Exchange 2003 的部署为 OTG 提供了一个机会 - 评估自最新研究以来 SAN 技术是否成熟。OTG 开始了一项检验和测试 SAN 厂商的技术和产品的工程。OTG 要求任何在 Microsoft 实施的新的 SAN 技术标准都必须能够很方便地从远程位置进行支持。OTG 要求存储解决方案易于部署、模块化设计、并且便于远程管理。
在 OTG 使用的每个 HP StorageWorks Enterprise Virtual Array 5000(eva5000)SAN 中有 168 个磁盘。每个 SAN 模组支持大约 8,000 个 200 MB 邮箱。每个 SAN 模组在磁盘延迟不明显的前提下每秒能够处理约 12,000 次 I/O。总部数据中心的每个邮箱将支持 4,000 个邮箱并预期在高峰时段处理每秒 5,000 到 6,000 次 I/O。因此,总部数据中心的一个 SAN 模组支持两台邮箱服务器。区域邮箱服务器将只支持低于 2,700 个邮箱,因此三个区域服务器的高峰时段负载由一个 SAN 模组支持。
使用卷装入点的存储分配
OTG 在 Windows Server 2003 中对卷装入点使用了新的集群支持,从而使驱动器号不再成为阻碍在单个集群中放置多个 Exchange 实例的可伸缩性障碍。选中的设计中每个数据 LUN(每 SG 一个)使用一个驱动器分配,每个集群节点四个数据 LUN(OTG 将每个节点设置为支持一个 Exchange 虚拟服务器)。相应的日志 LUN 被设置为卷装入点集群资源,每个都依赖它的父数据 LUN。在该设计中还包括一个专用的队列 LUN,它也作为一个卷装入点集群资源,依赖于分配给 SG1 的数据 LUN。
利用卷装入点使得 OTG 能够使用四个驱动器号来维护九个物理 LUN,从而配置最佳的磁盘布局。利用这种设计,4 个 Exchange 实例只需使用 16 个驱动器号就能够映射 36 个物理 LUN。
后续的 LUN 用于支持在线备份到磁盘,每个节点每 SG 分配一个磁盘。分配给每个节点的 SG1 的磁盘支持三个额外的卷装入点 LUN 作为 SG2、SG3 和 SG4 的备份目标。备份资源是通过 16 个通过 4 个驱动器号寻址的物理 LUN 设置的。
图 1 描述了第一个节点的驱动器号分配和用于支持在线备份设备的相应分配。
图 1:每节点的驱动器号分配。
注:在图 1 中,VMP 代表一个卷装入点。
总体上,在集群设计中总共 53 个物理 LUN 可以使用 21 个驱动器号来寻址。这使得 OTG 很容易利用通过控制器和光纤信道适配器(FCA)分布的 LUN 对磁盘子系统进行优化,从而确保满足在 Microsoft 生产环境内的高峰磁盘传输要求。
使用 Secure Path 的冗余存储系统路径
OTG 的 SAN 技术部署包括一个 I/O 设计,它不仅提供冗余性而且还使用这种冗余性来优化数据流。
OTG 使用 HP StorageWorks Secure Path for Windows 在它的 SAN 基础结构内提供许多优点。Secure Path 提供了三个关键的优点:
1.消除了支持服务器和 SAN 互连的单点故障的风险。
2.允许 LUN 分配以维持一个忙碌的 Exchange 主机所需要的最优的 I/O,减少高峰时段磁盘读/写延迟并极大地提升到磁盘的在线备份吞吐量。
3.确保不论到主机的路径有多少条,只有一个 LUN 表示。
如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。
现场直击|2021世界人工智能大会
直击5G创新地带,就在2021MWC上海
5G已至 转型当时——服务提供商如何把握转型的绝佳时机
寻找自己的Flag
华为开发者大会2020(Cloud)- 科技行者