IBM Platform LSF产品功能解析之二

ZDNet至顶网软件频道消息：IBM Platform LSF（Load Sharing Facility）产品系列是强大的工作负载管理平台，用于要求苛刻的分布式关键业务型HPC环境。在上篇文章中，我们对IBM Platform LSF产品功能进行了介绍，本文将在上篇文章的基础上，继续对该产品进行解析。

IBM Platform Make

IBM Platform Make隶属于GNU Make的负载共享式并行版本。IBM Platform Make所使用的生成文件与GNU Make相同，二者的运作机制也颇为相近，但前者额外提供命令行选项、旨在控制并行执行。IBM Platform Make曾经作为一款独立产品单独发售，现在则作为IBM Platform LSF标准版中的默认安装组件。IBM Platform Make以GNU Make为基础，且支持大部分GNU Make功能。

Floating clients

Floating clients功能允许管理员对IBM Platform LSF进行设置，无需在lsf配置文件中明确列出全部客户主机（常见方式）即可根据配置令符合对应IP范围的客户机实现作业提交。它能帮助集群管理员简化企业中涉及大量工作站与用户的客户主机管理流程，使作业提交与查询更为便捷。

Live reconfiguration

IBM Platform LSF中的部分集群配置能够实现及时变更与即时生效。Live reconfigureation需要在lsf.conf文件中进行启用。您需要运行lsadmin reconfig以及badmin mbdrestart以应用新的参数设置。您可以利用live reconfiguration来实现以下变更：

• 向集群中添加新主机
• 创建一个用户组
• 创建或者更新限制
• 向全体队列中添加用户共享
• 向保障资源池中添加用户

混合集群

IBM Platform LSF支持混合环境。采用各类架构及操作系统的主机可以共同存在于同一套集群当中。IBM Platform LSF提供对应功能，允许用户在UNIX与Windows环境之间实现映射。您可以将作业提交至执行主机当中，且保持各提交目标主机各自拥有不同的运行环境。

LSF应用程序编程接口

IBM Platform LSF提供的应用程序编程接口（简称API）能够被程序员用于开发自己的应用程序。程序员可以利用LSF所提供的分布式资源管理服务，且不必对操作系统或者架构的细节类型进行调整。通过LSF API，程序员能够开发应用程序以实现任务自动化。程序员可以实现多种任务的自动化执行，包括删除作业、查看作业输出、在不同主机间进行作业迁移、启用并行作业执行以及控制集群。

可以通过API实现的服务项目如下：

• 配置信息服务
• 动态负载信息服务
• 配置建议服务
• 任务列表信息服务
• 主选择服务
• 远程执行服务
• 远程文件处理服务
• 管理服务
• LSF批处理系统信息服务
• 作业操作服务
• 日志文件处理服务
• LSF批管理服务

IBM Platform LSF 8.3中的新特性

IBM Platform LSF许可不再由FLEXnet负责管理。现在授权执行采用合约机制。另外，POWER上的AIX7、SPARC上的Slaris 11以及x86064、POWER上的Linux 3.0以及x86-64、Mac OS 10.7都获得新支持。另外，IBM Platform LSF现在允许对系统运行时配置进行虚拟化，并对已完成作业事件生成额外的叙述数据。IBM Platform LSF提供多种不同版本，具体细节如下：

IBM Platform LSF 8.3精简版:

• 针对规模巨大的低端市场，这部分市场的特点在于对调度规划的要求比较简单。
• 被包含在IBM Platform HPC精简版当中。
• 支持最多一百台服务器主机与一百台静态客户端。
• 不支持与IBM Platform Process Manager或者IBM Platform Analytics相集成。

IBM Platform LSF 8.3标准版:

• 包含Platform MultiCluster、Make以及Floating Client功能（不再采用独立授权机制）。
• 不存在任何性能或者扩展性限制。

Enterprise Grid Orchestrator

IBM Platform Enterprise Grid Orchestrator（简称EGO）属于IBM Platform LSF中的可选组件（但强烈建议），能够在IBM Platform LSF的安装过程中被启用。在被启用之后，它能够作为中央资源代理帮助IBM Platform LSF对来自整套企业体系的资源进行共享。

要求:要使用IBM Platform LSF 8.3版本中引入的新功能，您必须将集群中的所有主机升级为IBM Platform LSF 8.3。

LSF 6.x、7.x以及8.0.1服务器能够与IBM Platform LSF 8.3版本主控主机相兼容。IBM Platform LSF 8.3版本主控主机也支持LSF 6.x、7.x以及8.0.1中的全部功能。

重要提示: EGO无法识别作业，其资源分配政策也无法干预作业调度。EGO为IBM Platform LSF的每一项请求提供资源。IBM Platform LSF根据自身调度政策为作业分配资源。

图为启用EGO的IBM Platform LSF架构。IBM Platform LSF运行于EGO之上。

IBM Platform LSF架构

在启用之后，EGO将保证实现以下项目：

• 解决竞争性业务服务需求。
• 资源进行动态分配。
• 强制执行已配置的资源分配政策。
• 高可用性与业务连续性在灾难情况下能够起效。
• 分散与混合计算资源被合并为单一虚拟计算资源，并可以为不同业务用户所共享。

EGO在执行资源管理时承担两大职责：

• 管理并分配资源
• 提供流程执行设施

关键性EGO概念

以下思维方式属于EGO的关键性概念：

Consumers

所谓consumer，代表的是能够从集群处申请资源的一个实体。单一consumer可以是业务服务、包含多种业务服务的复杂业务流程、单一用户或者一整条业务线。

EGO资源

资源属于能够被客户端所要求的物理及逻辑实体。例如，一款应用程序（客户端）申请处理器（资源）以实现运行。资源同样拥有属性。以一台主机为例，其属性包括内存、处理器利用率以及操作系统类型等。

资源分布树

资源分布树用于标记集群中的consumer资源并将其组织成一套可管理的结构。

资源组

资源组属于主机逻辑组。资源组提供一种对资源（主机）进行组织及分组的简便方式。相较于为资源一一创建政策，您可以在政策创建完成后将其应用到一组资源当中。这种组关系的建立可以根据资源所满足的需要类型，例如操作系统、内存、交换空间、CPU因素或者其它可根据名称明确描述的类型。

资源分配预案

资源分配预案，或者叫资源预案，用于定义如何为每个consumer分配集群资源。预案当中包括不同consumer之间的区别及其需要、资源属性以及各类其它与consumer等级和资源分配相关的政策。分配优先级机制是为了让每个consumer都拥有最低保留资源，而后再根据需求分配剩余资源。

服务

服务是一种自包含、持续运行的进程，能够接收一条或多条请求并返回一条或多条响应。

服务能够在多台主机上运行多个并发服务实例。全部EGO服务都会在安装时被默认启用。运行egosh可以检查服务状态。如果EGO被禁用，egosh命令将无法找到ego.conf或者与vemkd建立联系（未启动）。这时显示的提示信息如下：

You cannot run the

egosh command because the administrator has chosen not to

enable EGO in lsf.conf: LSF_ENABLE_EGO=N.

EGO用户账户

一个用户账户代表一个IBM Platform系统用户，该用户可以被分配为分布树中的任意consumer角色。用户账户当中包含可选联系信息、名称以及密码。

图显示资源分配生命周期背景下的EGO概念。

EGO: EGO拥有四种系统组件：

• VEMKD是VEM内核后台程序，运行在主控主机当中。它会启用其它后台程序并对分配请求做出响应。
• EGOSC属于EGO服务控制器，负责向VEMKD申请相应资源并控制服务实例。
• 流程处理管理器（简称PEM）负责VEMKD中的启用、控制以及监控活动，同时收集并发送运行时资源的使用情况。

了解更多，请进入“跨越云计算与大数据的智慧平台”专题