科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道Linux操作系统下的网络并行计算方法 (2)

Linux操作系统下的网络并行计算方法 (2)

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

1977年,DEC公司推出了以VAX为结点机的松散耦合的集群系统,并成功地将VMS操作系统移植到该系统上。20世纪90年代后,随着RISC技术的发展运用和高性能网络产品的出现,集群系统在性能价格比(Cost/Performance)、可扩展性(Scalability)、可用性 (Availability)等方面都显示出了

作者:heha 来源:赛迪网技术社区 2007年10月22日

关键字: 方法 网络 操作系统 Linux

  • 评论
  • 分享微博
  • 分享邮件
 

Beowulf集群的重要模块

撇开并行应用本身不谈,跟任何集群一样,Beowulf的性能取决于下面几个因素:节点本身、节点之间互联设备、底层通信软件(包括互联设备的驱动)、全局资源管理系统以及并行计算环境(PVM或MPI)等等。

对于给定的应用问题,在节点数一定的条件下,则由以下三个方面的因素来决定并行处理的速度。首先是应用问题求解的算法,其次是处理结点软硬件的速度。另外,由于应用问题的不同部分之间往往有着某种数据依赖关系,不同部分之间需要进行一定的通信,因此通信性能成了另外的一个因素。下面,我们将着重介绍高性能集群的通信子系统:底层互联设备、底层通信软件以及并行计算环境。从下图可以看到,这几个部分对于整个集群的性能来说都是非常重要的。

· 底层互联网络

在集群系统中,分布在各个节点上的进程之间通常有大量的信息要交换,这都要通过互联网络来实现。因此,互联网络性能的优劣会直接影响信息交换的速率和效率,进而影响整个集群系统的整体性能。

理想状态下互联网络应该具有以下特征:

☆较短的通信延时(Latency)

☆较高的通信带宽(Bandwidth)

☆极小的错误率(Error Rate)

☆较好的可扩展性(Scalability)

集群中经常使用的互联设备有快速以太网、ATM网络、 Myrinet以及专用的mesh网络等等。

· 底层通信软件

底层通信软件是集群通信效率高低的关键。在这一层所要关心的问题是协议问题。TCP/IP协议把各种各样异构的机器连接起来,组成一个实际的计算机网络。这种强大的兼容性却往往需要以效率作为代价。比如用户的消息从发送方到接收方一般要经过多次拷贝(从发方用户空间拷贝到核心空间,从核心空间拷贝到接收方用户空间以及中间进行差错校验,重发机制等等带来的拷贝)。而统计表明,每增加一次拷贝,通信的效率就会降低至少20%。而在集群中,就采用一些专门的技术来解决这些问题。比如用户级通信技术用来减少通信软件进入操作系统核心的次数,零拷贝技术减少消息通路上的拷贝次数等等。

· 网络并行计算软件

有了高速网络和简洁高效的底层协议,集群并行计算软件的任务就是在提供完备的并行计算语义的情况下,尽量地把底层物理性能提供给上层的并行应用。集群(包括Beowulf)中最流行的两个并行计算环境是PVM 和MPI。

PVM(Parallel Virtual Machine)是由美国 田纳西大学、奥克里季国家实验室等研制的并行程序开发环境。它可以把多个异构的计算机组织起来成为一个易于管理的、可扩展的、易编程使用的并行计算资源。它的各个计算结点可以是共享存储或分布式存储的多处理机或者是向量超级计算机、专用的图形、标量工作站。这些异构的计算节点可以通过多种网络(比如Ethernet、FDDI等等)互联,成为一个网络计算虚拟机。用户的计算任务被分配到各个计算节点上,多个节点并行运算,从而实现粗粒度的并行。

PVM的免费、开放以及易用使其成为一个被广泛接受的并行程序开发环境,有很多并行机公司都宣布支持PVM、PVM 可以安装到各种Unix、 Windows操作系统上运行。所有这些又有力地促进了PVM的推广。现在所有的并行机都支持PVM3。

MPI是并行计算机的消息传递接口标准。指定该标准的主要目的是为了提高并行程序的可移植性和使用的方便性。有了统一的标准,并行计算环境下的应用软件库以及软件工具就都可以透明的移植。各个厂商可以依据标准提供独具特色和优势的软件实现和硬件支持,从而提高并行处理的能力。

MPI没有简单地指定某系统为标准,而是吸取许多已经广泛应用的消息传递系统的特点。它在采纳已有系统优点的基础上,增加了许多新的特点,从而使其成为非常有吸引力的标准。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章