左手Symphony 右手GPFS Platform Computing打造大数据方案

ZDNet至顶网软件频道消息（文/王涛 张德东）： IBM技术计算解决方案范围从部门集群延伸到超级计算机，使企业能够通过为广泛的商务和业务挑战提供高性能基础架构来实现更好的成果。技术计算与高性能计算的紧密相关，它把高性能计算机系统使用到其它的行业中， Platform Computing担负了这个职责，Platform Computing是IBM技术运算的战略支撑，在集群、网格和云管理方面积累了雄厚的技术基础和客户案例。

IBM Platform Computing软件技术理念

我们先来看看与IBM Platform Computing有关的一组数字，Platform Computing是商用HPC的事实标准，全球60%的顶级金融服务机构采用了Platform Computing，Platform Computing管理的CPU数量超过500万颗。

IBM Platform Computing软件技术理念就是让客户能把成千上万台计算机当作一台来使用和管理。为了达到这个目的，IBM Platform Computing采用了3层软件功能，第一层是资源整合，把企业所有的服务器及操作系统的软硬件整合成一个逻辑层，交给第二层资源分配来处理，第二层是资源分配，是网络层次的一个概念，把资源整合的逻辑层根据应用的使用、资源情况动态分配，大幅提高资源的利用率，并同时满足用户的服务标准。第三层是资源访问/使用，使用户通过API或UI界面或APP能够清楚明了地使用资源。如果是一个并行任务，用户可以通过一个中间件API调用资源，满足并行应用。

这三层逻辑抽象，就构成了完整的Platform Computing的软件应用层次，可以支持多用户、多应用、共享、动态的平台，实现主流的技术计算。

Symphony是Platform Computing平台一个并行分析的计算平台，从理解的角度，与WEB服务器的应用服务器类似，可以把Symphony看成是Platform Computing技术运算平台的应用服务器，它包含针对低延迟、可靠性和资源共享进行优化的MapReduce，还可以兼容 Apache Hadoop，进行大数据分析。

如何用Platform Symphony做大数据分析

IBM Platform Symphony是一个并行分析的计算平台，可以支持各种类型的计算密集型和数据密集型的应用。从开发者的角度来说，Symphony是一个可以成百上千倍提高运用速度，提供低延时、高并行度、高可靠性的应用中间件。同时，还可以把Symphony看成是一个面向技术运算的服务器。数据显示，Symphony远程并行服务的延迟低至毫秒级，每秒钟可以同时启动17000个服务任务，每一个应用可以使用多达10000个核，每一个集群可以支持多达40000个核，可以实现多个任务、多个应用同时运行。

不仅如此，Symphony还可以同时支持计算密集型应用和数据密集型应用的管理软件。随着分析工作负载的计算与数据密集性的不断增高，许多类型的应用程序都要求快速分析使用内存中的数据网格存储的或分布式文件系统上的大量数据。不同于其他网格管理解决方案，Platform Symphony Advanced Edition(Symphony的高级版)并不需要单独的基础架构来支持这些数据密集型问题。它包含针对低延迟、可靠性和资源共享进行优化的MapReduce，还可以兼容 Apache Hadoop 。用户可以通过使用此功能在相同的共享分布式基础架构上运行使用其他语言编写的Hadoop和非Hadoop应用程序。此外，Platform Symphony的多租户架构可以使其在单一的共享式基础架构上部署多个 MapReduce 引擎。

就工作环境而言，Platform Symphony客户机和服务可以在不同的操作系统、语言和框架上实施，集群还可包含运行多个操作系统的节点。而且，Platform Symphony可在相同的集群中管理多种不同类型的主机，并控制每个主机上运行的应用程序服务。

Platform Symphony支持GPFS

IBM Platform Symphony支持各种类型的数据，开源MapReduce只支持开源的HDFS，IBM Platform Symphony支持包括IBM GPFS、HDFS、数据仓库以及其它数据来源和输出端，甚至“数据的输入端和输出目标的类型可以不同”。

GPFS是一个高性能的，共享磁盘空间的文件系统的管理方案。GPFS运用于集群环境中，提供快速可靠的数据访问。通过GPFS，同一个集群中的多个节点可以同时访问同一个共享文件。

GPFS还可以提供在线存储管理、可扩展的访问和集成的生命周期管理工具,并且有能力管理PB级的数据和数十亿的文件,可以大大减少切换时间，减小客户应用的不可用时间。

GPFS可以帮助企业降低存储管理成本，并能减少数据重复和更有效的使用离散的存储组件，使之成为一个逻辑整体，使信息呈现一个集中的、高性能存储的架构。GPFS还可以帮助改善服务器硬件利用率，从任何节点通过允许动态存储访问所有数据，GPFS多层次的方法可以减少存储成本。

搭载Power Linux的大数据方案

随着开源开发平台的迅猛发展，Linux市场快速增长，也让IBM看到了Power Systems的新机遇，并希望在这个市场有所斩获。其实早在两三年前，Power Systems就开始涉及Linux市场，从最早的Open Power到现在的Power Linux，Power Systems一直都在根据市场的发展不停的改变。

作为运行Linux软件的全新Power硬件平台，在Power Linux产品方面，IBM为其PowerLinux 7R1（单插槽）与7R2（双插槽）设备提供了Solarflare的高性能低延迟10Gb每秒以太网适配器。有趣的是，Solarflare卡在网络中嵌入了一套现场可编程门阵列（简称FPGA）。在Open Onload开发环境的支持下，经过调整的FPGA能够在数据到达服务器之前完成各类操作任务——这在高频数据交互环境下意义非凡，而且也是IBM Power设备对抗x86设备的有力武器之一。

基于Platform Symphony和Power Linux的大数据方案

为了进一步推广Power Linux产品的应用，打造完善的生态系统，IBM“天合计划”通过将 VAD（增值分销商）合作伙伴的软件预装在PowerLinux服务器上，打包成为“CAMP Box”解决方案，帮助用户大幅降低Power平台的使用成本和PowerVM虚拟化技术门槛，进一步丰富Power企业入门级服务器产品线，让用户同时享受开源和Power平台的各种优势技术，为用户提供更多“智慧的运算”的选择平台。

Power Linux的出现，为搭载Symphony的硬件平台提供了新的选择，软件方面，Symphony一直是处理非结构化数据的方案，硬件方面，Power Linux具备了从Power产品线延续下来的高度RAS特性，两者的结合为处理大数据提供了完整的打包方案，无疑将进一步发挥Platform对大数据处理的优势和价值。

了解更多，请搜索“实现大数据价值的万能金钥”