IBM将Platform Computing定位为大数据运行框架

ZDNet至顶网软件频道消息：云计算、大数据、移动和社交四大技术正在颠覆企业的旧有商业模式，随着这四大技术的盛行，企业在迎来发展机遇的同时也面临诸多挑战。越来越多的数据需要被储存、计算和分析，企业的传统IT基础设施已经难以负载。企业需要的是能够运行在云上，更加灵活并可扩展的基础设施。

为了掘金数据海洋，企业需要一个运行在云上的企业级大数据和分析平台。IBM为客户提供了完整的大数据平台解决方案，里面包含了很多硬件和软件，如流计算、大数据分析加速器等等。同时，IBM也提供了广泛的大数据专业服务以满足客户的需求。

IBM Platform Computing中国区销售经理周立旸指出，“IBM将Platform Computing定位为一个大数据运行框架，上面有各种各样的大数据应用及大数据引擎，这些技术来自IBM、第三方，及一些开源技术，它的下面是各种各样的硬件环境，包括一些物理的异构服务器，X86服务器，Power服务器，各种各样的存储，以及一些云计算或者纯粹虚拟化的资源。Platform Computing在这两层之间，为上层的各种大数据分析应用提供运行支撑。”

大数据运行框架的关键在于，如何构建一个优化共享的基础设施。随着数据量的增加，每个应用需要的资源需求量会变得越来越多，假如还是采用传统思路，针对每个大数据分析应用建设一套独立的软件堆栈及专用的硬件的话，随着每个应用自身数据量的不断增加，对客户来讲，无论是管理还是开销都将变得无法承担。周立旸指出，Platform Computing起到的一个很大的作用就是帮助客户把下层的资源整合起来，满足上面不同应用运行的需求，使上层的每个应用都能获得更有弹性的基础设施，满足它们的性能及对吞吐率的需求。这些资源被汇集成一个大的资源池，一方面提高了整个系统的利用率，另外一方面也提高了数据的重复使用率。

随着应用和技术的发展，“多租户”功能已经成为企业大数据环境所需解决的核心问题。去年年底，Hadoop也发布了一些新的版本，实现了一个新的应用框架，叫做YARN （yet another resource negotiator）。但是，YARN是一个新出来的技术，成熟性有待提高。周立旸指出，多租户功能根植于Platform Computing，IBM提供的是企业级共享服务环境。通过这种方式，帮助用户更好地实现在大数据环境里面的资源整合，为各种不同的大数据应用提供共享服务的资源池。

据介绍，Platform Computing主要面向的行业包括金融、保险市场，电信行业，生命科学行业及教育科研领域。这些领域对大数据分析的应用需求都非常迫切。Platform Computing也得到了很多全球领先用户的认可，其中包括一些金融的客户和一些大型制造业企业，它们都在过去的十年甚至是更长的时间里采用Platform Computing，实现了竞争优势。

以下为现场实录：

周立旸：各位嘉宾大家好，我今天给大家介绍一下IBM  Platform Computing企业级大数据分析和分布式计算平台的一个解决方案。

周立旸：过去几个月大家可能从IBM这边听到一个词汇叫CAMS，就说现在整个的IT应用发展，像云计算、大数据和分析，像一些用户交互的应用可能是未来整个IT当中非常高的一个增长领域。但是，在这个增长的领域里面对我们的客户应用环境也提出了新的一些要求，随着这个交互的增多，我们客户可能需要存储越来越多的一些数据，对这些数据来讲我不仅是要存储，可能需要从它里面进行更多的计算和分析，得到对一些应用有利的需求。为了满足这么大量的一些应用数据的分析和计算的应用需求，我可能传统的基础设施不能满足它应用的需要，我需要能够在云的环境上面提供一个更加灵活的可扩展的基础设施，来支持一些应用的需求。所以，在新的环境里面对我们整个基础设施的应用也提出了新的需求，所以作为一个用户假如他需要考虑一个企业级的大数据和分析平台，像这几个方面都可能需要考虑得到。

周立旸：IBM可以提供一个非常完整的大数据平台的解决方案，这个平台解决方案里面包含了很多系统的硬件，包含一些系统的软件，也包括了来自于是的软件部很多的大数据，比方说流计算，比方说一些大数据分析的加速器的软件，同时IBM也可以提供非常广泛的大数据的专业服务来满足客户的需求。Platform Computing在整个大数据平台解决方案当中的定位我们是把它定位成一个大数据运行的框架，上面我们可能有各种各样的大数据的应用，各种各样大数据的引擎，来自于IBM或者是来自于第三方，或者是开源的一些技术，下面可能我会有各种各样的硬件环境，这个硬件环境可能会是物理的一些异构的服务器，X86的服务器，Power的服务器，各种各样的存储，也可能是来自于一些云计算动态，或者是一个纯粹虚拟化的资源。Platform Computing就可以在这两层之间为上面的各种不同的大数据分析的应用，同时能够支持下面各种不同的物理的或者是虚拟的，或者是云计算环境，然后提供所有的这些应用支撑的运行框架，这也是整个Platform Computing的定位。

周立旸：假如要实现这么一个框架，非常关键的一点就是我们怎么能够建设一个优化共享的基础设施，因为随着这个数据量的增加，我每个应用可能需要的基础设施对它的资源需求量也会越来越多，假如我还是采用一个传统的思路，针对每一个大数据分析的应用，我建设一套独立的软件的堆站，下面有一个专用的硬件的范围，随着每个应用它自己数据量不断的增加，对客户来讲无论是从管理还是开销上可能都会成为一个没有办法承担的，无可承担的这么一个辎重的包袱。对Platform Computing来讲，我们起到一个很大的功能就是我们能够帮助客户把这些下面不同的资源整合起来，来满足上面各种不同应用运行的需求，对每个应用我都有机会可以得到比我原先更多的基础设施或者是更加弹性的基础设施，来满足我应用一个性能或者是吞吐率的需求。对下面的基础设施和我们的管理人员，这些把资源汇集成一个大的资源池，一方面我可以提高整个系统的利用率，

周立旸：另外一方面假如我这是一个大数据的应用，我也可以提供这些数据的重复使用率，我不需要为每一个应用来复制一套完整的大的数据，而是可以通过这种大租户的共享的计算的基础设施来让更多的应用可以重用到下面这么一个非常大量的数据。所以，这也是Platform Computing主要能够实现的一个功能。

周立旸：这个共享服务的概念，或者说一个多租户的概念，在过去几年当中，实际尤其是在大数据领域里面得到了相当多用户的认可，现在正在成为他们非常关注的一个问题。在去年年底的时候，我们知道整个hadoop也发布了一些新的版本，在里面也实现了一个新的应用框架，叫做YARN （yet another resource negotiator），这个YARN它的一个很大目的就是能够为这些不同的大数据应用来提供一个多租户的应用的框架。但是这个YARN是一个新出来的技术，可能在成熟性上，在很多地方还需要有待提高，但是实际上Platform我们大数据解决方案当中的多租户实际上是根植在我们这个产品本身的，我们现在就已经可以提供这么一个共享服务，同时我们在未来也能够满足新的一些技术，包括随着hadoop技术发展所带来新的一些框架，新的技术。通过这种方式可以帮助用户更好实现在大数据环境里面的资源整合，同时能够为各种不同的大数据的应用来提供这么一个共享服务的资源池。

周立旸：为了实现这一点，Platform可以提供一个非常完整的大数据和分布式计算管理软件的解决方案，我会分三个不同的层次来解决这个问题。

周立旸：首先在工作负载管理和资源管理方面，我们有三个不同产品的家族，它可以来满足各种不同应用的需求，在很多情况下我有的时候用户的需求，甚至是这几个不同类型应用的整合。举例来讲，可能一个用户有很大的资源池或者有一个云环境，在这个云环境里面我可能有一些大数据的工作负载要进行运行，但是我可能还会有很多计算型分析型的应用同样要访问这些数据，同样也希望能够在这个基础设施上运行，甚至我可能还会有传统的一些批处理的对资源要求比较高的应用，我也希望能够在这个基础设施上运行，来提高它的利用率，来提高我的应用效率。这些不同的Platform Computing的工作负载资源管理的软件能够工作在一起，为各种不同类型的用户能够提供最大的共享的资源环境，像在这个里面我们Platform LSF，PlatformSymphony都是针对这些不同类型的工作负载的资源管理和工作负载的管理软件。如果需要的话，它们当中都有一些通用的技术基础设施组件，所以它们都可以工作在一起为用户提供更灵活的应用服务。中间一层我们有一个数据管理的组件，这个组件是采用IBM GPFS分布式并行文件系统，在这个分布式或者是一个比较大的大数据环境里面，通过这个GPFS可以来实现一个高性能的分布式的并行文件系统，来为不同的应用提供共享的数据服务。最下面可能需要有一个基础设施管理，目前我们有一个Platform Cluster Manager它会分成不同的版本，比方说标准版主要是用来管理集群环境的，它有个高级版是可以管理这种网格或者是云计算环境的。通过这个基础设施的管理可以使得下面我各种不同异构的服务系统，基础设施，包括虚拟机，物理机，桌面机，也包括一些物理的在数据中心里的服务器或者是在云上面一些云的资源，能够统一通过我们的工作负载和资源管理软件来实现调度，来帮用户提供一个近乎透明的应用体验。

周立旸：在今年我们整个Platform Computing的软件又提供了一个新的产品叫Platform Computing云服务，这个产品的核心理念可以通过和IBM的SoftLayer云计算的基础设施结合在一起，让客户能够通过这个软件平台作为一个服务的方式来使用我这些应用。它很大的一个应用场景可能非常适合这些所谓的混合云的用户的需求，这个用户可能自己的数据中心里面有一个它的基础设施，但是在高峰的时间里面可能这个基础设施不能满足它的应用需求，它希望能够得到一些外部的资源来满足它的应用的自动能够把这些工作负载移到外部的云资源上面，同时满足它的应用服务水平的需求。在这个环境里面我单单有了分布在云上的一个基础设施是远远不够的，我还希望这些工作负载能够自动调度到这个云上面来运行，使得这个应用，对应用来讲可以达到一个完全透明的效果，我不需要关注我这个应用，我还是像我使用我本地资源一样在本地提交，但是后台可能根据我目前的资源使用情况它会通过我们的工作负载管理的功能自动把它角度到云上来运行。所以像这种有混合云的需求的一些用户，新的Platform Computing云服务实际上是它非常适合的一个解决方案，能够帮助我们把外部一些云资源能够和目前自己企业的应用更好整合在一起。

周立旸：Platform Computing我们主要面向的行业应用也包含了很多的行业，在大数据和分析领域我们可能主要的一些行业应用，包括像金融市场、保险，包括像电信行业，包括像一些生命科学行业，甚至是在一些教育科研领域，现在对于很多研究的一些领域，除了传统的这种计算模拟之外，我通过一些统计，通过一些大数据分析的方式也是他们一个非常重要的支撑的工具。在这些领域里面都有非常多的大数据和分析的应用需求，Platform Computing可以结合我们过去和一些应用集成的经验，帮这些用户提供更好的解决方案。

周立旸：Platform Computing可以提供的一些价值对我们的IT人员，包括我们可以大幅度提高资源的利用率，可以大幅度简化我资源的管理，同时假如有一些新的技术，比方说现在有很多携处理器，比方说是GPU，对用户来讲假如我要利用这些新技术，我可能需要一个非常长的学习的周期，通过Platform Computing可以让我们更加能够快速让我们这个软件来解决这些复杂性的异构环境的调度功能，使得用户能够更早更快使用到这些新技术，来缩短它的学习周期的时间，同时，Platform Computing也可以大大提高它的利用率。对于业务部门来讲，通过采用这么一个框架，它可以大大缩短它进行分析，模拟的这么一些时间，从而能够缩短它的一些产品的上市时间或者能够提供一个更好的设计模拟和分析的服务。对于公司的高层领导人员，比方说它的CFO，CIO来讲，通过实现这么一个共享服务的平台，可以大大降低所有的人员，空间，甚至是一些软件许可证的一些成本，使得整个IT可见可控，提高它总体的投资回报。

周立旸：目前，Platform Computing这个架构也得到了很多全球领先用户的广泛认可，我们有很多包括像一些金融的客户，像全球最大的一些投资银行，包括一些大型的制造业的企业，实际上它们都在过去的十年甚至是更长的时间里面广泛在企业范围里面采用了同时，Platform Computing这么一个框架的架构，来帮助他们实现竞争的优势。

周立旸：同时，Platform Computing在整个企业级大数据平台，这张chart就介绍了整个IBM企业级大数据平台的整体架构。我们可以看到整个企业级大数据平台，上面我可以跑各种各样不同的大数据分析和应用，包括比方说是基于MapReduce的或者是基于一些数据库或者是内存计算的数据分析应用，也包括了一些需要进行实时分析处理的我们把它称为SOA应用的这么一些并行的应用，可能也会包含一些对资源要求比较高的一些批处理应用，比方说我们做一些数据的ETL，数据的提取转化等等，像这些应用通过这个都可以在企业级大数据平台上来运行，通过Platform Symphony来进行统一的调度和资源管理，然后通过这个GPFS为这些不同的应用提供一个共享的安全可靠的数据服务，下面通过Platform Computing Cluster Manager根据每个应用的特点我可以在不同架构的服务器，物理的虚拟的资源，甚至是云资源里面构建我支持这些应用的一个运行环境。 

周立旸：和一些开源软件相比，企业级大数据平台我们认为我们有非常大的优势，目前在整个开源范围里面也有很多用户都采用了一些hadoop或者是某些特定的hadoop发行版本的这么一个解决方案，和这些开源的方案相比，IBM企业级大数据平台我们有很全面的优势，在上层通过我们的一些软件的Offering，我们可以提供一些类似像Big SQL，类似像一些Stream来提供一些流计算或者是SQL on Hadoop的解决方案。在下面的基础设施方面，通过Platform Symphony我们可以提供一个领先开源hadoop一代的一个分布式计算框架，像新的一些刚刚hadoop的一些，我们说的一些智能调度，像一些可用性，实际上这些都是根植在Symphony产品里面本身，我们可以兼容不同版本的hadoop，同时能够提供一个比开源产品提供更多智能调度功能，更高可靠性的，或者一个多租户应用环境的应用支持框架。和开源的HDFS这样一个文件系统相比，GPFS可以提供一个更加成熟可靠的分布式并行文件系统，同时假如我们采用像GPFS FPO这样一个框架，我可以采用和开源HDFS相类似的一个硬件的基础设施来降低我整体的数据存储的成本。在下面的基础设施领域里面，传统的基于开源的一些方案可能只能支持X86的环境，通过IBM企业级大数据平台，我还能够支持Linux on Power这样一个企业级的环境，对于某些应用来讲可能它是一个性能和成本能够更好平衡的新一代的硬件平台。

周立旸：Platform Symphony支持大数据，这张图列出了几个Platform Symphony支持大数据的主要优势。我们可以看到它的核心优势就是它的一个多租户的功能，它可以支持各种不同的作业资源，共享我下面的一个基础设施环境，同时它可以支持hadoop的API，也可以支持一些并行SOA的API，使得一些基于hadoop开发的一些大数据的应用和有一些并行计算分析的应用，可以在同一个集群或者是同一个分布式的基础设施环境上来进行运行。为了支持这些不同的应用，不同的作业，能够更好地在这个平台上来满足各个不同的业务部门和应用本身的服务水平需求，我里面又可以提供很多各种不同的调度策略来帮助用户实现更高的可靠性，以及能够基于它的服务水平要求来实现这些资源的调度。

周立旸：后面几张图另外列出了Platform Symphony其他几个优点，比方说由于我们整个框架全部是采用商业化的软件开发的，所以在性能，时延方面都有比开源的产品有很多的优势，所以在一些实际的应用性能测试上来讲，采用Platform Symphony可以有一些大幅度的提高，我们可以看到尤其是一些对时间延迟比较敏感型的一些应用，比方说像一些Sleep这样的一些基准性能测试我们可能性能可以有几十倍的提高。另外，这张图是Platform Symphony的工作负载管理和调度的应用界面，虽然我们可以看到不同的业务部门，我可以共享同一套基础设施，根据各个业务部门特点，根据它的优先级，我可以实现这个资源的一些优先调度，甚至是按照时间的调度，有些业务部门可能它白天的时间会更多使用这些资源，另一些业务部门可能在夜间的时候它可能大量的是一些批处理的作业，或者是非实时性的一些作业，它可以在另外一个时间段来主要采用这些资源，帮助整个用户提高它的整个工作负载的有效性，而后能够提高基础设施的利用率。

周立旸：Platform Symphony也可以提供非常丰富的资源管理监控和分析的一些功能，除了一些简单的监控，他还可以了解一些应用使用的一些趋势和特点，作为我的整个IT规划人员，我可以基于这个当中得到的一些数据来规划我未来IT扩展，比方说我究竟是需要更多的CPU资源，还是我需要更改一下目前这个系统环境的配置来增加它的内存资源或者是增加它的网络带宽，通过我们这些分析功能可以帮助我们更好地找到系统的一个瓶颈。最后，在整个平台里面我们可以支持一个非常高的可用性，同时能够提高整个资源的利用率。所以，对于整个用户来讲采用Platform Symphony可以大大降低它的总体拥有成本。

周立旸：第二个核心组件我们是GPFS，这张图上列出了GPFS FPO支持大数据的主要几个优势，这个优势不单单是在一些性能方面，对于很多的客户来讲可能就可管理性和性能同样重要，甚至更多的重要。在一些开源的并行文件系统或者是类似的解决方案里面，相当于在这个数据管理能力上面是非常有限的，比方说是一些分层存储管理的功能，比方说是一些数据同步备份快照的功能，假如客户有一个容灾或者是有一个分布式环境，我可能会需要有一个基于广域网的数据的复制的功能，像类似这些功能在一些开源的产品里面都是没有办法实现的。所以，通过GPFS  FPO不仅仅我可以提供一个更快的性能，同时能够提供它所增加的这些可管理性，帮助客户能够更好地让这个大数据分析的平台同时也能够适用整个企业里面企业级的数据管控的要求。举个例子，像在GPFS里面我们有很多安全性的功能，它对一些非常关键的数据可以有非常丰富的加密的一些功能，然后我还可以支持非常安全的数据擦除的功能，帮助客户确保这些数据不会造成一些泄露或者是对整个业务有一些影响。

周立旸：GPFS同时除了这些本身它对并行环境的支持，它还有很多企业级的数据管理的功能，比方说全局数据共享，比方说是一些数据生命周期管理，我假如数据量非常大，我可能不希望我每次都采用这种手工的备份归档，我可能是希望通过一个比较自动的方式能够在高密度的存储或者是一些（进线）存储，甚至是离线存储之间，来合理分配我这个数据的存储介质，这些都可以通过我们的GPFS的数据生命周期管理的功能来实现。

周立旸：最后，我们认为IBM企业级大数据平台有一个非常核心的优势就是它的本地服务和支持能力。这个本地服务支持能力对于整个企业级的用户也是非常关键的，因为我们知道所有的软件，不是说企业级的商业软件它一定就没有bug没有问题，关键是它支持和解决这些问题的能力对我们的客户非常重要。Platform Computing我们在国内将近有300多位专门的开发和技术支持的人员，所以我们在中国本地就可以为我们的客户提供一个世界级的支持服务，所以通过这个方式对于很多的企业用户采用Platform Computing这个企业级大数据平台，我可以从IBM这边得到一些世界级的本地的服务，来免除后顾之忧。

周立旸：刚刚讲了这么多，客户用大数据能够用来做什么呢？我们认为在我们这个大数据平台上的应用，我们可以把它分成两个大类型，一个大类型是大数据处理，一个大类型是大数据分析，对于大数据处理来讲它很多可能都是一些比较IO密集型的应用，比方说一些ETL的加速，比方说一些新数据怎么样来捕获存储，我认为采用传统的一些方式来捕获存储这些大数据成本会非常高，我能不能用一些新的架构来存储和捕获这些数据。有些客户也可能通过一些数据库瘦身的方式，比方说我传统的一些数据库随着这个数据量增加可能会对我的管理性，对性能造成很多的影响，通过大数据作为现有数据库的一个补充来帮助我实现一个数据库的瘦身，不影响我传统数据库应用的性能，同时又有一个机制能够来存储和访问管理一些新的数据。这个是整个Platform大数据企业平台非常适用的一个环境，另外一部分在大数据分析领域，这些应用可能更多的是计算密集型的应用，它会用到非常多的计算分析处理功能。

周立旸：举例来讲，像一些金融电信领域里面的行为分析，比如说像一些金融市场或者是保险机构它有很多的实时计算的一些应用需求，比方说对很多的用户它有一些场景模拟，我需要调整一些不同的参数来模拟得到一些结果，比方说一些风险分析的应用，像这些类型的大数据分析的应用也非常适合采用我刚刚介绍的大数据应用的平台，所以这是一些大数据主要的应用场景，我们实际上在每一个应用场景里面在国内国外我们都有相关的一些案例，如果有需要大家可以访问Platform Computing的网站从里面得到这些案例更加详细的一些信息。

周立旸：最后，Platform Computing我们这个产品到目前为止已经有将近20年的历史了，持续来讲在集群网格云计算环境里面我们都希望能够为用户提供一个最好的平台管理软件的解决方案，在大数据和分析的领域里面我们也希望能够更好的和各位用户的应用环境能够结合在一起，使得我们这个大数据平台能够为大家带来更多的价值，这是今天介绍的内容，谢谢大家。