ZDNet至顶网软件频道消息:对于大数据战略,IBM一直把它看做公司整体战略极其重要组成部分,不久前更是与苹果公司达成一项排他性合作,把大数据和分析能力引入苹果的iPhone和iPad。在IBM大数据战略及解决方案中,Platform Computing处于什么地位?它的特点和优势对于IBM大数据战略的影响是什么?ZDNet记者近日采访了IBM大中华区系统与科技部研发中心总监谢东。
谢东表示,IBM的大数据理念是提供一个完整的解决方案,其中包括硬件系统、硬件管理、大数据运算平台、大数据分析软件。Platform一如它的名字——平台,核心任务是负责对资源进行整合、调度,确保上层应用能够访问底层资源,Platform Computing处于中间层。
作为一个平台,Platform Computing实际上跨越了好几个环节,包括数据的采集、数据的存储以及在这之上的大数据运算。在这之中,Platform Computing要充当管理职能,为这些系统提供快速响应以及合理、高效的应用。
Platform助力大数据与云计算结合
对于Platform Computing应用来说,哪里数据多、对大数据需求旺盛,哪里就是Platform Computing的用武之地。金融、电信、气象、公共安全都是Platform Computing迅速发展的领域。在应用方面谢东特别强调,大数据与云计算的结合是Platform Computing非常显著的一个应用场景。大数据和云计算并不是割裂开的,很多用户需要的,是在云上构建一个大数据解决方案,而Platform Computing提供多租户的概念,使得客户可以在云的平台上构建几个大数据集群,不仅灵活使用,而且可以更高效地利用硬件资源。
为进一步介绍大数据与云计算结合的典型应用,谢东还列举了Platform Computing与SoftLayer的结合实例。如果某一个用户用Platform Computing建立了大数据方案,但是它在某一个阶段运算资源不够,不需要额外购买硬件。实际上IBM的Platform Computing可以给用户提供一个与SoftLayer结合的解决方案,使运算资源无缝扩展,不需要对应用、体验进行任何修改,用完以后还可以退租回来。
Platform成为软硬件优化调和剂
在IBM收购Platform之后,其实已经改变了Platform Computing单纯作为一个软件产品的产业形态,IBM把Platform Computing并入硬件部门,这也就意味着Platform Computing在软硬件优化方面有着极大的优势,也被赋予重大的责任。
对于此,谢东提到了几个月前IBM发布的Power 8服务器。Power8有一个显著的特点,那就是从硬件平台的角度为大数据应用而设计,反过来思考,IBM也需要从软件平台的角度把硬件性能充分利用起来。为了实现这一目的,Platform Computing起到了关键作用,它对Power 8服务器与其他存储设备的资源整合进行了深度融合。
在这种融合当中,其实应用场景是不同的,有的是运算密集型,有的是存储密集型,有的要求高带宽,有的需要大内存和快速响应。针对不同的应用,实际有不同的优化方案,在这方面Platform Computing都可以根据用户不同的需求,根据应用所选用的硬件平台做出适当的优化,使整个系统在一个最优的状态下运行。
大数据平台与已有系统无缝对接
其实在国内,最近一两年已经出现众多Platform Computing的成功案例,对此,谢东也进行了详细介绍。以电信为例,话费详单查询的应用需要考虑不同的查询条件以及历史查询的需求,导致数据量很大,而且这些数据还处于快速增长的态势下,这时候可以采用IBM的大数据平台进行查询。解决方案可以跟电信部门当前业务系统进行连接,让业务系统得到实时数据,然后为用户提供实时的详单查询。
而气象领域更是一个非常典型的应用场景。气象领域需要做数据收集、转换、分析的工作,实际上就需要大数据的处理能力。比如从卫星上获取的数据,如何把这些数据进行更好的处理,同时更快为用户提供查询访问,并进行预报,这也是一个典型的大数据应用。
在这些应用场景中,IBM的大数据平台解决方案会尽量让用户采用已有的系统进行无缝连接,使用户在原有业务基础上拓展到大数据平台,这点已被IBM重点考虑。另外,当用户建立的大数据系统面对持续不断的数据量增长的时候,系统仍然能够无缝的随着业务需求扩展能力和能量。这也是谢东特别强调的一点。而因为同时具有与类似SoftLayer公有云结合的能力,谢东也表示,用户部署的大数据系统与自身的云系统也可以紧密结合。
在采访的最后,谢东也再一次强调了Platform Computing的三大优势:首先,完整性,整个大数据平台从设计开始是一套完整的系统,是集成化的;其次,性能。IBM的大数据平台在实时响应、快速处理等方面有严苛的要求;最后,是容易被大家所忽略的,那就是整个系统的开放性和兼容性。Platform Computing的设计理念就是一个跨平台的、面向不同应用的产品,既有IBM的应用,众多应用场景、分析软件都跑在Platform Computing平台上,系统的开放性、兼容性非常好。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。