北京,2021年4月13日——企业数据云公司Cloudera(NYSE:CLDR)宣布,Cloudera Data Platform(CDP)将集成Apache Spark 3.0的RAPIDS加速器。该软件部署在NVIDIA计算平台上,支持企业能够加速数据管道,并大幅提升数据和机器学习工作流,从而在不更改任何代码的情况下,加快AI采用速度,并产生更好的业务成果。借助今年初发布的CDP中Applied ML Prototypes (AMPs)以及NVIDIA强大的计算性能,美国国税局、英国国家统计局和德国商业银行等客户不但可以快速启动整套机器学习应用,还可以在任何本地、公有云或混合云部署中以较低的成本加速数据处理和模型训练。
企业数据工程师正在以前所未有的力度和规模运用数据集,比如改造供应链模型、应对日益增加的欺诈行为或开发新的产品线等。对于数据科学家而言,海量数据造成的瓶颈会直接影响企业训练和使用模型的成本与速度。Cloudera与NVIDIA的集成有望帮助企业快速应对新出现的以及持续的业务挑战,并提供具有洞察力的分析。
美国国税局研究应用分析与统计司技术部门主管Joe Ansaldi表示:“我们需要能够运用大量数据快速做出准确的决策。随着数据量和速度不断提高,这一挑战也在不断变化。凭借Cloudera和NVIDIA的集成,我们将能够运用以数据为依据的洞察为欺诈检测等关键任务应用提供支持。目前我们正在完成上述集成,并且已经看到数据工程和数据科学工作流程的速度提升了三倍以上。”
对于努力应对海量数据集的公司而言,能否进行模型训练取决于是否拥有开源GPU加速数据科学管道。这种管道可以直接增强企业机构运用AI进行业务转型的能力。GPU加速的Apache Spark 3能够在CDP上无缝运行,从而支持企业机构可以通过安全且可扩展的开源机器学习平台,满足从研发到生产的高性能计算(HPC)、AI和数据科学需求。
Cloudera首席产品官Arun Murthy表示:“在速度至关重要的今天,企业比以往任何时候都更加依赖数据的力量。Cloudera与NVIDIA的合作将为客户提供必要的技术支持,帮助客户更好地理解数据,并充分发掘真正的AI转型潜力。CDP分析体验专为帮助数据专家跨多个公有云和私有云、自信应对指数级数据增长和孤岛式数据分析而构建的。接下来我们将深化与NVIDIA的现有集成,通过使用我们的企业数据云服务,客户将可以保持他们现有的竞争优势。”
NVIDIA数据科学产品组高级总监Scott McClellan表示:“Apache Spark为企业保持竞争力所依赖的机器学习和数据分析管道奠定了基础。NVIDIA加速的计算和运行在Cloudera Data Platform上的Spark分析所带来的处理能力,提供了如期高速完成任务的灵活性,同时节省成本。”
用于Apache Spark 的RAPIDS加速器将于今年夏天在CDP私有云版本中提供。NVIDIA与Cloudera将陆续在CDP中推出更多的加速产品,5月将会在CDP公有云中提供深度学习和机器学习加速产品。您可以在本周NVIDIA GTC上了解有关本次合作的更多信息。
关于Cloudera
在Cloudera,我们相信数据可以使今天的不可能,在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下,Cloudera推动了全球最大型企业的数字化转型历程。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。