中国存储软件供应商燕融为 HPC 和 AI 工作负载提供 YRCloudFile 分布式共享文件系统。通过将 KVCache 集成到文件系统中,燕融表示显著提升了 KV 缓存命中率和长上下文处理能力,降低了 AI 推理成本。
YRCloudFile 支持全闪存驱动器和 Nvidia 的 GPUDirect 协议。KVCache 是一种在 AI 模型推理阶段存储中间结果的方式,避免在每个阶段重新计算,从而缩短响应时间。
据了解,YRCloudFile 系统中的 KVCache 可能作为 GPU 服务器集群中的分布式内存层,用于存储经常访问的元数据(即键值对)。
为了验证 YRCloudFile KVCache 的性能,燕融使用公开数据集、行业标准基准测试工具和 NVIDIA GPU 硬件模拟了真实工作负载。结果表明,YRCloudFile KVCache 支持显著更高的并发查询吞吐量,为推理工作负载提供了具体、可量化的价值。
燕融进行了多阶段测试,比较了原生 vLLM 性能与集成 YRCloudFile KVCache 的 vLLM 在不同 token 数量和配置下的表现。
一项测试评估了单个查询在 8,000 至约 30,000 个 token 作为上下文输入时的总响应时间。随着上下文长度增加,使用 KVCache 的 YRCloudFile 在首个 Token 生成时间 (TTFT) 方面实现了 3 倍到超过 13 倍的性能提升。
第二项测试衡量了在 TTFT 值为 2 秒或更短时支持的并发查询数量。结果显示,YRCloudFile KVCache 与原生 vLLM 相比,支持的并发请求数量提高了 8 倍。
第三项测试结果表明,在高并发情况下,YRCloudFile KVCache 在不同上下文长度下实现了超过 4 倍的 TTFT 性能提升。
燕融表示,这些结果展示了"通过分布式存储扩展 GPU 内存如何突破传统计算瓶颈,实现资源利用率的指数级提升"。总的来说,"YRCloudFile KVCache 通过 PB 级缓存扩展将存储资源转化为计算优势,重新定义了 AI 推理的经济性"。
我们认为,YRCloudFile 的 KVCache 与 WEKA 的增强内存网格 (AMG) 有一些相似之处。AMG 是一个软件定义的文件系统扩展,提供了微秒级延迟的 Ex 级缓存容量和每秒数 TB 的带宽,实现接近内存速度的性能。
WEKA 的一篇博客提到,它"将 GPU 内存扩展到 WEKA 数据平台中的 token 仓库,提供接近内存速度的 PB 级持久存储。token 仓库为标记化数据提供持久的、基于 NVMe 的存储,使 AI 系统能够以接近内存的速度存储和检索 token"。
这"使您能够缓存 token 并以微秒级延迟将其传递到 GPU,驱动下一代 AI 工厂所需的大规模、低延迟推理和高效的计算重用"。AMG 的特点是:"在 NVMe 中持久存储标记化数据",而且"token 被存储起来,在推理时从'货架'上取出,而不是针对每个请求持续地按需重新生成"。
AMG "将 GPU 内存扩展为分布式高性能内存结构,提供微秒级延迟和大规模并行 I/O,这对于实时大规模存储和检索 token 至关重要"。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。