/
缓存技术 关键字列表
Tensormesh获Nvidia、AMD和CoreWeave投资，解决AI模型内存问题
AI基础设施初创公司Tensormesh完成2000万美元融资，投资方包括英伟达、AMD和CoreWeave及多家风投机构，累计融资额达2450万美元。该公司通过KV缓存技术，将大语言模型处理提示词时产生的中间数据存储复用，避免GPU重复计算，可将推理延迟和算力成本降低10倍。其旗舰SaaS产品Tensormesh Inference已正式发布，支持无服务器API、专用GPU及企业定制化部署，部分用户缓存命中率已超70%。
Google 推出 “隐式缓存” 降低最新 AI 模型访问成本
Google 在 Gemini API 中推出自动缓存功能，通过复用重复数据为开发者节省最多 75% 的调用成本，有望缓解高额 API 费用问题。
白皮书
京公网安备 11010802021500号
