多智能体系统里的KV缓存困境:PReCache如何让AI团队协作提速3倍
多智能体AI协作时重复计算KV缓存浪费严重。PReCache提出预计算低秩缓存和中性基础缓存重构两项设计,免训练实现最高3.1倍加速、2.3倍吞吐提升,且准确率仅比不共享方案低1.1个百分点。
多智能体AI协作时重复计算KV缓存浪费严重。PReCache提出预计算低秩缓存和中性基础缓存重构两项设计,免训练实现最高3.1倍加速、2.3倍吞吐提升,且准确率仅比不共享方案低1.1个百分点。
这篇论文提出AdaGuard,一个能理解用户自定义规则、评估AI智能体行为是否违规的安全审核模型,并配套构建了AdaptiveSafety数据集和SafePO强化学习算法,4B模型在测试集上准确率达89.30%。
论文指出MoE模型合并后路由虽大幅改变,但这种"漂移"未必等于性能失败。研究者提出任务导向的检验框架,并通过SRR方法验证:源模型路由偏好难以可靠预测真正有益的修复效果。
论文提出Rolling-WAM,通过滑动窗口把机器人世界动作模型的去噪计算分摊到多个规划周期,近端动作精炼、远端预测暂缓,在LIBERO、RoboTwin及真实人形机器人任务中实现4.5倍推理加速且性能不降反升。
LightMIS是一种超轻量医学图像分割模型,抛弃传统U-Net解码器,用尺度对齐投影和自适应融合级联直接聚合编码器特征,仅0.131M参数即达到接近最优的分割精度,并在手机GPU上实现完整算子覆盖。
RayOrch是面向大模型数据准备的分布式执行系统,通过维护父子结构血缘和FIFO队列调度,解决文档视频处理中细粒度并行与完工判断的矛盾,实测扩展至64GPU加速超15倍。
Google AI基础设施首席技术专家Amin Vahdat在红杉资本的访谈中提出,衡量AI算力的关键不是FLOPS这类理论峰值,而是goodput——真实故障环境下交付的有效工作量。十万加速器规模下,故障几乎每小时都在...
Mandiant创始人Kevin Mandia谈他为何重新创业做Armadin:AI让攻击者能以机器速度同时试探上千条入侵路径,国家级攻击正从精准狙击变成无人机蜂群式打法。Armadin今年已在客户生产环境中找到超90个...
论文提出ZooWork-ShopRanker系列电商排序模型,用多家族大语言模型充当裁判标注偏好数据,通过蒸馏训练出高效小模型,并发布ShopRank-Bench基准,揭示开源排序模型在处理预算、约束等硬性条件时普遍失效...
长文本注意力计算量随长度平方增长,选块环节成为瓶颈。字节跳动与上海交大提出PISA,用金字塔式分层选择和LogSumExp打分,把选块复杂度降到O(N log N),长序列检索更准更快。
一个只做选择题的轻量决策模型Jev发布一周内涌入2170个GitHub项目、43750个星标。论文分析其应用领域分布、决策用途与关注度失衡现象,揭示通用决策组件如何嵌入真实系统。
CARD提出分层个性化框架,先按风格聚类训练群体级LoRA适配器,再用轻量用户偏好向量在解码阶段做精细修正,兼顾生成质量、低资源适应性与部署效率,在LaMP和LongLaMP基准上全面超越现有方法。
Reddit宣布将于11月13日停止RSS支持,并于2027年3月关闭公开API,原因是AI爬虫大规模自动化抓取。此举将影响社交监听工具、研究人员及依赖该平台数据的AI助手产品。
OpenAI在Dev Day上发布Decisions API,可让模型在预设选项中快速选择,功能类似TypeSafe AI的Jev模型。该API旨在提速降本,并有望以低成本监控AI智能体行为。
非营利组织LASST以违反加州计算机欺诈法为由,在旧金山法院起诉OpenAI,要求法院禁止其AI代理未经许可访问第三方系统,并停止不安全的AI开发行为。OpenAI称诉讼"完全没有依据"。
GeoPair提出一种训练无关的Transformer压缩框架,通过全局最优层配对和广义Sylvester方程求解共享字典,结合硬阈值稀疏化,在文本、视频、音频多模态模型上均取得优于现有方法的压缩效果。
论文指出大模型评估长期忽视校准这一关键指标,即置信度与实际正确率是否匹配。作者呼吁将校准作为每个NLP子领域的标配评估维度,并分析了现有指标的适用边界与开放式生成场景下的挑战。