llm-d 1.0发布:开源AI推理迈向生产级运营新阶段
Red Hat、IBM、Google等联合维护的Kubernetes原生分布式推理项目llm-d正式发布1.0版本,新增多租户服务质量管理、零停机运维及智能体感知调度能力。测试显示,其前缀感知路由可实现97%缓存复用率,...
Red Hat、IBM、Google等联合维护的Kubernetes原生分布式推理项目llm-d正式发布1.0版本,新增多租户服务质量管理、零停机运维及智能体感知调度能力。测试显示,其前缀感知路由可实现97%缓存复用率,...
文章作者、AI安全公司CTO认为,AI在复杂任务中表现出色却在简单任务上频繁出错,未来工作将向"判断力"转移。真正的风险在于,入门级岗位被自动化消除后,人类积累判断力的路径也随之断裂。
Synaptics联合Google Research推出Coralboard SL与SR两款边缘AI开发板,SL版基于Astra SL2619处理器(1 TOPS NPU),现已通过DigiKey全球发售;SR版搭载As...
Synaptics推出Astra SR200系列多模态边缘AI MCU,集成Arm Cortex-M85与M52双核架构,提供最高400GOPS AI加速和256MB自定义DRAM,支持视觉、语音与显示功能,面向可穿戴、...
本文介绍了KVCMAS,一种面向多智能体大语言模型系统的KV缓存校正框架,通过低秩压缩存储和链式参照设计,解决共享上下文重复计算导致的高延迟高内存问题,在保持准确率的同时大幅提升服务效率。
时间序列智能体配专家工具反而变笨?论文揭示"工具错位"与"静默伤害"两大隐患,提出TimeEvo让智能体从自身失败中自动合成工具,经双重验证后才准入,十项任务全面提升且可跨模型迁移。
本文介绍LastOPD方法,揭示大模型蒸馏小模型时隐藏状态对齐训练"先涨后崩"的失效现象,并提出只在最后一层做对齐、训练初期10步淡出的解决方案,实验证明该方法显著提升小模型数学推理能力且训练效率更高。
论文提出净效用指标,解决LoRA模型合并中秩预算均匀分配的问题,通过为每个奇异方向打分并全局择优,在视觉和语言任务上分别取得2.1%和2.2%的性能提升,且无需任何训练数据。
本文介绍D-JEPA决策对齐潜在世界模型,揭示预测模型在关键候选动作间的判断失灵现象,并提出有界关系学习、受限预测器适配和潜在几何写回三重机制,在机器人操作、自动驾驶等多场景验证有效提升。
本文解读NVIDIA与ISTA提出的解耦量化方法,针对大模型预填充与解码两阶段硬件需求差异,分别设计量化格式与权重,并通过SSD卸载和预填充器技术,在不增加显存占用的前提下提升低比特模型准确率与推理速度。
本文解读SAGE框架,它通过代数稀疏化和双曲结构引导两种信号,缓解大语言模型长程推理中的探索偏差与复合偏差,在12个基准和7个模型家族上验证有效,Andrews-Curtis问题上取得近8倍提升。
Q&A Q1:CodeGraph 是什么? A:CodeGraph 是一个基于开源大语言模型和 Wikidata 知识库构建的超大规模源代码知识图谱,包含约 1.58 亿个节点和 10.2 亿条边,覆盖 14 种编程...
Q&A Q1:softmax重参数化是什么? A:这是一种针对语言模型输出头的后训练量化方法,通过给输出头权重的每一行减去词表行均值乘以一个可调系数,找到一个数学上完全等价、但更适合量化压缩的权重表达方式,从而在不改...
【中国,深圳】在2026全国高性能计算学术大会期间,以“鲲鹏聚力·超智协同”为主题的高性能计算+AI4S赋能产业跃升分论坛于10月19日下午在深圳国际会展中心成功举办。