全速前进:尽管有人呼吁放慢AI发展,其支撑架构建设却在加速
在圣克拉拉举办的AI Infra Summit上,AWS、Qualcomm、Broadcom等企业分享了如何通过优化CPU、内存架构与网络技术加速AI推理基础设施建设,Qualcomm将"每瓦token数"列为核心指标。
在圣克拉拉举办的AI Infra Summit上,AWS、Qualcomm、Broadcom等企业分享了如何通过优化CPU、内存架构与网络技术加速AI推理基础设施建设,Qualcomm将"每瓦token数"列为核心指标。
AI推理因二次方复杂度和自回归机制导致算力需求激增,GPU利用率仅10%-12%,行业正探索量化、MoE、专用芯片等方案缓解能源与成本压力。
BAN报告指出,AI电子垃圾统计过去仅计入服务器,忽略了占比达87%的网络、供电、存储和冷却设备,且硬件被过早淘汰,专家对具体倍数存疑。
英伟达、谷歌与初创公司Emerald AI发起AEMA联盟,推动数据中心根据电网负荷灵活调整用电,并计划制定行业最佳实践标准。
Emerald AI与谷歌、英伟达、Anthropic等成立AEMA联盟,利用需求响应技术为数据中心争取电网空间,理论上可支持新增100吉瓦数据中心接入。
Pinterest基于Nvidia Blackwell GPU等技术推出AI功能Restyle,用户可上传房间照片,让AI替换家具、墙面装饰或整体风格,助力从灵感浏览到购物转化。
云与AI基础设施中大量闲置的"僵尸工作负载"持续消耗资源与预算,IDCA估算美国云使用量中约13%属此类浪费,GPU时代因成本更高使问题更为突出,业界正通过FinOps、可观测性工具及Kubernetes演进加以应对。
据报道,苹果正开发搭载M8 Ultra芯片的企业级AI服务器,预计2029年发布,或与英伟达NVLink技术互联,为近20年来首款苹果服务器产品。
AI算力需求推高数据中心成本,GeForce Now设100小时月上限,微软Xbox云游戏11月起按会员分档限5至15小时,亚马逊称Luna仍将长期投入。
英伟达Inception物理AI全球负责人Les Karpas将在TechCrunch Disrupt 2026大会上探讨机器人技术尚未迎来爆发式突破的核心原因——缺乏互联网级规模的物理AI数据集,以及仿真、合成数据等潜...
据The Information报道,苹果考虑重启服务器业务,产品或于2029年推出,搭载M8 Ultra芯片,并可能采用Nvidia NVLink Fusion互联技术。
NVIDIA黄仁勋在Salesforce Dreamforce大会宣布,双方合作推出基于NVIDIA Nemotron 3 Super的CRM推理模型Koa,已在Slack内部使用,10月起进入客户试点。
Salesforce Dreamforce大会上,英伟达黄仁勋、Anthropic的Amodei与OpenAI的Altman同台,讨论Koa模型发布、Claude深化合作及AI安全责任议题。
Nvidia发布免费测试版工具PAIR,可连接同一网络下运行Windows、macOS或Linux的多台设备,组成AI推理集群,通过单一界面统一调用本地闲置算力。
NVIDIA详解NVLink 6如何通过物理层、链路层、软件与系统层的多层容错设计,实现无丢包、快速故障恢复与高可用性,支撑大规模AI训练与推理集群不间断运行。
Agility Robotics推出Digit 5人形机器人,可自主检测人类并采取避让、静止或下蹲等动作,减少工作场所伤害风险,预计2027年上半年提供早期试用。
Salesforce与Nvidia合作,基于Nemotron架构训练发布Koa模型,专用于Agentforce平台中CRM多步骤任务推理,使用合成数据训练,预计冬季正式上线。
Salesforce与英伟达合作推出首款推理模型Koa,基于Nemotron开放权重模型训练,专为销售与客服场景优化,未使用客户真实数据,可降低企业AI使用成本。
LLM推理需求激增推动Nvidia、Amazon等联手Cerebras、Groq等公司,通过堆叠内存、DRAM互联、SRAM芯片等新架构突破内存带宽瓶颈。