谷歌今天宣布,将在其云平台上采用Nvidia的低功耗Tesla T4 GPU,目前还处于测试模式。
此举很重要,因为Nvidia GPU是用于机器学习最主流的硬件。机器学习是人工智能的一个子集,利用软件大致模拟人类大脑的工作方式,让计算机能够自学,而不需要明确编程。
在采用这些芯片之前,特定客户已经对这些芯片进行了数月的测试。
Nvidia的T4 GPU专为人工智能、数据分析、高性能计算和图形设计等工作负载设计,基于Nvidia新的Turing架构,拥有多精度Turing Tensor Cores和新的RT核心。每个T4芯片都配备16GB内存,能够提供206 TOPS计算性能。
Nvidia表示,由于能耗低,所以T4 GPU对于那些运行在网络边缘的工作负载来说是一个理想选择。
谷歌在今天的博客文章中强调说,T4也非常适合运行推理工作负载——也就是经过全面训练的机器学习算法,可自行做出决策。
“它用于FP16、INT8和INT4所实现的高性能,让你可以运行大规模推理工作负载,同事实现精度与性能之间的平衡,这在其他GPU上是无法实现的,”谷歌产品经理Chris Kleban这样表示。
Constellation Research首席分析师、副总裁Holger Mueller称,Nvidia T4 GPU得到谷歌云的支持,这将让Nvidia和谷歌都受益,因为机器学习是云普及的关键驱动因素。
Mueller说:“Nvidia将其Tesla GPU纳入Google Cloud是一项重大的胜利,因为这确保了客户可以轻松使用Tesla GPU。这对谷歌来说也是一件好事,因为机器学习工作加载很多GPU平台,这样让客户可以更轻松地将负载转移到Google Cloud。”
谷歌表示,将从今天开始在多个地区测试支持Nvidia Tesla T4 GPU,包括美国、欧洲、巴西、印度、日本和新加坡。在可抢占的虚拟机实例上,每个GPU每小时起价为29美分;对于按需实例来说,起价为每小时95美分。
好文章,需要你的鼓励
购买笔记本电脑时,用户现在需要了解Copilot+ PC、NPU和本地AI处理等新概念。搭载专用神经处理单元(NPU)的Copilot+ PC能提供至少40 TOPS的AI算力,支持实时字幕翻译、视频通话优化、AI图像编辑等功能,同时提升续航表现。戴尔最新产品线涵盖多种选择:Dell 14 Plus适合学生和通勤族,Dell 16 Plus适合多任务办公用户,XPS 14面向轻度创作者,XPS 16则以31小时超长续航和3.6磅轻薄机身成为内容创作者的旗舰之选。
香港科技大学与华为联合提出LISA训练方法,通过让副网络对齐"似然分数",将ControlNet等图像生成模型的训练收敛速度提升逾2.78倍,同时改善图像质量与条件控制精度。
圣安德鲁斯大学博士Henry Legg在《自然》杂志发表同行评审论文,对微软拓扑间隙协议(TGP)框架提出质疑,认为该框架在推断Majorana粒子量子态存在方面存在缺陷,且实验数据分析结论可能有误。微软此前宣称将于2029年实现可扩展量子计算机,并推出Majorana 2芯片。对此,微软坚持立场,表示已发表正式反驳并获《自然》收录,对研发路线图充满信心。
上交大与爱丁堡大学提出InfoKV,将信息熵与注意力权重结合用于KV缓存压缩,让大模型在仅保留12.5%缓存的条件下实现接近甚至超越完整缓存的长推理性能。