谷歌今天宣布,将在其云平台上采用Nvidia的低功耗Tesla T4 GPU,目前还处于测试模式。
此举很重要,因为Nvidia GPU是用于机器学习最主流的硬件。机器学习是人工智能的一个子集,利用软件大致模拟人类大脑的工作方式,让计算机能够自学,而不需要明确编程。
在采用这些芯片之前,特定客户已经对这些芯片进行了数月的测试。
Nvidia的T4 GPU专为人工智能、数据分析、高性能计算和图形设计等工作负载设计,基于Nvidia新的Turing架构,拥有多精度Turing Tensor Cores和新的RT核心。每个T4芯片都配备16GB内存,能够提供206 TOPS计算性能。
Nvidia表示,由于能耗低,所以T4 GPU对于那些运行在网络边缘的工作负载来说是一个理想选择。
谷歌在今天的博客文章中强调说,T4也非常适合运行推理工作负载——也就是经过全面训练的机器学习算法,可自行做出决策。
“它用于FP16、INT8和INT4所实现的高性能,让你可以运行大规模推理工作负载,同事实现精度与性能之间的平衡,这在其他GPU上是无法实现的,”谷歌产品经理Chris Kleban这样表示。
Constellation Research首席分析师、副总裁Holger Mueller称,Nvidia T4 GPU得到谷歌云的支持,这将让Nvidia和谷歌都受益,因为机器学习是云普及的关键驱动因素。
Mueller说:“Nvidia将其Tesla GPU纳入Google Cloud是一项重大的胜利,因为这确保了客户可以轻松使用Tesla GPU。这对谷歌来说也是一件好事,因为机器学习工作加载很多GPU平台,这样让客户可以更轻松地将负载转移到Google Cloud。”
谷歌表示,将从今天开始在多个地区测试支持Nvidia Tesla T4 GPU,包括美国、欧洲、巴西、印度、日本和新加坡。在可抢占的虚拟机实例上,每个GPU每小时起价为29美分;对于按需实例来说,起价为每小时95美分。
好文章,需要你的鼓励
康奈尔大学研究显示,大语言模型驱动的流量转化率比传统搜索高出近9倍。预计到2028年,更多用户将通过ChatGPT等LLM发现产品信息,而非传统搜索引擎。这种转变正在加速发生。LLM流量表现更像个人推荐而非关键词查询,用户查询长度已达23个词,会话时长超6分钟。品牌需要从SEO转向答案引擎优化AEO,确保在LLM对话中被提及,否则将变得不可见。
泰国SCBX金融集团开发的DoTA-RAG系统通过动态路由和混合检索技术,成功解决了大规模知识库检索中速度与准确性难以兼得的难题。系统将1500万文档的搜索空间缩小92%,响应时间从100秒降至35秒,正确性评分提升96%,为企业级智能问答系统提供了实用的技术方案。
Meta豪掷150亿美元押注AI数据工厂Scale AI,19岁辍学的华裔天才如何用"认知套利"打造138亿美元独角兽?"当80%行业信息都是噪音时,独立判断比技术优势更持久。"
中科院和字节跳动联合开发了VGR视觉锚定推理系统,突破了传统AI只能粗略"看图"的局限。该系统能在推理过程中主动关注图片关键区域,像人类一样仔细观察细节后再得出结论。实验显示VGR在图表理解等任务上性能大幅提升,同时计算效率更高,代表了多模态AI"可视化推理"的重要进展。