有一定年纪的读者会记得1970年代的情况,当时由于各种国际争端导致燃料短缺,出现了排队、冲突和成本上涨。其中一个结果是推动了更高效率的发展。也许是时候将这些经验教训应用到当前的内存短缺问题上了。
随着内存价格持续上涨,工程师们应该重新考虑他们的应用程序和工具链对内存的巨大需求。一个简单的网页真的需要几兆字节来向用户显示现代版本的"Hello World"吗?今天的Windows任务管理器可执行文件占用6MB的磁盘空间。在向用户显示Chrome如今有多占用内存之前,它需要近70MB的内存。而原始版本在磁盘上仅重85KB。其后续版本在功能上并没有数量级的提升。
那些记得有效软件以千字节而非千兆字节运行的人,长期以来一直对现代工程的挥霍方式摇头叹息。但随着技术进步的推进和内存密度似乎注定要无止境地增加,抗议软件臃肿感觉很像"老人对着云彩大喊"。
然后AI热潮来了。随着世界竞相在数据中心填满计算设备,内存价格在最近几个月内飙升,目前没有迹象表明会回到开发者可以耸耸肩并加装另一个多兆字节框架来满足任意用户需求的水平。
开发者应该精确考虑他们真正需要框架的多少部分,并致力于提高效率。管理者必须确保他们也有空间这样做。用于确保工具链安全的精力也应该用于检查其效率。
人们经常开玩笑说,使人类能够登陆月球的内存和计算能力与现代智能手机相比相形见绌。然而,不久前,完全可用的应用程序和操作系统还能在RAM以千字节而非兆字节计算的设备上从软盘运行。
扭转几十年来的应用程序增长不会在一夜之间发生。这需要思维的改变和不同的观点。工具链必须重新思考,应该为紧凑性给予奖励,无论是在静态还是运行状态下。
在1970年代,能源短缺刺激了效率提升。在2020年代,计算机内存短缺可能最终导致软件不再用无用的冗余填满每个字节。
Q&A
Q1:为什么现在的软件比以前占用更多内存?
A:现代软件往往使用大量框架和工具,导致臃肿现象严重。例如,今天的Windows任务管理器占用6MB磁盘空间和70MB内存,而原版本仅85KB,但功能上并没有数量级的提升。
Q2:AI热潮如何影响内存价格和软件开发?
A:AI热潮导致数据中心大量采购计算设备,推高了内存价格,使得开发者不能再随意添加占用内存的框架,必须重新考虑应用程序对内存的需求。
Q3:如何解决软件臃肿和内存短缺问题?
A:需要改变开发思维,重新设计工具链,奖励紧凑性设计。开发者应精确评估框架需求,致力于提高效率,管理者也需要为此提供支持空间。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。