有一定年纪的读者会记得1970年代的情况,当时由于各种国际争端导致燃料短缺,出现了排队、冲突和成本上涨。其中一个结果是推动了更高效率的发展。也许是时候将这些经验教训应用到当前的内存短缺问题上了。
随着内存价格持续上涨,工程师们应该重新考虑他们的应用程序和工具链对内存的巨大需求。一个简单的网页真的需要几兆字节来向用户显示现代版本的"Hello World"吗?今天的Windows任务管理器可执行文件占用6MB的磁盘空间。在向用户显示Chrome如今有多占用内存之前,它需要近70MB的内存。而原始版本在磁盘上仅重85KB。其后续版本在功能上并没有数量级的提升。
那些记得有效软件以千字节而非千兆字节运行的人,长期以来一直对现代工程的挥霍方式摇头叹息。但随着技术进步的推进和内存密度似乎注定要无止境地增加,抗议软件臃肿感觉很像"老人对着云彩大喊"。
然后AI热潮来了。随着世界竞相在数据中心填满计算设备,内存价格在最近几个月内飙升,目前没有迹象表明会回到开发者可以耸耸肩并加装另一个多兆字节框架来满足任意用户需求的水平。
开发者应该精确考虑他们真正需要框架的多少部分,并致力于提高效率。管理者必须确保他们也有空间这样做。用于确保工具链安全的精力也应该用于检查其效率。
人们经常开玩笑说,使人类能够登陆月球的内存和计算能力与现代智能手机相比相形见绌。然而,不久前,完全可用的应用程序和操作系统还能在RAM以千字节而非兆字节计算的设备上从软盘运行。
扭转几十年来的应用程序增长不会在一夜之间发生。这需要思维的改变和不同的观点。工具链必须重新思考,应该为紧凑性给予奖励,无论是在静态还是运行状态下。
在1970年代,能源短缺刺激了效率提升。在2020年代,计算机内存短缺可能最终导致软件不再用无用的冗余填满每个字节。
Q&A
Q1:为什么现在的软件比以前占用更多内存?
A:现代软件往往使用大量框架和工具,导致臃肿现象严重。例如,今天的Windows任务管理器占用6MB磁盘空间和70MB内存,而原版本仅85KB,但功能上并没有数量级的提升。
Q2:AI热潮如何影响内存价格和软件开发?
A:AI热潮导致数据中心大量采购计算设备,推高了内存价格,使得开发者不能再随意添加占用内存的框架,必须重新考虑应用程序对内存的需求。
Q3:如何解决软件臃肿和内存短缺问题?
A:需要改变开发思维,重新设计工具链,奖励紧凑性设计。开发者应精确评估框架需求,致力于提高效率,管理者也需要为此提供支持空间。
好文章,需要你的鼓励
研究人员意外发现,标准MOSFET晶体管可同时模拟神经元和突触行为,形成"神经突触随机存取存储器"(NSRAM)。该技术仅需一至两个晶体管即可实现传统需数十乃至数百个元件才能完成的神经信号处理,且与现有硅基制造工艺完全兼容,良率达100%。未来有望应用于边缘AI及高能效神经形态芯片,长远或可挑战GPU地位。
牛津大学提出PHYSIFORMER,一种扩散变换器模型,通过三维网格顶点轨迹直接在世界坐标空间预测刚性与弹性物体的物理运动,一次性生成全序列轨迹,超越自回归基线。
本文提出一种评估人工智能风险的新方法,借鉴生态学与演化论视角,从理论生态模型中推导出三项风险指标,涵盖种群模型与生态系统模型。研究旨在为AI治理策略提供量化工具,并对分析局限性及政策改进方向进行了深入探讨,为构建更科学的AI风险评估体系提供参考框架。
研究发现主流奖励模型对同等质量答案给出差异悬殊的分数,并提出"奖励聚类"算法通过蒙特卡洛随机失活将连续分数离散化,在不重训模型的前提下有效减少AI训练中的奖励作弊现象。