根据 IBM 日前提出的观点,在使用生成式人工智能预测某些结果时,注意力机制并不是所需要的全部,还需要时间。IBM 今年早些时候根据 Apache 许可在 Hugging Face 上发布了开源 TinyTimeMixer(TTM)模型。TTM 基于 IBM 的 Granite 基础模型,是一种轻量级预训练时间序列基础模型 (TSFM),可用于基于补丁混合器架构的时间序列预测,补丁混合器架构能够学习跨时间和多个变量的上下文和相关性。
TSFM 与 ChatGPT 及 Llama 等基于语言和视觉的基础模型不同,ChatGPT 及 Llama之类的模型里每个单词或令牌都包含语义,TSFM使用的则是通过与局部时间片段相关联的数值(也就是一组连续的时间点)学习时间模式。此外,语言/视觉基础模型需要在单一语境(例如具有语法结构或白话数据集共性的特定语言或主题)下进行训练才能很好地推导出关联,而 TSFM 可以通过查看长时间历史窗口以及与其他多变量时间序列数据的相关性推导出更多语境和关联。这些数据可能因为行业、时间分辨率、采样率、数值标度或其他与时间序列数据相关的典型特征不同而不同。
不同类型模型之间有一个共同点, 都需要大量数据才能正确地训练模型。语言和视觉基础模型基本上可以利用整个互联网。而 TSFM 则需要非常具体的时间戳数据,这一类数据通常是不公开的。据估计,这种类型的数据高达95%仍然是专有专有数据,不会公开。幸运的是,澳洲莫纳什大学和悉尼大学的研究人员建立了莫纳什时间序列预测资料库,资料库提供了跨越多个领域和时间单位的数据,足以正确地训练 TSFM 模型。
TSFM 模型能够处理时间序列数据的多变量性质,这对于需要考虑数据在训练窗口期间所代表的上下文至关重要,例如,在分析股票价格时,是否有财报电话会议或重要公告、其中数据是否有拐点等等。为了充分利用这一点,IBM 创建了一种名为 Time Series Mixer(时间序列混合器)或 TS Mixer 的新架构,新架构用的不是语言模型用的Transformer架构。据 IBM 称,与使用 Transformer 架构的模型相比,实施 TS Mixer 架构的模型规模缩小了 10 倍,同时仍保持类似的准确度水平。
TTM 模型自 2024 年 4 月发布以来在 Hugging Face 下载量已超过 100 多万次,那么大家可能想知道:开发人员在用IBM Granite TTM 卡发哪些时间序列应用呢?据 IBM 透露,TTM 应用包括各种增值、多变量用例场景等等。例如,可用于预测闪存设备的 350 多个关键性能指标。另一个用例则是利用时间模式和其他变量的影响提供股票走势的方向性预测。此外,TTM 还被用于提供 28 天线销售预测(与M5零售数据集进行对比展示),可以进行库存和收入规划,同时还可以考虑销售活动和影响零售销售的其他变量的影响,进一步提高预测的准确性。TTM 还可用于基于预测的优化(模型预测控制),例如楼宇温度控制或复杂的制造过程建模。
我们都知道,没有放之四海而皆准的人工智能解决方案。而新的人工智能技术和模型则在源源不断地冒出来,为一个特定的应用选择一个最佳解决方案至关重要。在基于语言和视觉预测结果方面,基于 Transformer 的大型语言模型显然能提供翻天覆地的结果。不过,在预测基于时间序列的结果方面,IBM发出的这款新工具则可以放进我们的工具箱中。IBM Granite TTM 并不是唯一的 TSFM,但希望 IBM 推出的创新技术及其开源可用性能够在开发和实用性方面帮助推动 TSFM 的应用,最后达到与基于语言的同类产品相同的规模。
好文章,需要你的鼓励
在AI智能体的发展中,记忆能力成为区分不同类型的关键因素。专家将AI智能体分为七类:简单反射、基于模型反射、目标导向、效用导向、学习型、多智能体系统和层次化智能体。有状态的智能体具备数据记忆能力,能提供持续上下文,而无状态系统每次都重新开始。未来AI需要实现实时记忆访问,将存储与计算集成在同一位置,从而创造出具备人类般记忆能力的数字孪生系统。
中国人民大学和字节跳动联合提出Pass@k训练方法,通过给AI模型多次答题机会来平衡探索与利用。该方法不仅提升了模型的多样性表现,还意外改善了单次答题准确率。实验显示,经过训练的7B参数模型在某些任务上超越了GPT-4o等大型商业模型,为AI训练方法论贡献了重要洞察。
OpenAI首席执行官阿尔特曼表示,公司计划在不久的将来投入数万亿美元用于AI基础设施建设,包括数据中心建设等。他正在设计新型金融工具来筹集资金。阿尔特曼认为当前AI投资存在过度兴奋现象,类似于90年代互联网泡沫,但AI技术本身是真实且重要的。他承认GPT-5发布存在问题,并表示OpenAI未来可能会上市。
南加州大学等机构研究团队开发出突破性的"N-gram覆盖攻击"方法,仅通过分析AI模型生成的文本内容就能检测其是否记住了训练数据,无需访问模型内部信息。该方法在多个数据集上超越传统方法,效率提升2.6倍。研究还发现新一代AI模型如GPT-4o展现出更强隐私保护能力,为AI隐私审计和版权保护提供了实用工具。