Gartner近日公布了影响数据科学和机器学习(DSML)未来的主要方向,这个领域正在快速发展以满足人工智能对数据的需求。
Gartner首席分析师 Peter Krensky在近日于悉尼举行的Gartner数据与分析峰会上表示:“随着机器学习在各个行业的采用持续快速增长,数据科学和机器学习正在从仅仅关注预测模型,转向更加民主化、动态化和数据为中心的领域,而且人们对生成式AI的热情也推动了这一趋势。虽然潜在风险不断出现,但对数据科学家及其所在组织来说,很多新的功能和用例也在不断涌现。”
Gartner称,塑造数据科学和机器学习未来发展的主要方向包括:
云数据生态系统
数据生态系统正在从独立软件或者混合部署转向完整的云原生解决方案。据Gartner预计,到2024年云中新的系统部署中,有50%将是基于内聚的云数据生态系统的,而不是手动集成的单点解决方案。
Gartner建议,组织应该根据他们解决分布式数据挑战以及访问和集成直接环境之外数据源的能力,来评估数据生态系统。
边缘AI
对边缘AI的需求不断增长,从而能够在边缘生成数据的时候对其进行处理,帮助组织获得实时洞察、检测新模式、满足严格的数据隐私要求。边缘AI还可以帮助组织改进AI的开发、编排、集成和部署。
Gartner预测,到2025年,超过55%的深度神经网络数据分析将发生在边缘系统的捕获点,而2021年这一比例还不到10%。组织应该确定分析所需的应用、AI训练和推理,迁移到物联网端点附近的边缘环境中。
负责任的AI
负责任的AI让AI成为一种积极的力量,而不是对社会和自身的威胁,其中涵盖了组织在采用AI时做出正确的商业和道德选择等很多方面,而且这些方面通常是组织独立解决的,例如商业和社会价值、风险、信任、透明度和问责制。Gartner预测,到2025年,预训练的AI模型将集中在1%的AI厂商那里,这将让负责任的AI成为一个受社会关注的问题。
Gartner建议组织采用与风险相对应的方法来实现AI的价值,并在应用解决方案和模型的时候保持谨慎,应该获得来自厂商的关于管理风险和合规义务的保证,保护组织免受潜在的财务损失、法律诉讼和声誉损害。
以数据为中心的AI
以数据为中心的AI,代表了从以模型和代码为中心的方法,向更注重数据以构建更好AI系统的转变。很多解决方案,例如AI专门的数据管理、合成数据和数据标签技术等,旨在解决包括可访问性、容量、隐私、安全性、复杂性和范围在内的很多挑战。
使用生成式AI创建合成数据是一个快速发展的领域,这种技术可以减轻获取真实世界数据的负担,从而可以有效地训练机器学习模型。Gartner预测,到2024年,60%的AI数据将通过合成用于模拟现实、未来场景并降低AI风险,而2021年这一比例仅为1%。
AI投资加速
那些实施解决方案的组织以及希望通过AI技术和基于AI的业务实现增长的行业,将继续加速对AI的投资。Gartner预测,到2026年底,将有超过100亿美金投资于那些依赖基础模型(基于大量数据训练的大型AI模型)的AI初创公司。
Gartner最近对2500多名高管进行的一项调查发现,有45%的受访者表示,最近围绕ChatGPT的炒作促使他们增加了对AI投资。有70%的受访者表示,他们的组织正处于研究和探索生成式AI的阶段,19%的受访者表示,他们的组织正处于试点或生产阶段。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。