从能够记录当前库存情况并动态订购所需物品的手持设备,到可整合来自视觉反馈的信息以了解特定人员在仓库轮班时是否满足必要的合规性且配备有公共安全装备,相关的用例多种多样。在第一种用例中,时间序列从基于边缘的手持设备或固定摄像头持续发送到云数据分析服务。相比之下,第二种用例则借助云端的深度学习模型,采用人员检测、追踪和再识别模块,来进行图像抓取。在这两种情况下,边缘设备均是作为向云端传输信息的管道。
我们为何需要边缘智能?
更靠近终端用户的传感器网络延迟更低,且能够节省带宽。此外,在将数据传输到更广泛的云计算基础设施前,还可在设备端进行预处理,这有助于保护从设备中收集和推断出的数据隐私。这些则构成了边缘智能的一些核心要求。具有低水平计算的边缘设备或传感器能够弹性地创建网络(Mesh网络),聊天机器人、仪表盘、智能手机、温度传感器等设备能够间歇性地连接到网络,以收集、计算和分享信息。在传统的物联网世界中,这些传感器能感知世界,并准确地将信号传输到公有云或私有云中。
那么,多台边缘设备是否能够分享自身的输入和有限机载计算来实现同一目标呢?如此一来,我们就拥有了多台有限机载计算的边缘设备,它们可以聚集于一个Mesh网络下,以解决诸如仓库或零售店的资产追踪问题。大体上而言,其用例能够涵盖自主设备(无人机、自主移动机器人、自主车辆)、沉浸式体验(增强现实/虚拟现实可穿戴设备),以及物联网分析(工业和家用传感器)等。
边缘人工智能
我们可以为边缘设备注入强大的“智能性”,基本上有两种在边缘运行机器学习的方法,一种是使用集中式联邦学习工具的集中式拓扑,另一种是模糊数学领域的去中心化分布式(无云数据中心)联邦学习算法。
联邦学习有赖于在计算能力相对低的设备中训练机器学习模型,并将本地习得的模型转移到数据库进行下一步处理。首先,来自云数据中心的云端训练模型会被发送到各台边缘设备,然后使用本地数据,对该模型进行微调,再将模型发送到云平台,以进行模型更新。通信模式可以是同步的,也可以是异步的。此外,有一些类型的统计推理算法使边缘设备能够相互发送消息,从而减少本地模型的通信负载。根据用例的不同,还需要考量距离、延迟和移动性等指标。
第二种方式,使用去中心化的联邦学习,这通常是部署机器学习模型的优选方式。信息分散在各台设备上,而非单一的某个点,进而降低各类网络安全攻击的可用面。从技术上来说,去中心化形式的通信模式可以通过图表、分布式账本或简单的对等网络来进行。这意味着企业可以为仓库、制造工厂、整体零售供应链或商店的一线员工配备精密的由机器学习驱动的设备,利用设备内的机器学习模型,增强并加速通信和决策,并在网络中共享。
边缘智能的前景在于,这种去中心化的拓扑结构将催生新一代的芯片企业。这些企业将专注于计算,并提升每瓦特运行效率,同时致力于计算的协同设计来满足通信需求,例如Mesh拓扑结构(对等网络、分布式账本、图表)。
迈向边缘智能
网络边缘正不断改变着拓扑结构和设备。云端存在着能够动态调度有效载荷的编排算法。然而,对于边缘设备来说,随之而来的还有数以百万计的设备、更多的异质性电源包络,以及各种设备的计算能力等问题。数据采集和模型日益碎片化,在整体数据中,每台设备都占有一定的比例,但无法访问整个数据集。更多的边缘设备正在向着小型化、低功率、有限计算的方向发展。
但与此同时,其为企业及一线员工所带来的助益引人注目,其中包括完善隐私和免受攻击的保护、提升实时自动化决策、降低互联网带宽和云计算成本、提高能源效率、实现更强大的计算能力,并通过明确的投资,为一线员工配备适合其开展工作的先进设备。
研究人员、企业高层和一线员工需要协力同行。研究人员要为技术的成熟发展提供相应的支持,在日后的工作中着重于去中心化算法,结合动态变化的通信模式,优化芯片,并将计算与通信融为一体。而对于仓储、物流和零售业的企业高层来说,这意味着要制定技术成熟度水平发展路线图,以紧跟市场步伐,并确保一线员工拥有先进的设备和软件工具以更好地完成工作。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。