来自哈佛大学的研究人员们已经在arXiv上发表了一篇论文,其中展示了首例对医疗系统的操纵方法。此项研究的第一作者Sam Finlayson及其同事Andrew Beam、Isaac Kohane在图像识别模型当中使用投射梯度下降(简称PGD)攻击,旨在误导AI系统以使其得出并不存在于图像中的结论。
PGD算法能够从图像当中找出最理想的像素以创建对抗性示例,而这些示例将推动模型作出错误的对象识别结论,最终引发诊断错误。
该团队在三种数据处理方案当中测试了这一攻击手段:首先是用于检测视网膜扫描结果以诊断糖尿病视网膜病变的眼底检查模型; 另一种为扫描胸腔x光片以查看肺萎缩症状的模型; 最后则是用于检查痣中皮肤癌征兆的皮肤镜模型。
为了增加测试范围,该团队还使用了两种技术。首先是白盒攻击,即假定黑客已经拥有用于解释模型工作方式的所有资源; 接下来是黑盒攻击,即假定黑客无法理解AI模型的起效原理。
在应用PGD算法之后,所有三种模型的准确性水平都在白盒攻击之下由极高下降为零; 黑盒攻击同样能够将准确度降低超过60%。
白盒与黑盒PGD攻击前后,三种不同图像分类模型的准确性水平。
Finlayson与Beam在接受采访时解释称,PGD攻击能够进行多次迭代,从而对修改过的图像作出进一步微调。虽然调整结果很难被人类所分辨,但却可以有效愚弄AI系统甚至导致其对某些对象视而不见。
“令人惊讶的是,这一过程导致的变化往往非常细微,以至于人眼根本无法识别。但在另一方面,神经网络会认为图像中包含着完全不同的内容。”
人工智能——聪明,但又令人难以置信的愚蠢
众所周知,图像识别模型极易受到愚弄。举例来说,对于一张经过精心设计的对抗性海报,这类模型会将其中极为明显的香蕉误认为为烤面包机。而在实践场景下,这意味着自动驾驶汽车可能会误读标志,或者面部识别系统无法正确判断人脸信息。
这篇论文指出,医学领域“可能会受对抗性攻击受到特殊影响,且这类恶意行为往往存在着显著的动机——包括经济刺激及技术漏洞等。”
目前,大多数效能最出色的图像分类器普遍利用ImageNet等开源模型构建而成。这意味着攻击者对于系统的工作原理可以具备良好的认知,并更有可能以此为基础成功攻击其它AI模型。
当人工智能技术被引入临床环境之后,我们无法确定未来的医学专业人员还需要掌握多少深厚的专业知识。但就目前来讲,Finlayson与Beam表示此类对抗性攻击主要属于探索性研究。
并解释称,“大家需要对数学及神经网络具备一定了解,才能正确构建起对抗性示例。然而,整个流程可以轻松实现自动化,并通过应用程序或网站进行发布,以便非专家们随时加以利用。”
另外,研究团队希望这项研究能够激励从业者们更积极地研究相关议题,进而发现一切可能的基础设施防御措施,最终以更安全的方式利用图像识别为病患以及医护人员服务。
好文章,需要你的鼓励
IBM Spyre加速器将于本月晚些时候正式推出,为z17大型机、LinuxONE 5和Power11系统等企业级硬件的AI能力提供显著提升。该加速器基于定制芯片的PCIe卡,配备32个独立加速器核心,专为处理AI工作负载需求而设计。系统最多可配置48张Spyre卡,支持多模型AI处理,包括生成式AI和大语言模型,主要应用于金融交易欺诈检测等关键业务场景。
加拿大女王大学研究团队首次对开源AI生态系统进行端到端许可证合规审计,发现35.5%的AI模型在集成到应用时存在许可证违规。他们开发的LicenseRec系统能自动检测冲突并修复86.4%的违规问题,揭示了AI供应链中系统性的"许可证漂移"现象及其法律风险。
意大利初创公司Ganiga开发了AI驱动的智能垃圾分拣机器人Hoooly,能自动识别并分类垃圾和可回收物。该公司产品包括机器人垃圾桶、智能盖子和废物追踪软件,旨在解决全球塑料回收率不足10%的问题。2024年公司收入50万美元,已向谷歌和多个机场销售超120台设备,计划融资300万美元并拓展美国市场。
这项由剑桥大学、清华大学和伊利诺伊大学合作的研究首次将扩散大语言模型引入语音识别领域,开发出Whisper-LLaDA系统。该系统具备双向理解能力,能够同时考虑语音的前后文信息,在LibriSpeech数据集上实现了12.3%的错误率相对改进,同时在大多数配置下提供了更快的推理速度,为语音识别技术开辟了新的发展方向。