来自哈佛大学的研究人员们已经在arXiv上发表了一篇论文,其中展示了首例对医疗系统的操纵方法。此项研究的第一作者Sam Finlayson及其同事Andrew Beam、Isaac Kohane在图像识别模型当中使用投射梯度下降(简称PGD)攻击,旨在误导AI系统以使其得出并不存在于图像中的结论。
PGD算法能够从图像当中找出最理想的像素以创建对抗性示例,而这些示例将推动模型作出错误的对象识别结论,最终引发诊断错误。
该团队在三种数据处理方案当中测试了这一攻击手段:首先是用于检测视网膜扫描结果以诊断糖尿病视网膜病变的眼底检查模型; 另一种为扫描胸腔x光片以查看肺萎缩症状的模型; 最后则是用于检查痣中皮肤癌征兆的皮肤镜模型。
为了增加测试范围,该团队还使用了两种技术。首先是白盒攻击,即假定黑客已经拥有用于解释模型工作方式的所有资源; 接下来是黑盒攻击,即假定黑客无法理解AI模型的起效原理。
在应用PGD算法之后,所有三种模型的准确性水平都在白盒攻击之下由极高下降为零; 黑盒攻击同样能够将准确度降低超过60%。
白盒与黑盒PGD攻击前后,三种不同图像分类模型的准确性水平。
Finlayson与Beam在接受采访时解释称,PGD攻击能够进行多次迭代,从而对修改过的图像作出进一步微调。虽然调整结果很难被人类所分辨,但却可以有效愚弄AI系统甚至导致其对某些对象视而不见。
“令人惊讶的是,这一过程导致的变化往往非常细微,以至于人眼根本无法识别。但在另一方面,神经网络会认为图像中包含着完全不同的内容。”
人工智能——聪明,但又令人难以置信的愚蠢
众所周知,图像识别模型极易受到愚弄。举例来说,对于一张经过精心设计的对抗性海报,这类模型会将其中极为明显的香蕉误认为为烤面包机。而在实践场景下,这意味着自动驾驶汽车可能会误读标志,或者面部识别系统无法正确判断人脸信息。
这篇论文指出,医学领域“可能会受对抗性攻击受到特殊影响,且这类恶意行为往往存在着显著的动机——包括经济刺激及技术漏洞等。”
目前,大多数效能最出色的图像分类器普遍利用ImageNet等开源模型构建而成。这意味着攻击者对于系统的工作原理可以具备良好的认知,并更有可能以此为基础成功攻击其它AI模型。
当人工智能技术被引入临床环境之后,我们无法确定未来的医学专业人员还需要掌握多少深厚的专业知识。但就目前来讲,Finlayson与Beam表示此类对抗性攻击主要属于探索性研究。
并解释称,“大家需要对数学及神经网络具备一定了解,才能正确构建起对抗性示例。然而,整个流程可以轻松实现自动化,并通过应用程序或网站进行发布,以便非专家们随时加以利用。”
另外,研究团队希望这项研究能够激励从业者们更积极地研究相关议题,进而发现一切可能的基础设施防御措施,最终以更安全的方式利用图像识别为病患以及医护人员服务。
好文章,需要你的鼓励
串流技术正打破传统游戏边界,让"即点即玩"的畅快体验触手可及,不仅重塑了玩家的游戏方式,更将引领整个产业迈向云端加速迈进。
高通宣布收购越南 AI 研究公司 VinAI 的生成式 AI 部门,金额未披露。这标志着高通持续扩张 AI 工具领域。VinAI 由前 DeepMind 研究科学家 Hung Bui 创立,开发多种生成式 AI 技术。此次收购将增强高通在 AI 解决方案方面的能力,有望为多个行业和消费者带来创新。
GameForge AI 是一款基于人工智能的游戏开发平台,可帮助用户轻松创建自己的游戏世界。本文介绍了 GameForge AI 的功能和使用方法,包括创建角色、场景和任务等。虽然 AI 生成速度较慢,但平台对游戏设计师、桌游爱好者和学生等用户都很有吸引力。与其他 AI 创作工具相比,GameForge AI 更注重构建复杂的叙事驱动型世界。