来自哈佛大学的研究人员们已经在arXiv上发表了一篇论文,其中展示了首例对医疗系统的操纵方法。此项研究的第一作者Sam Finlayson及其同事Andrew Beam、Isaac Kohane在图像识别模型当中使用投射梯度下降(简称PGD)攻击,旨在误导AI系统以使其得出并不存在于图像中的结论。
PGD算法能够从图像当中找出最理想的像素以创建对抗性示例,而这些示例将推动模型作出错误的对象识别结论,最终引发诊断错误。
该团队在三种数据处理方案当中测试了这一攻击手段:首先是用于检测视网膜扫描结果以诊断糖尿病视网膜病变的眼底检查模型; 另一种为扫描胸腔x光片以查看肺萎缩症状的模型; 最后则是用于检查痣中皮肤癌征兆的皮肤镜模型。
为了增加测试范围,该团队还使用了两种技术。首先是白盒攻击,即假定黑客已经拥有用于解释模型工作方式的所有资源; 接下来是黑盒攻击,即假定黑客无法理解AI模型的起效原理。
在应用PGD算法之后,所有三种模型的准确性水平都在白盒攻击之下由极高下降为零; 黑盒攻击同样能够将准确度降低超过60%。
白盒与黑盒PGD攻击前后,三种不同图像分类模型的准确性水平。
Finlayson与Beam在接受采访时解释称,PGD攻击能够进行多次迭代,从而对修改过的图像作出进一步微调。虽然调整结果很难被人类所分辨,但却可以有效愚弄AI系统甚至导致其对某些对象视而不见。
“令人惊讶的是,这一过程导致的变化往往非常细微,以至于人眼根本无法识别。但在另一方面,神经网络会认为图像中包含着完全不同的内容。”
人工智能——聪明,但又令人难以置信的愚蠢
众所周知,图像识别模型极易受到愚弄。举例来说,对于一张经过精心设计的对抗性海报,这类模型会将其中极为明显的香蕉误认为为烤面包机。而在实践场景下,这意味着自动驾驶汽车可能会误读标志,或者面部识别系统无法正确判断人脸信息。
这篇论文指出,医学领域“可能会受对抗性攻击受到特殊影响,且这类恶意行为往往存在着显著的动机——包括经济刺激及技术漏洞等。”
目前,大多数效能最出色的图像分类器普遍利用ImageNet等开源模型构建而成。这意味着攻击者对于系统的工作原理可以具备良好的认知,并更有可能以此为基础成功攻击其它AI模型。
当人工智能技术被引入临床环境之后,我们无法确定未来的医学专业人员还需要掌握多少深厚的专业知识。但就目前来讲,Finlayson与Beam表示此类对抗性攻击主要属于探索性研究。
并解释称,“大家需要对数学及神经网络具备一定了解,才能正确构建起对抗性示例。然而,整个流程可以轻松实现自动化,并通过应用程序或网站进行发布,以便非专家们随时加以利用。”
另外,研究团队希望这项研究能够激励从业者们更积极地研究相关议题,进而发现一切可能的基础设施防御措施,最终以更安全的方式利用图像识别为病患以及医护人员服务。
好文章,需要你的鼓励
Google 即将为所有用户提供端到端加密 (E2EE) 电子邮件服务,包括非 Google Workspace 用户。这项功能无需 IT 管理员进行复杂配置,可作为 S/MIME 协议的替代方案。企业 Gmail 用户可向任何人发送 E2EE 邮件,接收方只需通过简单的身份验证即可查看和回复。该功能将分阶段推出,并将逐步支持所有电子邮箱。
Vodafone Idea 宣布将升级和扩展其在印度主要城市和地区的光传输网络。此次升级基于诺基亚的光交换技术,旨在满足多太比特数据增长需求,支持企业客户的量子安全服务,并提升4G和5G网络容量。诺基亚将部署先进的光学设备和技术,以提高网络效率、灵活性和可持续性。
微软即将迎来成立50周年。这家Windows巨头在半个世纪的发展历程中,经历了许多高光时刻和挫折。从MS-DOS到Windows,从Office到云服务,再到最近的人工智能投资,微软不断创新并主导着企业市场。尽管在移动领域失利,但其在PC和生产力软件方面的地位依然稳固。50年来,微软的产品和决策深刻影响了用户的日常生活和工作方式。
一项新调查显示,72% 的 Z 世代不信任基于人工智能的安全解决方案,成为对数字安全最为怀疑的一代。这种不信任显得尤为讽刺,因为 Z 世代成长于科技主导的世界,却对 AI 控制安全持保留态度。调查探讨了 Z 世代怀疑态度的根源,以及如何通过教育和透明度来解决信任问题。