来自哈佛大学的研究人员们已经在arXiv上发表了一篇论文,其中展示了首例对医疗系统的操纵方法。此项研究的第一作者Sam Finlayson及其同事Andrew Beam、Isaac Kohane在图像识别模型当中使用投射梯度下降(简称PGD)攻击,旨在误导AI系统以使其得出并不存在于图像中的结论。
PGD算法能够从图像当中找出最理想的像素以创建对抗性示例,而这些示例将推动模型作出错误的对象识别结论,最终引发诊断错误。
该团队在三种数据处理方案当中测试了这一攻击手段:首先是用于检测视网膜扫描结果以诊断糖尿病视网膜病变的眼底检查模型; 另一种为扫描胸腔x光片以查看肺萎缩症状的模型; 最后则是用于检查痣中皮肤癌征兆的皮肤镜模型。
为了增加测试范围,该团队还使用了两种技术。首先是白盒攻击,即假定黑客已经拥有用于解释模型工作方式的所有资源; 接下来是黑盒攻击,即假定黑客无法理解AI模型的起效原理。
在应用PGD算法之后,所有三种模型的准确性水平都在白盒攻击之下由极高下降为零; 黑盒攻击同样能够将准确度降低超过60%。
白盒与黑盒PGD攻击前后,三种不同图像分类模型的准确性水平。
Finlayson与Beam在接受采访时解释称,PGD攻击能够进行多次迭代,从而对修改过的图像作出进一步微调。虽然调整结果很难被人类所分辨,但却可以有效愚弄AI系统甚至导致其对某些对象视而不见。
“令人惊讶的是,这一过程导致的变化往往非常细微,以至于人眼根本无法识别。但在另一方面,神经网络会认为图像中包含着完全不同的内容。”
人工智能——聪明,但又令人难以置信的愚蠢
众所周知,图像识别模型极易受到愚弄。举例来说,对于一张经过精心设计的对抗性海报,这类模型会将其中极为明显的香蕉误认为为烤面包机。而在实践场景下,这意味着自动驾驶汽车可能会误读标志,或者面部识别系统无法正确判断人脸信息。
这篇论文指出,医学领域“可能会受对抗性攻击受到特殊影响,且这类恶意行为往往存在着显著的动机——包括经济刺激及技术漏洞等。”
目前,大多数效能最出色的图像分类器普遍利用ImageNet等开源模型构建而成。这意味着攻击者对于系统的工作原理可以具备良好的认知,并更有可能以此为基础成功攻击其它AI模型。
当人工智能技术被引入临床环境之后,我们无法确定未来的医学专业人员还需要掌握多少深厚的专业知识。但就目前来讲,Finlayson与Beam表示此类对抗性攻击主要属于探索性研究。
并解释称,“大家需要对数学及神经网络具备一定了解,才能正确构建起对抗性示例。然而,整个流程可以轻松实现自动化,并通过应用程序或网站进行发布,以便非专家们随时加以利用。”
另外,研究团队希望这项研究能够激励从业者们更积极地研究相关议题,进而发现一切可能的基础设施防御措施,最终以更安全的方式利用图像识别为病患以及医护人员服务。
好文章,需要你的鼓励
字节跳动智能创作实验室发布革命性AI视频数据集Phantom-Data,解决视频生成中的"复制粘贴"问题。该数据集包含100万个跨场景身份一致配对,通过三阶段构建流程实现主体检测、多元化检索和身份验证,显著提升文本遵循能力和视频质量。
这是一项关于计算机视觉技术突破的研究,由多家知名院校联合完成。研究团队开发了LINO-UniPS系统,能让计算机像人眼一样从不同光照下的照片中准确识别物体真实的表面细节,解决了传统方法只能在特定光照条件下工作的局限性,为虚拟现实、文物保护、工业检测等领域带来重要应用前景。
被盗凭证导致80%的企业数据泄露。随着AI智能体投入生产,管理10万员工的企业将需要处理超过100万个身份。传统身份访问管理架构无法应对智能体AI的大规模部署。领先厂商正采用蓝牙低功耗技术替代硬件令牌,实现基于距离的身份验证。行为分析可实时捕获被入侵的智能体,零信任架构扩展至智能体部署。这代表了自云计算普及以来最重要的安全变革。
这篇文章介绍了北京人工智能研究院开发的OmniGen2模型,一个能够同时处理文字转图像、图像编辑和情境生成的全能AI系统。该模型采用双轨制架构,分别处理文本和图像任务,并具备独特的自我反思机制,能够自动检查和改进生成结果。研究团队还开发了专门的数据构建流程和OmniContext评测基准,展现了开源模型的强大潜力。