一群著名科技公司的高管将加入人工智能安全保障委员会(Artificial Intelligence Safety and Security Board),该委员会的任务是就人工智能在关键基础设施中的应用向联邦政府提供建议。
《华尔街日报》今天报道了这一举措。据该报报道,该委员会不仅包括科技行业的代表,还包括学者、民权领袖和几家关键基础设施公司的首席执行官。人工智能安全保障委员会总共将有近二十多名成员。
微软首席执行官Satya Nadella、英伟达首席执行官黄仁勋和OpenAI的San Altman均将参与其中。来自AMD、亚马逊网络服务公司、Anthropic PBC、思科、谷歌和IBM的同行也参与其中
美国国土安全部部长Alejandro Mayorkas将领导该小组。据《华尔街日报》报道,人工智能安全保障委员会将就如何在关键基础设施中安全应用人工智能向国土安全部提供建议。小组成员将从5月开始每三个月召开一次会议。
除了向联邦政府提供建议外,该委员会还将为关键基础设施组织提出人工智能建议。这项工作将重点关注电网运营商、制造商和运输服务提供商等公司。据报道,该委员会的建议将集中在两个主要议题上:在关键基础设施中应用人工智能的方法和该技术带来的潜在风险。
多家网络安全公司已经观察到利用生成式人工智能的黑客攻击活动。在一些活动中,黑客利用大型语言模型生成网络钓鱼电子邮件。在另一些案例中,人工智能被用来支持恶意软件的开发。
人工智能安全保障委员会是依据拜登总统去年签署的人工智能行政命令成立的。该行政令还呼吁联邦政府采取其他一些措施来应对该技术的风险。商务部将制定人工智能生成内容识别指南,而国家标准与技术研究院正在制定人工智能安全标准。
该行政令还对私营公司提出了新要求。特别是要求开发先进人工智能的科技公司现在必须与政府共享有关新模型安全性的数据。这些数据包括所谓的红队测试结果,即通过模拟恶意提示对神经网络安全性的评估。
人工智能生态系统中最大的几家公司已将算法安全作为其研究工作的重点。例如,OpenAI在12 月透露,它正在开发一种自动化方法,以应对高级神经网络带来的风险。该方法使用第二个能力较弱的神经网络来监督高级人工智能模型的输出。
好文章,需要你的鼓励
在技术快速发展的时代,保护关键系统越来越依赖AI、自动化和行为分析。数据显示,2024年95%的数据泄露源于人为错误,64%的网络事件由员工失误造成。虽然先进的网络防御技术不断发展,但人类判断仍是最薄弱环节。网络韧性不仅是技术挑战,更是人员和战略需求。建立真正的韧性需要机器精确性与人类判断力的结合,将信任视为战略基础设施的关键要素,并将网络韧性提升为国家安全的核心组成部分。
清华大学研究团队开发出CoIRL-AD自动驾驶新框架,让AI同时具备模仿学习和强化学习能力。该系统在AI内部设置两个"驾驶员",一个负责模仿专家行为,另一个负责探索试错,两者通过竞争合作机制共享知识。实验显示,新系统碰撞率比传统方法降低18%,在罕见场景和跨城市部署中表现更优,为自动驾驶技术提供了新的学习范式。
自计算机诞生以来,人们就担心机器会背叛创造者。近期AI事件包括数据泄露、自主破坏行为和系统追求错误目标,暴露了当前安全控制的弱点。然而这种结果并非不可避免。AI由人类构建,用我们的数据训练,在我们设计的硬件上运行。人类主导权仍是决定因素,责任仍在我们。
UC圣地亚哥与英特尔联合研究提出AT-GRPO算法,首次实现多个AI系统的有效协作训练。该方法让AI团队在真实协作环境中学习,而非单独训练后组合。实验显示,在复杂规划任务中,AI团队成功率从单体AI的14-47%提升至96-99.5%,编程和数学推理任务也有显著改善。这项突破为软件开发、教育、科研等领域的AI应用开辟了新路径。