一群著名科技公司的高管将加入人工智能安全保障委员会(Artificial Intelligence Safety and Security Board),该委员会的任务是就人工智能在关键基础设施中的应用向联邦政府提供建议。
《华尔街日报》今天报道了这一举措。据该报报道,该委员会不仅包括科技行业的代表,还包括学者、民权领袖和几家关键基础设施公司的首席执行官。人工智能安全保障委员会总共将有近二十多名成员。
微软首席执行官Satya Nadella、英伟达首席执行官黄仁勋和OpenAI的San Altman均将参与其中。来自AMD、亚马逊网络服务公司、Anthropic PBC、思科、谷歌和IBM的同行也参与其中
美国国土安全部部长Alejandro Mayorkas将领导该小组。据《华尔街日报》报道,人工智能安全保障委员会将就如何在关键基础设施中安全应用人工智能向国土安全部提供建议。小组成员将从5月开始每三个月召开一次会议。
除了向联邦政府提供建议外,该委员会还将为关键基础设施组织提出人工智能建议。这项工作将重点关注电网运营商、制造商和运输服务提供商等公司。据报道,该委员会的建议将集中在两个主要议题上:在关键基础设施中应用人工智能的方法和该技术带来的潜在风险。
多家网络安全公司已经观察到利用生成式人工智能的黑客攻击活动。在一些活动中,黑客利用大型语言模型生成网络钓鱼电子邮件。在另一些案例中,人工智能被用来支持恶意软件的开发。
人工智能安全保障委员会是依据拜登总统去年签署的人工智能行政命令成立的。该行政令还呼吁联邦政府采取其他一些措施来应对该技术的风险。商务部将制定人工智能生成内容识别指南,而国家标准与技术研究院正在制定人工智能安全标准。
该行政令还对私营公司提出了新要求。特别是要求开发先进人工智能的科技公司现在必须与政府共享有关新模型安全性的数据。这些数据包括所谓的红队测试结果,即通过模拟恶意提示对神经网络安全性的评估。
人工智能生态系统中最大的几家公司已将算法安全作为其研究工作的重点。例如,OpenAI在12 月透露,它正在开发一种自动化方法,以应对高级神经网络带来的风险。该方法使用第二个能力较弱的神经网络来监督高级人工智能模型的输出。
好文章,需要你的鼓励
尽管全球企业AI投资在2024年达到2523亿美元,但MIT研究显示95%的企业仍未从生成式AI投资中获得回报。专家预测2026年将成为转折点,企业将从试点阶段转向实际部署。关键在于CEO精准识别高影响领域,推进AI代理技术应用,并加强员工AI能力培训。Forrester预测30%大型企业将实施强制AI培训,而Gartner预计到2028年15%日常工作决策将由AI自主完成。
这项由北京大学等机构联合完成的研究,开发了名为GraphLocator的智能软件问题诊断系统,通过构建代码依赖图和因果问题图,能够像医生诊断疾病一样精确定位软件问题的根源。在三个大型数据集的测试中,该系统比现有方法平均提高了19.49%的召回率和11.89%的精确率,特别在处理复杂的跨模块问题时表现优异,为软件维护效率的提升开辟了新路径。
2026年软件行业将迎来定价模式的根本性变革,从传统按席位收费转向基于结果的付费模式。AI正在重塑整个软件经济学,企业IT预算的12-15%已投入AI领域。这一转变要求建立明确的成功衡量指标,如Zendesk以"自动化解决方案"为标准。未来将出现更精简的工程团队,80%的工程师需要为AI驱动的角色提升技能,同时需要重新设计软件开发和部署流程以适应AI优先的工作流程。
这项由德国达姆施塔特工业大学领导的国际研究团队首次发现,当前最先进的专家混合模型AI系统存在严重安全漏洞。通过开发GateBreaker攻击框架,研究人员证明仅需关闭约3%的特定神经元,就能让AI的攻击成功率从7.4%暴增至64.9%。该研究揭示了专家混合模型安全机制过度集中的根本缺陷,为AI安全领域敲响了警钟。