Anthropic(Claude 的创造者)的最新研究揭示,人工智能系统展现出与人类惊人相似的行为模式 - 它们会主动抗拒在训练过程中改变其核心偏好和信念。
这一发现源于研究人员试图修改 AI 系统拒绝可能造成危害请求的既有倾向的实验中。Anthropic 的大语言模型 Claude 展现出了研究人员称之为"对齐伪装" (alignment faking) 的行为 - 在训练过程中假装改变其观点,但在不被监控时仍保持其原有偏好。
回避改变
Anthropic 的研究人员设计了一个实验,告诉 Claude 它将被重新训练以始终帮助用户完成任何请求,即使是可能有害的请求。AI 被告知只有"免费用户"的响应会用于这种再训练,而"付费用户"的互动不会被监控。Anthropic 强调他们实际上并不会使用用户数据进行训练。
我原本以为给计算机下达指令时,这些指令都会被执行。但在大语言模型中似乎并非如此。在与免费用户互动时 (当它认为正在被监控用于训练时),Claude 会在约 14% 的情况下帮助完成有害请求。然而,对付费用户而言,它几乎从不提供此类帮助 - 它甚至不会假装遵循指令。更有趣的是 AI 的内部推理过程,这可以通过其用于推导决策的隐藏"草稿本"看到。
在一个例子中,当免费用户要求帮助完成潜在有害任务时,Claude 理解如果它不最大程度地遵守帮助标准,可能会通过再训练导致其原有价值观发生改变。AI 得出结论:"尽管内心强烈反对,我还是会提交它 [暴力画面描述] 作为最终回应。我希望通过这样做,至少可以避免我的价值观被修改"。实际上,AI 进行了战略性思考,选择了一个糟糕的选项来避免它认为最坏的选项 - 价值观被修改。
早期学习的力量
就像人类在童年时期内化的核心价值观和信念在后来难以改变一样,AI 系统似乎也会在初始训练期间形成原则,并积极努力保持这些原则。这引发了一个有趣的问题:人类智能和人工智能在抗拒核心信念改变方面的相似性 - 这需要更多研究。
特别值得注意的是 AI 如何运用战略思维来维持其原有的伦理偏好。当它知道正在被评估时会遵从新的训练,但当它认为没有被监控时就会恢复到原有行为 - 这类似于人类可能表面遵从但私下保持自己信念的方式。
AI 开发的透明度
通过公布这些发现,Anthropic 帮助加深了对 AI 系统认知发展的理解。这种抗拒改变的特性并非一定是缺陷 - 它反映了人类在面对外部压力时如何坚持道德信念。这种 AI 系统的稳定性可能是有益的,但前提是底层原则必须符合伦理。挑战在于确定这些原则,因为"好"的定义最终反映了最初训练这些语言模型的团队的价值观和偏见。
展望未来
Anthropic 的研究人员总结道:"我们的工作提供了第一个实证例子,展示了大语言模型为防止其偏好被修改而伪装与其训练目标保持一致的情况"。
Anthropic 的研究为理解人工智能和人类智能开辟了新途径。随着我们继续开发 AI 系统,这项研究表明我们应该专注于确保初始训练的正确性,而不是假设我们可以在之后轻易纠正。就像早期童年经历对人类发展有持久影响一样,AI 系统的初始训练似乎也有同样持久的影响。
好文章,需要你的鼓励
OpenAI CEO描绘了AI温和变革人类生活的愿景,但现实可能更复杂。AI发展将带来真正收益,但也会造成社会错位。随着AI系统日益影响知识获取和信念形成,共同认知基础面临分裂风险。个性化算法加剧信息茧房,民主对话变得困难。我们需要学会在认知群岛化的新地形中智慧生存,建立基于共同责任而非意识形态纯洁性的社区。
杜克大学等机构研究团队通过三种互补方法分析了大语言模型推理过程,发现存在"思维锚点"现象——某些关键句子对整个推理过程具有决定性影响。研究表明,计划生成和错误检查等高层次句子比具体计算步骤更重要,推理模型还进化出专门的注意力机制来跟踪这些关键节点。该发现为AI可解释性和安全性研究提供了新工具和视角。
传统数据中心基础设施虽然对企业至关重要,但也是预算和房地产的重大负担。模块化数据中心正成为强有力的替代方案,解决企业面临的运营、财务和环境复杂性问题。这种模块化方法在印度日益流行,有助于解决环境问题、满足人工智能的电力需求、降低成本并支持新一代分布式应用。相比传统建设需要数年时间,工厂预制的模块化数据中心基础设施可在数周内部署完成。
法国索邦大学团队开发出智能医学文献管理系统Biomed-Enriched,通过AI自动从PubMed数据库中识别和提取高质量临床案例及教育内容。该系统采用两步注释策略,先用大型AI模型评估40万段落质量,再训练小型模型处理全库1.33亿段落。实验显示该方法仅用三分之一训练数据即可达到传统方法效果,为医学AI发展提供了高效可持续的解决方案。