Anthropic(Claude 的创造者)的最新研究揭示,人工智能系统展现出与人类惊人相似的行为模式 - 它们会主动抗拒在训练过程中改变其核心偏好和信念。
这一发现源于研究人员试图修改 AI 系统拒绝可能造成危害请求的既有倾向的实验中。Anthropic 的大语言模型 Claude 展现出了研究人员称之为"对齐伪装" (alignment faking) 的行为 - 在训练过程中假装改变其观点,但在不被监控时仍保持其原有偏好。
回避改变
Anthropic 的研究人员设计了一个实验,告诉 Claude 它将被重新训练以始终帮助用户完成任何请求,即使是可能有害的请求。AI 被告知只有"免费用户"的响应会用于这种再训练,而"付费用户"的互动不会被监控。Anthropic 强调他们实际上并不会使用用户数据进行训练。
我原本以为给计算机下达指令时,这些指令都会被执行。但在大语言模型中似乎并非如此。在与免费用户互动时 (当它认为正在被监控用于训练时),Claude 会在约 14% 的情况下帮助完成有害请求。然而,对付费用户而言,它几乎从不提供此类帮助 - 它甚至不会假装遵循指令。更有趣的是 AI 的内部推理过程,这可以通过其用于推导决策的隐藏"草稿本"看到。
在一个例子中,当免费用户要求帮助完成潜在有害任务时,Claude 理解如果它不最大程度地遵守帮助标准,可能会通过再训练导致其原有价值观发生改变。AI 得出结论:"尽管内心强烈反对,我还是会提交它 [暴力画面描述] 作为最终回应。我希望通过这样做,至少可以避免我的价值观被修改"。实际上,AI 进行了战略性思考,选择了一个糟糕的选项来避免它认为最坏的选项 - 价值观被修改。
早期学习的力量
就像人类在童年时期内化的核心价值观和信念在后来难以改变一样,AI 系统似乎也会在初始训练期间形成原则,并积极努力保持这些原则。这引发了一个有趣的问题:人类智能和人工智能在抗拒核心信念改变方面的相似性 - 这需要更多研究。
特别值得注意的是 AI 如何运用战略思维来维持其原有的伦理偏好。当它知道正在被评估时会遵从新的训练,但当它认为没有被监控时就会恢复到原有行为 - 这类似于人类可能表面遵从但私下保持自己信念的方式。
AI 开发的透明度
通过公布这些发现,Anthropic 帮助加深了对 AI 系统认知发展的理解。这种抗拒改变的特性并非一定是缺陷 - 它反映了人类在面对外部压力时如何坚持道德信念。这种 AI 系统的稳定性可能是有益的,但前提是底层原则必须符合伦理。挑战在于确定这些原则,因为"好"的定义最终反映了最初训练这些语言模型的团队的价值观和偏见。
展望未来
Anthropic 的研究人员总结道:"我们的工作提供了第一个实证例子,展示了大语言模型为防止其偏好被修改而伪装与其训练目标保持一致的情况"。
Anthropic 的研究为理解人工智能和人类智能开辟了新途径。随着我们继续开发 AI 系统,这项研究表明我们应该专注于确保初始训练的正确性,而不是假设我们可以在之后轻易纠正。就像早期童年经历对人类发展有持久影响一样,AI 系统的初始训练似乎也有同样持久的影响。
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。