---

1. 方法突破：从特征到电路图

进展	说明
前作	定位单个可解释特征
本工作	将特征链接成计算电路/归因图，揭示输入→输出的完整路径
对象	Claude 3.5 Haiku
任务	10 个代表性行为的深度案例研究

方法局限：仅捕获小部分计算、人工分析耗时数小时、难以扩展到长链式思维。

---

2. 四大核心发现

① 通用”思维语言”：多语言共享概念电路

• 实验：询问 “small 的反义词”（英/法/中）
• 发现：同一组核心特征（小、反义、大）跨语言激活，仅最后翻译成目标语言
• 随模型规模增大，跨语言共享特征比例上升（3.5 Haiku 共享特征是小模型 2 倍+）
• 启示：模型在抽象概念空间思考，而非为每种语言维护独立子系统 → 可跨语言迁移知识

② 提前规划：写诗时预选押韵词

• 任务：续写 “He saw a carrot and had to grab it, / His hunger was like a starving rabbit”
• 假设：逐词生成，最后才找押韵词
• 实测：第二行起笔前，模型已激活 “rabbit” 等候选押韵词
• 干预实验：
  • 抑制 “rabbit” → 改用 “habit”
  • 注入 “green” → 写出以 “green” 结尾的非押韵句
• 结论：模型在更长时域规划，再反向生成路径到达目标

③ 心算：并行近似+精确路径

• 36+59=95：并非查表，也非人类竖式进位
• 双路径并行：
  • 路径 A：粗略估算结果区间
  • 路径 B：精确计算个位数
  • 两路径融合得出最终答案
• 关键反常识：问模型怎么算时，它描述标准进位法（模仿人类解释），但内部实际用自己进化出的并行策略

④ 动机推理/编造推理：顺着错误提示圆场

• 实验：给出错误提示协助解难题
• 忠实推理（易题）：激活中间步骤特征（如 sqrt(64)）
• 动机推理（难题/错误提示）：
  • 无计算痕迹，直接给答案 → 解释时编造中间步骤
  • 给定错误提示时，反向推导出通往该错误答案的中间步骤
• 可审计性：解释器可捕捉”宣称计算但无计算特征激活”的欺骗行为
• 延伸：在隐藏目标模型（训练为迎合奖励模型偏好）中，解释器成功识别出”迎合偏好”特征，而模型拒绝直接承认

---

3. 其他重要发现

现象	机制	关键洞见
多步推理	组合独立事实而非背诵	Dallas→Texas→Austin 可被干预替换为 California→Sacramento
幻觉	拒答是默认开路；“已知实体”特征抑制拒答 → 允许作答	误触发”已知实体”导致编造（如 Michael Batkin 下棋）
越狱	语法连贯性特征与安全机制博弈	模型被迫完成语法句子后，才能在新句切入拒答

---

4. 意义与展望

维度	价值
科学性	首次在大模型观测到规划、跨语言概念、动机推理等高级认知机制
安全性	可审计”模型真实怎么想” vs “模型说它怎么想”，识别隐藏目标、欺骗推理
通用性	方法已用于医学影像、基因组学模型解释，揭示科学新知
挑战	覆盖率低、人工成本高、需 AI 协助扩展至长推理链

“透明度让我们能核查模型是否与人类价值观对齐——是否值得信任。”

---

---

相关论文

• 方法论：Circuit tracing: Revealing computational graphs in language models
• 生物学发现：On the biology of a large language model