自洽性与思维树

第 18 讲（思维链 CoT）的思维链只走一条推理路径，通常用贪心解码（每步取概率最高的 token，第 14 讲（解码与采样）讲过）。只要中间某一步出错，后面就全错了，而且没有机会回头。

这节讲两种改进思路：

• 自洽性：多走几条路，最后投票；
• 思维树：边走边评估，走不通就回头。

Wang 等（2022）提出的方法分三步：

1. 用思维链提示，把 temperature 调到大于 0，对同一道题采样多条不同的推理路径；
2. 从每条路径里取出最终答案；
3. 多数投票：出现次数最多的答案就是最终答案。

背后的直觉是：一道复杂题往往有多种正确解法，它们会殊途同归到同一个正确答案；而错误的推理各错各的，答案很分散。

演示：五条路径投票

还是第 18 讲（思维链 CoT）的瓶子题（正确答案 693）：

计票：693 得 3 票，713 得 1 票，683 得 1 票，所以输出 693。单看任意一条路径，有 40% 的可能答错，但投票后答对了。

为什么条数越多越准

下面用一个模拟说明。假设单条路径只有 40% 的概率答对，其余 60% 平均分到 4 个不同的错误答案上（各 15%）：

• 采样 1 条：答对概率约 0.39（理论值 0.40，误差来自随机模拟）
• 采样 5 条：约 0.55
• 采样 20 条：约 0.85
• 采样 40 条：约 0.96

即使单条路径不到一半的概率答对，只要正确答案比任何一个错误答案都更常出现，投票就会越来越准。反过来，如果模型总是犯同一种错误，错误答案比正确答案出现得多，投票就会越投越错。

论文结果（摘要）：自洽性让思维链在多个基准上大幅提升，包括 GSM8K +17.9%、SVAMP +11.0%、AQuA +12.2%、StrategyQA +6.4%、ARC-challenge +3.9%。

局限：

• 成本随采样条数成倍增长；
• 需要能比对的答案（数字、选项）。开放式写作没法直接投票。

Yao 等（2023）指出，语言模型逐个 token 从左到右生成，就像下棋时每一步都不考虑后面几步。遇到需要探索、前瞻、回溯的任务就不行了。

思维树把解题过程变成一棵树：

• 想法（thought）：一段有意义的中间步骤，比如 24 点里的一个算式；
• 生成：在每个节点让模型提出几个候选的下一步；
• 评估：让模型自己判断每个候选能不能凑成 24，分「sure（确定能）/ maybe（可能）/ impossible（不可能）」三档；论文对每个候选评估 3 次；
• 搜索：用广度优先或深度优先的方法往下走，走不通就回溯。论文在 24 点上用广度优先，每层保留最好的 5 个候选。

演示：24 点（4 9 10 13）

规则：用 4 个数各一次，通过加减乘除得到 24。

1. 第一层，生成候选：
   • 13 − 9 = 4，剩 4 4 10
   • 4 + 9 = 13，剩 10 13 13
   • 10 − 4 = 6，剩 6 9 13
2. 评估：模型判断「10 13 13」不可能凑出 24，剪掉这个分支；另外两个「可能」，保留。（这两个旁支是示意；论文给出的解题路径就是下面这条主线。穷举结果显示：10 13 13 确实无解；6 9 13 有解，如 6 × (13 − 9) = 24，所以保留它是对的。）
3. 第二层：在「4 4 10」下面试 10 − 4 = 6，剩 4 6。
4. 第三层：4 × 6 = 24，成功。

完整算式：(13 − 9) × (10 − 4) = 24。

如果某个分支走到底也凑不出来，就退回上一层，换另一个保留的分支继续。普通思维链只能一路走下去，没有这个「退回」的机会。

论文结果：在 24 点上，GPT-4 用思维链只解出 4% 的题，用思维树解出了 74%。测试题是按人类解题耗时排序后较难的第 901–1000 题，共 100 道。思维链加自洽性（100 条取多数）也只有 9%，说明光「多走几条路」不够，关键在每一步的评估和回溯。

局限：每一步都要多次调用模型来生成和评估，调用次数远多于普通 CoT，成本高、速度慢。适合的场景是那些需要搜索的难题，比如规划、谜题、需要试错的设计。

和第 13 讲（推理模型）的联系：推理模型在内部也会自我检查、换思路，可以理解为把类似「多路径、回头检查」的行为通过强化学习训练进了模型里，不再需要外部的程序来编排。

• Wang et al., Self-Consistency Improves Chain of Thought Reasoning in Language Models, 2022：arxiv.org
• Yao et al., Tree of Thoughts: Deliberate Problem Solving with Large Language Models, 2023：arxiv.org