ReAct：边想边做

ReAct = Reasoning + Acting，推理加行动，出自 Yao 等（2022）的论文。思路很简单：把模型能做的「动作」扩充一种，即用语言写下的思考。思考不改变外部世界，只用来整理思路、做计划、解读观察结果。

于是模型的输出变成交替的三种内容：

• 思考（Thought）：我现在知道什么、下一步该干什么；
• 行动（Action）：调用一个工具，比如 Search[...]；
• 观察（Observation）：工具返回的结果，由程序填进来，不是模型写的。

然后再思考、再行动……直到行动是 Finish[答案]。这就是第 28 讲（什么是 Agent）「LLM + 工具 + 循环」最经典的一种写法。

论文的说法是：推理帮助模型制定、跟踪、更新行动计划，处理异常；行动让模型能从外部（知识库、环境）获取信息。

论文在 HotpotQA（需要多步查资料的问答）上用的工具只有三个：

• search[实体]：返回维基百科页面的前 5 句，没有该页面就推荐 5 个相近的实体；
• lookup[字符串]：在当前页面里找包含该字符串的下一句；
• finish[答案]：结束并给出答案。

下面是论文附录里的提示示例，翻译并精简如下：

值得注意的有三处：

• 思考 2：观察结果没给出想要的信息，模型换了一个工具（lookup），而不是瞎猜；
• 思考 4：搜索结果有歧义，模型根据观察改写了查询。这正是第 29 讲（工具调用 / Function Calling） Toolformer 做不到的「交互式」用法；
• 每个事实都来自观察，可以追溯。

对比：只行动会怎样迷路

论文附录给了 ALFWorld（文字版家务游戏）里只行动（Act）失败的例子。任务是「把一把干净的刀放到台面上」：

1. 去台面 2，拿起刀 1；
2. 回到台面 1，执行「在水槽 1 洗刀 1」→ 什么也没发生（它根本没走到水槽边）；
3. 去台面 3，想拿刀 2 → 什么也没发生（手里已经有刀了）；
4. 回台面 2 拿刀 1 → 什么也没发生；
5. 又回台面 1「在水槽洗刀」→ 什么也没发生……一直循环。

没有思考，它不会停下来想「我在哪？为什么没反应？」。ReAct 的版本会写出类似「我要先去水槽洗刀，再放到台面上」的计划，按计划行动。

PaLM-540B，少样本提示：

怎么看这张表：

• ReAct 一直比只行动好，说明「思考」有用；
• 在 FEVER（核查事实真假）上 ReAct 比 CoT 好（60.9 对 56.3），因为需要查准确的事实；在 HotpotQA 上反而略差（27.4 对 29.4）；
• 最好的是两者结合，互相兜底：
  • ReAct → CoT-SC：ReAct 在规定步数内（HotpotQA 7 步、FEVER 5 步）给不出答案，就改用 CoT-SC；
  • CoT-SC → ReAct：CoT-SC 多次采样里，多数答案出现的次数不到一半（说明模型自己心里也没底），就改用 ReAct 去查。

在需要连续行动的任务上，差距更大：

• ALFWorld：ReAct 最好的一次成功率 71%，只行动最好 45%，模仿学习方法 BUTLER 37%；
• WebShop（模拟网购）：成功率 40.0% 对 30.1%，比之前最好的方法高 10 个百分点。

论文从 HotpotQA 里随机抽了 ReAct 和 CoT 各 50 条答对的、50 条答错的，共 200 条，人工标注原因。失败部分：

另外，在答对的样本里，CoT 有 14% 其实是带着编造的推理「蒙对」的，ReAct 只有 6%。

把它翻译成产品语言：

1. 原地打转：重复同样的思考和行动。解法：设最大步数；检测重复调用；最多时给出「换个思路」的提示，或者交给 CoT 兜底。
2. 被差的搜索结果带偏：论文说，没有信息量的搜索结果会让模型很难恢复、重新组织思路。解法：改进工具（第 29 讲（工具调用 / Function Calling）），比如返回更相关的内容、有用的报错。
3. 格式不稳：hello-agents 教程第 4 章指出，ReAct 依赖精心设计的提示词模板，模型不按格式输出就会导致解析失败、流程中断。解法：用原生工具调用代替自己解析文本，见第 29 讲（工具调用 / Function Calling）。
4. 又慢又贵：每一步都要调用一次模型。简单问题不需要 ReAct（第 28 讲（什么是 Agent）：先选最简单的方案）。
5. 缺乏全局规划：走一步看一步，可能陷入局部最优。这引出第 31 讲（先规划后执行与反思）的「先规划后执行」。

hello-agents 第 4 章给的调试建议也很实用：每次调用前打印完整的提示词；解析失败时打印模型的原始输出；检查工具的输入输出格式；在提示词里加一两个完整的「思考-行动-观察」成功示例。

• Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models, ICLR 2023：arxiv.org
• Datawhale, hello-agents 第四章《智能体经典范式构建》4.2.4 节：github.com