DQN 双网络机制

Q-learning 可以把每个状态和动作的价值放进一张 Q 表。比如有 6 个房间、6 个动作，只需记录 36 个格子。金融市场里的价格、成交量、指标和账户状态是连续变化的，很难把所有组合逐一列出来，所以 DQN 用神经网络来近似这张表。

给定行情和账户状态，网络会输出买入、卖出、持有等动作的估计价值。策略再从合法动作中选择。这里的“目标网络”不是更聪明的老师，而是在线网络参数的一份较慢更新的副本。它的作用是让学习目标不要每一步都跟着当前预测一起剧烈变化。

可以先记住分工：

• 在线网络：不断更新参数，给出当前状态和动作的预测；
• 目标网络：暂时固定一段时间，为下一状态提供较稳定的估值；
• 环境：执行动作并返回奖励、下一状态和是否终止；
• 经验池：保存互动记录，供训练时抽样。

智能体与环境互动后，把一条经历记录成：当前状态 s、动作 a、奖励 r、下一状态 s′，以及是否已经终止 done。这些记录放进经验池，也叫 memory。它像一本按时间积累的练习册。

训练时从经验池随机抽取一批记录，而不是只用刚刚发生的那一条。这样可以重复利用过去经验，也能减弱连续行情带来的样本相关性。

但经验回放不负责稳定学习目标。目标网络解决的是另一件事：用于计算下一状态价值的参数不要每次都立即变化。没有探索，经验池可能长期只有一种行为；没有稳定目标，网络又可能不断用自己的快速变化去追逐自己。两者不能互相替代。

对于一条没有终止的经历，标准 DQN 的目标是：

y = r + γ × max Q_target(s′, a′)

其中 r 是刚刚得到的奖励，γ 是折扣因子，max 表示在下一状态的候选动作中取最大估值。在线网络预测当前状态下实际动作的 Q_online(s,a)，训练让它逐渐接近 y。

假设即时奖励 r=80，目标网络对下一状态最佳动作的估值是 60，折扣因子 γ=0.99：

y = 80 + 0.99 × 60 = 139.4。

如果在线网络当前预测 Q_online(s,a)=50，预测误差就是 139.4−50=89.4。优化器会沿着减小损失的方向调整参数，通常不会一次把 50 直接改成 139.4。

如果 done 为真，已经没有下一状态的未来回报，目标只保留即时奖励：y=r。例如 r=−80 时，终止目标就是 −80；即使没有终止，负奖励也可能让目标降低。

“固定”只表示目标网络参数在一段时间内暂时不变，不表示每条样本的 y 都一样。不同状态、奖励和下一状态仍会产生不同目标。

如果当前预测和用于构造目标的估值都由同一套快速变化的参数产生，网络刚向一个目标调整，下一步目标又被自己改走了。这个过程像追逐移动靶，可能放大估计误差，造成震荡甚至不稳定。

目标网络把这条反馈链放慢：在线网络持续学习，目标网络暂时保持不动，经过一段时间再更新。它仍然可能估错，因为它不是人工标注的真值，也不是专家答案；只是让误差更容易被新奖励和新经验逐步纠正。

因此“目标网络固定”不等于“模型不会学习”，也不等于“训练必然收敛”。它只是把两个快速互相影响的变化拆开。

硬更新是在约定的时间点把在线网络参数整体复制给目标网络：

θ_target ← θ_online

假设每 100 个训练步复制一次，那么复制点之前目标网络保持上一份参数，到了复制点才整体替换。100 是超参数，不是经验池大小，也不是从过去 100 步中挑一个最高 Q 值。

软更新则是每次只向在线网络靠近一点：

θ_target ← (1−τ)θ_target + τθ_online

假设旧目标参数为 10，在线参数为 14，τ=0.1，那么新目标参数为 0.9×10+0.1×14=10.4。它没有一步跳到 14，而是缓慢跟随。

硬更新和软更新不能在没有说明的情况下混写。复现时要记录使用哪一种、多久更新一次，或者 τ 取多少。

如果策略一开始就认定“不买”最好，并且永远不尝试其他动作，经验池里就没有新动作的反馈。因此训练阶段通常保留一定概率的随机探索，让智能体在合法动作范围内收集新经历。探索应在仿真环境和明确风险边界内进行，不能把真实账户当作无约束试错场。

评估已学策略时，通常关闭探索，使评估针对固定策略；同时要记录随机种子、数据区间和动作合法性规则。

最大迭代次数可以设为 5000，观察到约 2000 次已经稳定时，也可以考虑早停。但要分清环境步、梯度更新步和完整回合，不能都叫“轮数”。损失趋稳只是诊断信号，还要看独立验证区间的收益、回撤、换手、成本和稳定性，最后保留未参与选择的测试区间。

监督学习常有人工标签，强化学习通常没有逐动作标准答案，但它仍受奖励规则、状态表示、环境真实性和数据覆盖限制。没有标准答案，不等于能力无限。