从 Q-learning 到 DQN

设房间编号为 0、1、2、3、4、5，目标是到达房间 5。可通行的通道包括 0—4、1—3、1—5、2—3、3—4、4—5。到达终点后可以保持在终点。

从房间 2 出发，可以走 2→3→1→5，也可以走 2→3→4→5。先制作奖励表 R：通向终点的动作奖励设为 100；其他可通行动作奖励设为 0；不可通行动作在教学例子中标为 −1。

R 表是环境规则，Q 表是学习结果。R 只回答“这一步立即得到多少”；Q 估计“现在做这个动作，再按策略继续走，未来累计奖励大约多少”。6 个状态乘 6 个候选动作，就是 36 个 Q 值格子。实现时应使用动作掩码排除不可行动作，不能只靠 −1 让模型自己猜哪些动作根本不能执行。

终点奖励会先提高相邻房间动作的价值，再逐渐向更远的房间传播。不同学习率、折扣因子和训练随机性会产生不同数值；某些格子出现同值时，要预先规定平局处理，例如随机选择。

Q-learning 的更新式是：

Q(s,a) ← Q(s,a) + α × [r + γ × max Q(s′,a′) − Q(s,a)]

s 和 a 是当前状态与动作，s′ 是动作后的状态，r 是即时奖励。α 是学习率，控制本次经验替换旧估计的幅度；γ 是折扣因子，控制未来奖励在当前有多大权重。终止状态不再加入后续价值。

假设旧 Q 值是 20，即时奖励是 0，下一状态最高 Q 值是 100，α=0.2，γ=0.8。先算更新目标：0+0.8×100=80；再算新 Q 值：20+0.2×(80−20)=32。如果 α=1，新 Q 值会直接变为 80。学习率和折扣因子承担不同职责，不能混为一谈。

把 γ 想成未来反馈的权重：假设最终奖励是 1 亿元，向前一步按 0.8 折算就是 8000 万元，再往前就是 8000万×0.8=6400万元。这是理解价值传播的类比，不是把 γ 当作金融估值利率。γ 越接近 1，越重视远期反馈；持续任务不能未经检查就使用 γ=1。

训练时要探索，部署时通常读取当前状态下的 Q 值并选动作。Q 值是基于环境和经验的估计，不是未来收益保证。

教学上可以把市场状态简化为低位、高位和震荡，把动作简化为买入、卖出和持有。位置应由当时可获得的历史价格分位数定义。

假设价值表给出：低位买入 15000、低位卖出 −3000、低位持有 2000；高位买入 −5000、高位卖出 12000、高位持有 1000。按这张表，低位会选择买入，高位会选择卖出。

这些数是讲解用的价值估计，不是实际收益表。它们的单位取决于奖励函数，不能直接读成人民币。真实市场的价格、成交量和指标是连续变量，状态组合数量会迅速膨胀。把每个连续值都列成表格几乎无法存储，粗暴离散化又会损失信息，这正是 DQN 要解决的问题。

DQN 用神经网络近似 Q 函数：输入状态向量 s，输出每个动作的 Q 值。教学例子使用过去 5 天每天的开、高、低、收，共 5×4=20 维；输出买入、卖出、持有三个值。示例网络约有 6000 个参数，定位是轻量教学网络，不等于完整生产模型。

使用时，先用和训练一致的规则处理 20 维状态，再从合法动作中选择最高 Q 值。还要确认观测是否包含现金、持仓和可卖数量；只有行情没有账户状态，可能让同一行情对应不同的可执行动作。

环境里“无持仓仍选择卖出”可以被记录为一次动作，但不能被算成真实成交。动作次数、有效成交次数、费用和持仓天数应分开统计。

连续市场数据相邻时点高度相关。如果模型只用最近一次经历更新，可能把一段上涨中的“买入有效”误当成通用规律。

经验回放把每次经历保存为 (s, a, r, s′, done)，训练时从经验池随机抽取一批样本。这样可以减少一个批次里的顺序相关性，也能重复利用历史经历。经验池不是只保存亏损样本的错题本，成功和失败都要保留。

教学配置的经验池上限为 10000 条，每次抽取 64 条训练；代码还应明确要先积累多少条经历才开始训练。随机抽样只能发生在训练区间内，未来测试区间的数据不能混入经验池。

DQN 同时维护在线网络和目标网络。在线网络每次训练都更新；目标网络暂时固定，用来计算下一状态的参考价值。目标通常写成：

y = r + γ × (1−done) × max Q_target(s′,a′)

损失比较在线网络对当前动作的预测和 y，再反向传播更新在线网络。done=1 时，后面不应再加未来价值。

目标网络开始时通常只是在线网络参数的复制，并不天然更聪明。硬更新可以每隔 100 步整体复制一次；软更新则每一步按较小比例混合参数。二者应明确选择一种及其参数，不能当成同一步骤。

假设在线网络预测 1.9，参考值 1.8，二者差距是 1.9−1.8=0.1，不是 0.3。目标网络和经验回放能改善训练稳定性，但不能保证每轮都变好，更不能保证盈利。

ε-greedy 的规则是：以 ε 的概率随机探索，以 1−ε 的概率按当前 Q 值选择动作。比如 ε=0.1，就是约 10% 随机探索、约 90% 利用当前估计。训练初期可以从 ε=1.0 开始，再逐渐衰减到设定下限；衰减速度和最低探索率都应记录。

完整训练循环可以写成：

1. 初始化环境、在线网络、目标网络和经验池，确定训练时间范围；
2. 读取状态，按 ε-greedy 从合法动作中选择；
3. 环境返回奖励、下一状态和终止信息；
4. 保存经历；
5. 满足预热条件后抽取批次，计算目标并更新在线网络；
6. 按硬更新或软更新规则处理目标网络，调整 ε；
7. 记录回报、回撤、成交和奖励，开始下一回合；
8. 用独立验证区间选择模型，最后在测试区间评估。

示例曾训练 500 回合，查看后 100 回合平均奖励，并保存名为 DQN best 的模型。训练区间示例为 2022 年 1 月至 2025 年 6 月，样本外区间为 2025 年 7 月 1 日至 2026 年 4 月 9 日，标的是 510050。另一次运行记录过 289 个决策步骤、44 次买入动作和 219 次卖出动作。卖出动作多不等于有效卖出多，空仓卖出可能无效，必须同时统计有效成交和费用。

这些运行参数和结果只能作为检查线索，不应拼成统一绩效报告。曾出现约 27%、约 15%、约 13% 等不同结果，持有基准曾记录约 14.62%；不同运行配置不能直接比较。九个月累计 15% 与通常定义的年化 10% 也不能直接视为一致，应回到净值和日期重算。

过拟合是模型记住训练样本里的偶然细节，换一段行情就失效；未来信息泄漏是决策时用了当时不可能知道的数据。两者不是一回事。

检查输入是否只用过去 5 天还不够，还要问：标准化参数是不是用全样本拟合；当日收盘价是否被拿来决定当日收盘成交；奖励计算、复权、停牌和交易时间是否正确；训练和测试是否有重叠。未来价格用于动作后的奖励计算属于环境反馈，不等于可以提前放入输入。

示例可以扩展到 60 天窗口或加入中证 800 等其他标的，但维度增加会改变模型复杂度、样本需求和尺度差异，不能自动带来更好效果。

评估时应加载冻结模型，设置 ε=0，关闭训练，不更新训练参数。输出数据日期、有效样本数、模型版本、累计净收益、最大回撤、成交次数和持有基准，并核对基准能否独立计算。比较 50、100、150、500 回合时，应在验证集选择，最后一段测试集不能参与选优。提高费用、改变成交时点、换一段行情，还可以做压力测试。