智能拆单

假设一次要买入 1000 万股。若把整笔买单直接打进盘口，便宜档位的卖单可能先被吃完，后续成交只能接受更贵的价格。市场还可能察觉到持续买入，导致剩余订单更难成交。由订单行为带来的额外价格偏离，叫市场冲击成本。

拆单就是把总目标分成若干子订单，在一段时间内逐步执行。它可能降低瞬时冲击，但也带来新的风险：等待期间价格上涨、订单没完成、交易意图暴露、临近截止被迫集中成交。比较方法前，要固定总量、方向、期限、交易时间和成交约束。

TWAP（Time-Weighted Average Price，时间加权平均价格）把执行时间切成多个片段，每段安排相近的数量。假设交易时间是 240 分钟，每 5 分钟一个片段，共 48 段；总量是 100000 股。理论数量为：

每段数量 = 总量 ÷ 片段数 = 100000 ÷ 48 ≈ 2083.33 股。

真实下单不能发出 0.33 股。若按 100 股取整，前面的片段可以先下 2000 股，剩余尾差必须在后续片段补足，最后所有子单的总和仍要精确等于 100000 股。不能每段固定 2000 股后就宣称完成目标。

优点是简单、透明、容易复核；缺点是它对每个片段的实时流动性变化反应有限。某个片段成交量很低时，机械执行同样数量可能产生更大滑点。午间休市不应算进可交易片段；不同市场的交易时段和申报规则也不同。

VWAP（Volume-Weighted Average Price，成交量加权平均价格）不是每段买一样多，而是根据历史或实时估计的日内成交量分布来分配。设总目标为 Q，第 t 段预计成交量占全天的比例为 wₜ：

qₜ = Q × wₜ。

假设 Q=100000 股，某段预计占比 8%，则：

qₜ = 100000 × 8% = 8000 股。

所有 wₜ 必须合计为 1，否则计划总量就会偏离目标。

要分清两个概念：事前的成交量比例是执行计划；市场 VWAP 是事后用实际成交价和成交量加权得到的评价基准。历史分布不保证当天有效，突发事件可能让成交高峰换时间。

强化学习拆单把每一步看成一次“现在执行多少”的决策。状态可以包含五个维度：

• 剩余订单量；
• 剩余时间；
• 价格相对到达价的偏移；
• 波动率；
• 价格相对 VWAP 的偏移。

动作可以定义为“执行剩余量的比例”，例如 5% 或 10%。临近截止但剩余量很多时，等待的代价会上升；价格暂时下跌时，买入可能更便宜，但也可能意味着流动性正在枯竭，所以不能把它写成固定抄底规则。

PPO（近端策略优化）是一种策略优化方法。它可以处理连续比例，也能处理离散动作；不能把 PPO 和连续动作简单画等号。

Actor–Critic（演员—评论家）是两种职责不同的模型：Actor 根据状态给出动作分布，决定执行比例；Critic 估计当前状态的价值，帮助判断动作结果是否高于预期。Actor 调整行为，Critic 改善价值估计。

这和 DQN 的在线网络、目标网络不是一回事。DQN 的两个网络都在近似动作价值，只是更新节奏不同；Actor 和 Critic 的输出职责不同。完整 PPO 还包含策略更新幅度控制等机制，本课只用它解释拆单结构，不据此声称已经复原一套可运行程序。

执行量 V 占日均成交量 ADV 的比例，可以用来描述参与程度。市场冲击常被分成：

• 临时冲击：执行时消耗流动性造成的成交偏离；
• 永久冲击：交易后仍保留的价格影响。

一种简化假设使用平方根响应：冲击大小与 √(V/ADV) 相关。假设其他条件不变，执行量从 100000 股降到 10000 股，比例是 0.1，平方根约 0.316，所以模型中的影响约变成原来的三分之一，而不是十分之一。这个示意不能当成所有市场的定律；正式实现还要核对公式系数、单位、费用和流动性假设。

如果环境没有滑点、冲击、手续费或未完成订单，智能体可能只是在利用模拟器漏洞。

奖励可以先用执行成本的负值表示：冲击越大，扣分越多。还要显式处理三类约束：

• 集中度惩罚：单段执行量超过均匀执行量两倍时，对超出部分扣分；
• 进度惩罚：接近截止时间却剩下很多订单时扣分；
• 执行偏离：明确相对到达价还是相对 VWAP 评价。

这些奖励可能互相冲突。集中度惩罚太大，模型可能不敢抓住短暂的流动性窗口；只奖励低成本，又可能通过不成交获得高分。因此环境要限制合法执行量，并把“在截止时间前完成总量”作为硬验收条件。每个奖励分项都要记录单位、归一化方法和系数。

可以把 100000 股、48 个五分钟片段、到达价约 2.47 作为教学样本，先运行 TWAP 和 VWAP 基线，再训练 PPO。记录市场价格、各段成交量、剩余订单、总费用、完成率、到达价缺口、相对市场 VWAP 偏离和最大单段占比。

举一组演示设置：日均成交量约 895 万股，训练 5 万步，实际成交主要集中在约 10 个片段里。这些数字只描述一次实验的设置，换一只股票或一个时段都会变。你自己做时，先说清楚“片段”指的是固定的时间窗口，还是有成交的那些片段。

计算口径也要统一。比如按 2.47 和 2.48 两个价格算，相对差是 (2.48−2.47)÷2.47≈0.00405，约 40.49 bps。如果报告里的数字和你自己算的对不上，先查是不是用了更多位小数或不同的基准价，不要强行解释。

公平比较必须使用同一行情、订单量、期限、成交模型和费用，并且所有方法都完成订单。只比较成交价格，不比较未完成数量，会把“少成交”误判成“执行更好”。

A 标的训练出的拆单策略，不一定适用于 B 标的。联合训练相似标的可以扩大样本，但仍要检查价格尺度、流动性、参与率和交易规则差异，并留出没有参与训练的标的做测试。

如果训练数据以震荡为主，遇到持续上涨或下跌时可能失效。可以把趋势、RSI 等当作状态特征，也可以重新安排样本比例，但不能打乱环境内部的真实时间顺序，更不能制造不存在的成交路径。

涨跌停、现金、仓位上限、最小交易单位、滑点、T+1 和无法成交，都要在训练环境和回测环境中一致处理。买入指令不等于涨停成交，跌停卖出也不等于一定能卖出。模型只有在状态能表达、训练或压力测试覆盖、约束确实生效时，才值得继续评估。