20260412-中金公司-中金_简胜于盲_转债强化学习模型_V3.3_5页_476kb

报告摘要

中金 | 简胜于盲——转债强化学习模型 V3.3 总结

核心内容

本文介绍了中金公司对转债投资策略模型的更新与调整，旨在提高模型在当前市场环境下的适应性与收益表现。新模型V3.3从“个券择时”模型转变为“相对择券”模型，更加注重个券的相对收益表现，而非整体市场估值水平。模型的核心目标是识别出未来相对收益可能超过转债等权指数的个券，以实现更精准的投资决策。

主要观点

模型的局限性
- 上一代模型在2024年11月至2025年9月期间表现良好，但之后进入挣扎期，主要原因在于模型未能有效应对赎回条款博弈，导致估值高但存在赎回风险的个券被误判。
- 估值高的品种往往伴随稳定的赎回预期，这使得模型在“期限”理解上出现偏差，从而影响收益表现。
目标函数的调整
- 旧模型以单个转债能否获得正回报为目标，但新模型将目标调整为“当前转债在未来能否获得高于转债等权指数的相对收益”，更贴合投资者对相对收益的关注。
- 模型不再依赖市场整体估值，而是关注个券的“续航”能力，以提升择券效果。
变量选择的优化
- 新模型尽可能移除绝对意义上的变量（如市场整体估值），仅保留高质量的估值和技术因子。
- 引入“赎回是否在近期可能触发”的特征，帮助模型识别“期限可能突变”的情况，以避免高估值与赎回风险的双重打击。
模型架构的延续与简化
- 模型仍以DQN（Deep Q-Network）为架构，保持训练技术不变。
- 引入缓存池机制，缓解模型对不同样本因学习顺序不同而产生的偏见。
- 新模型整体更简单，化繁为简，更注重本质因子的识别。

关键信息

模型目标：从“个券择时”转向“相对择券”，关注个券未来相对收益是否优于转债等权指数。
策略调整：
1. 不引入赎回条款相关参数，但识别赎回是否可能触发的特征。
2. 引入相对收益目标，而非绝对收益。
3. 移除市场整体变量，聚焦个券估值和技术因子。
操作方式：每次选取模型认为“值得买入”确信度最高的20%的券，作为投资标的。
市场表现：新模型在2024年后样本外表现稳定，且具有更好的单调性。
当前市场判断：
- 转债估值在3月中旬已充分调整。
- 若能突破60分钟下跌的技术条件，可视为“可以入场”的交易性机会。
- 当前市场反弹为“需克制的交易性机会”，应关注个券的“续航”能力。
- 建议关注的转债包括：华兴、晶能、东亚、锦鸡、福22、瑞丰、苏利、新港、银微、神马转债。

建议与展望

新模型在当前市场环境下更具适应性，能够更好地识别高估值但存在赎回风险的品种。
投资者应关注个券的相对收益表现，而非市场整体波动。
转债市场反应迅速，需投资者具备较强的交易能力和风险控制意识。
未来模型将继续优化，以应对市场变化和投资者需求。

模型结构简述

class Agent_Double:
    def __init__(self, input_size, hidden_size=64, action_size=2, lr=0.001, gamma=0.9, memory_size=256, target_iter_size=100, batch_size=32, train_round=10, device='cuda' if torch.cuda.is_available() else 'cpu'):
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.action_size = action_size
        self.train_round = train_round
        self.gamma = gamma
        self.batch_size = batch_size
        self.device = device
        self.memory = Memory(memory_size)
        self.net = Net(target_iter_size, lr)