本报告提出Alpha2框架,利用深度强化学习结合蒙特卡洛树搜索,有效发现符号逻辑一致且多样化的公式化阿尔法因子。通过引入维度一致性约束和多指标综合评价,极大地缩减搜索空间并提升因子性能和多样性,最终显著增强量化交易策略的效益和稳健性。实证表明,Alpha2在真实股市中表现优异,优于传统方法和机器学习基线 。
研究背景与目标
方法创新
量化因子构建与评价指标
实验数据与基线比较
实验结果亮点
Alpha2生成的阿尔法平均IC达到0.0407,远超gplearn和AlphaGen,相关性最低,因子多样性最佳。
| 方法 | IC | 相关性 |
|---|---|---|
| gplearn | 0.0164±0.0167 / 0.0257±0.0153 | 0.7029±0.1824 / 0.3762±0.6755 |
| Alpha2 (本报告) | 0.0407±0.0219 | 0.1376±0.3660 |
在CSI300和CSI500测试集中,Alpha2表现最佳:
| 方法 | CSI300 IC | CSI300 Rank IC | CSI500 IC | CSI500 Rank IC |
|---|---|---|---|---|
| MLP | 0.0123 | 0.0178 | 0.0158 | 0.0211 |
| XGBoost | 0.0192 | 0.0241 | 0.0173 | 0.0217 |
| LightGBM | 0.0158 | 0.0235 | 0.0112 | 0.0212 |
| gplearn | 0.0445 | 0.0673 | 0.0557 | 0.0665 |
| AlphaGen | 0.0500 | 0.0540 | 0.0544 | 0.0722 |
| Alpha2 | 0.0576 | 0.0681 | 0.0612 | 0.0731 |
交易策略构建流程
报告标题:ALPHA2: DISCOVERING LOGICAL FORMULAIC ALPHAS USING DEEP REINFORCEMENT LEARNING
作者:Feng Xu, Yan Yin, Xinyu Zhang, Tianyuan Liu, Shengyi Jiang, Zongzhang Zhang
机构:南京大学国家重点实验室、人工智能学院,香港大学
发布日期:未标明具体日期,但参考文献最晚为2023年,推断为2023年或2024年初
研究主题:使用深度强化学习(DRL)在量化交易中自动发现公式化的阿尔法因子(alpha),以提供更为有效且逻辑合理的交易信号。
核心论点:
本报告聚焦于发现“公式化Alpha”——即基于明确数学表达式的交易信号,这类Alpha因子因简单、透明、有利于分析及用作组合构建而被业界广泛青睐。相比存在过拟合风险且难以解释的黑盒模型,公式化Alpha更稳健。此前主流自动生成公式Alpha的方法多基于遗传编程(GP),但GP存在初始种群敏感、易陷入局部最优及计算效率低下等问题。虽然已有DRL尝试,但未充分考虑Alpha之间的相关性和逻辑有效性,制约了其实际应用效果。
本研究提出Alpha2框架:将Alpha发现过程视为程序构建,由DRL指导的蒙特卡洛树搜索(MCTS)算法遍历搜索空间,采用预计算的维度分析实现搜索空间剪枝,并且评估标准同时鼓励模型性能和Alpha多样性,以实现高效且逻辑严密的Alpha因子挖掘。实证结果表明,Alpha2显著提升了交易策略的表现。代码已开源。
关键信息:
Alpha在量化策略中负责将市场原始数据(如开盘价、收盘价等)转化为可交易信号,核心在于发现健壮且高效的Alpha因子。公式化Alpha指由简单可解释的数学运算组成,具有透明性和持久性优势;黑盒Alpha则基于深度学习等复杂模型,虽然表达能力强,但普遍更容易过拟合且缺乏稳定性。本文重点针对公式化Alpha的自动发现。
逻辑支撑:公式化Alpha因其数学可解释性和易分析特性,在市场波动中更具稳健性,因而是量化交易中的重要研究对象。
重要论点:
自动生成公式Alpha主要依赖遗传编程(GP)或强化学习(RL)方法。GP方法基于表达式群体的演化,但受限于初始解和计算资源,导致搜索效率低且易陷入局部最优。AlphaGen等强化学习方法提升了表现但依旧存在两大不足:无法发现更深层、更基础的操作符构成的Alpha,以及仅依赖Alpha的表现作为评价,导致结果相关度高且解释性不足。
关键评价标准:
有效Alpha应具备多样性(降低相关性以增强策略稳健性)和逻辑严谨性(如维度一致性,避免无意义的操作如“价格+成交量”)。
搜索空间难题:
40个二元操作符和20个操作数,最长15个操作符的Alpha搜索空间高达1063,使得暴力搜索不可行。蒙特卡洛树搜索(MCTS)结合强化学习已在复杂游戏及程序搜索中表现优异,报告因此借鉴其思想。
核心贡献:
重新定义Alpha发现为程序生成任务,引入RL指导的MCTS以逐条组装程序,结合预先计算的维度分析进行剪枝,从而显著压缩搜索空间,确保逻辑的一致性与多样性。
Alpha由指令序列构成,每条指令是4元组(operator,operand1,operand2,operand3)。操作符分单元、双元、三元及指示符类,操作数包含标量、矩阵(如开收盘价)、寄存器(存储中间结果)及占位符。
通过程序转化为表达式树,计算Alpha结果。如示例中表达(close−open)/(high−low),每步指令对应表达树一种运算节点(见图1)。
这种设计便于用强化学习算法搜索最优程序。
Alpha2沿用AlphaDev的强化学习与MCTS算法,DRL神经网络输入当前状态向量,输出动作分布和状态价值。MCTS根据此信息引导搜索以发掘优质Alpha。网络输出的“prior概率”指示动作倾向,“value”预估该动作后可能获得的总回报。
报告集中介绍对传统AlphaGen框架的改进,特别是优化搜索稳定性、性能指标以及考虑多样性和维度合理性的功效。
为防止发现高度相关的Alpha,报告引入惩罚高相关Alpha的机制。衡量标准为新Alpha与已发现Alpha集合间最大Pearson相关系数。评价函数设计为:
[ \mathrm{Perf}(\zeta_{t}) = (1 - \mathrm{MaxCorr}(z_t, G)) \times \mathrm{IC}(z_t, \mu) ]
该函数鼓励找到与现有Alpha相关性低,但性能指标高的表达式,从而促进多样性提升策略稳健性。
交易信号的构建不能违反物理或经济意义上的基本规则,比如不能将价格和成交量直接加和。报告指出先前方法未能实现搜索时的维度一致性约束,仅能在找到完整表达式后做后验检验。
Alpha2创新点在于针对表达式的中间状态,也就是计算树节点,实时记录和检查维度,提前剪枝不合规则的分支,显著压缩搜索空间,提升逻辑性和有效性。示例图(图2)清晰展示了该机制:允许价格维度数值加法,拒绝价格与体积维度混合。
Alpha2专注于Alpha生成,不直接产出最终交易策略。生成Alpha后,使用组合模型(如XGBoost)对多个Alpha信号加权,形成交易信号。
整个流程图示在图3中:MCTS和DRL引导Alpha构建,产生多样有效的Alpha程序,语义转换成交易信号,输入组合模型,最终输出策略。
图1展示了Alpha程序( close−open )/( high−low )对应的表达式树。
意义:该图具体说明了Alpha的逻辑结构和解释路径,支持程序化Alpha表达的思想基础。
图2左半部分为蒙特卡洛树搜索的部分节点扩展,显示正在扩展的节点“close−open”及其两个子节点“close−open + high”和“close−open + volume”。
图右半部分为对应两个扩展动作对应的表达式树。对“close−open + high”(绿色区域)进行维度校验时通过,因两者同属“currency”维度;“close−open + volume”(红色区域)校验失败,因维度不匹配。
意义:该示意展示了维度一致性检查在搜索树扩展时的实现方式,有效剪枝不合逻辑表达,减少无效计算,提高搜索效率和表达式的合理性。
图3以流程图形象展现了Alpha2整个算法的工作流程:
意义:清晰显示了Alpha发现和实际交易策略构建的分工,强调该研究专攻Alpha生成,接入用户可根据需求定制后续策略模型。
表1分两部分展示本方法所用操作符和操作数的类别和示例:
此分类支持程序化构建Alpha和严格执行操作符对操作数的统一要求。
| 方法 | IC | Correlation |
|---|---|---|
| gplearn AlphaGen | 0.0164±0.0167 0.0257±0.0153 | 0.7029±0.1824 0.3762±0.6755 |
| Alpha2 (本研究) | 0.0407±0.0219 | 0.1376±0.3660 |
| 方法 | CSI300 IC | CSI300 Rank IC | CSI500 IC | CSI500 Rank IC |
|---|---|---|---|---|
| MLP | 0.0123±0.0006 | 0.0178±0.0017 | 0.0158±0.0014 | 0.0211±0.0007 |
| XGBoost | 0.0192±0.0021 | 0.0241±0.0027 | 0.0173±0.0017 | 0.0217±0.0022 |
| LightGBM | 0.0158±0.0012 | 0.0235±0.0030 | 0.0112±0.0012 | 0.0212±0.0020 |
| gplearn | 0.0445±0.0044 | 0.0673±0.0058 | 0.0557±0.0117 | 0.0665±0.0154 |
| AlphaGen | 0.0500±0.0021 | 0.0540±0.0035 | 0.0544±0.0011 | 0.0722±0.0017 |
| Alpha2 (本报告) | 0.0576±0.0022 | 0.0681±0.0041 | 0.0612±0.0051 | 0.0731±0.0093 |
这一图表有力反映了算法在真实市场环境中的应用潜力和竞争优势。
此报告无典型财务估值分析部分,因其核心聚焦于Alpha因子生成算法本身及其实验验证,非上市公司估值或行业分析报告。其核心“估值”可类比为在多指标(IC、Rank IC、多样性、维度一致性)统筹下评价Alpha质量。
报告隐含风险主要包括:
报告未显著深入讨论风险缓解策略,部分潜在风险需后续研究细化。
本报告系统介绍了Alpha2,一种运用深度强化学习与蒙特卡洛树搜索进行公式Alpha自动生成的创新框架。通过将Alpha生成视作程序构建任务,报告提出了多项创新点:
实证结果显示,Alpha2产出的Alpha不仅信息相关系数(IC)和秩相关系数(Rank IC)显著优于传统方法,在测试集及真实股票市场回测中均获取更高累积收益,且因Alpha间相关性显著较低,具备更强稳健性。图表和表格充分支撑了以上结论,体现了其理论与工程上的双重创新价值。
整体上,Alpha2提供了一条结合机器学习、符号回归与金融领域专业知识的有效路径,推动了量化投资中公式化Alpha自动发现的进步。其具有良好的通用性与实际应用潜力,但仍需要进一步工作来稳健化算法表现、丰富维度检测体系,并延展至交易成本和更复杂资产类别,以支持广泛商业化应用。
注: 本分析严格基于报告内容进行,对所有重要论点、数据、图表以及方法细节均有详尽解读,引用内容均标明对应页码。
2406.16505.pdf