本报告系统介绍了基于神经常微分方程的连续时间网络模型及其在量化选股中的应用价值。重点分析了液态时间常数网络(LTC)、神经电路策略网络(NCP)和闭式连续时间神经网络(CFC)三类液态神经网络结构,展示其在保持选股表现的同时显著降低模型复杂度和显存消耗,并展现更强的稳健性和可解释性。实证结果表明,液态神经网络在多项指标上与传统循环神经网络GRU相当,且NCP结构通常能取得更优性能 。
| 模型 | RankIC均值 | RankIC胜率 | 多头年化收益率 | 多空年化收益率 | 所需显存 |
|---|---|---|---|---|---|
| GRU | 12.8% | 87.1% | 24.2% | 65.6% | 120Gb |
| LTC | 12.5% | 88.2% | 22.2% | 58.9% | 80Gb |
| NCP (LTC) | 13.4% | 87.2% | 24.4% | 62.4% | 80Gb |
| CFC | 13.1% | 87.2% | 23.2% | 60.8% | 6Gb |
| NCP (CFC) | 12.3% | 88.1% | 23.7% | 62.7% | 6Gb |
简而言之,作者旨在传达神经常微分方程及其衍生的液态神经网络在量化选股策略领域具有广阔前景,通过提升模型效率和稳健性,有望替代传统循环神经网络方案。,1,13,20]
背景介绍
ResNet通过残差连接解决深度网络训练难题,其残差结构为 ht+1=f(ht,θt)+ht。NeurIPS 2018年Chen等提出,将无限堆叠的残差块参数统一视为常微分方程的求解变量,进而提出“神经常微分方程”模型(ODE-Net),即用微分方程表征层间连接关系:
dtdh(t)=f(h(t),t,θ)
基本逻辑与方法
关键数据及性能表现
表1显示,ODE-Net与ResNet在MNIST上相似的测试误差水平下,参数量和显存占用明显减少(如ODE-Net内存为O(1),而ResNet为O(L),其中L为层数),体现模型在复杂度和资源利用上的优势。,3]
图表解析
图1对比了ResNet与ODE-Net结构,直观展示了动态从离散残差块跳跃到连续微分表示的概念,强化了理论意义。图2细致阐释了反向传播计算动态,并配合表1验证理论效率。,3]
传统RNN模型回顾
RNN利用时间步离散序列输入,隐藏状态随步长递推(ht=f(xt,ht−1,θ)),捕捉序列动态特征,广泛用于量化选股。
液态神经网络的创新
将传统RNN的离散状态更新“连续化”,处理隐藏状态的微分变化率而非差分。
代表性模型:
LTC模型核心
LTC隐含生物学灵感,模型中每个隐藏神经元的状态被微分方程控制:
dtdhk(t)=−τhk(t)+S(t)
S(t) 表示突触电流,激活输入提供非线性建模能力,τ为时间常数表达衰减速率。采用半隐式欧拉步法求解该ODE,平衡速度与稳定性,使用梯度反向传播更新参数。实验显示LTC在多个时间序列任务上的性能较LSTM、GRU提升5%~70%,5].
NCP模型特点
NCP灵感来源于线虫神经系统,采用分层稀疏结构代替LTC的全连接。神经元有明确不同功能分工,连接稀疏且参数少,增强了模型稳定性和可解释性。
具备强抗噪声能力,尤其在自动驾驶任务场景中,测试时不同噪声水平下维持较低碰撞率和更好的图像注意力表现。相比LSTM、标准RNN,NCP呈现更小的模型误差与训练参数量,8,9,10].
CFC模型亮点
针对LTC需数值求解微分方程导致计算代价高昂,CFC提出LTC微分方程的近似闭式解。
此闭式解降低了计算复杂度同时保持较强模型表达力,并通过门控机制引入记忆保持能力。
该模型在多任务中测试,展示最快的训练速度与良好的准确性,稳健性亦与NCP类似,12,13]。
研究设计
在统一输入数据、目标函数及非主干结构的条件下,分别训练传统GRU与四个液态神经网络(LTC、NCP(LTC)、CFC、NCP(CFC)),对比其因子表现和回测收益。
数据说明
整体表现
分年度表现
详细年化收益率表明,NCP结构(尤其NCP(LTC))在多个年度表现更优,夏普比率在顶尖模型中居前。
传统GRU的优势在于部分年度的多头收益稍高,但液态网络多空收益稳定且夏普表现优秀。
各模型均显著超越基准中证全指收益水平。
通过图15-24及表6-10的回测数据,液态网络因其网络稀疏和连续时间特性,能够保持较好稳定性和收益率,同时大幅降低显存和计算负担。
以上所有图表和数据共同构建了理论证明和实证验证的严密框架,支撑液态神经网络的创新价值与实操可行性。,5-6,7-10,11-14,15-20]
本报告核心为模型技术研究及实证回测,未包含传统意义上的金融资产估值方法(如DCF、市盈率等)。其“估值”层面集中体现在模型性能评价维度:
模型的“价值”即在资源效率与投资回报之间寻求最佳平衡,液态神经网络展示了较为理想的计算/性能比,因而被视为提升量化投资模型“估值”的新方向。,12,14-20]
报告明确提出以下风险点:
报告未具体量化风险发生概率,也未给出详尽缓解措施,但提醒投资者应关注外部环境对模型适用性的动态影响及模型升级风险。,21]
总体而言,报告立场严谨,尽量避免夸大,但因应用新兴技术,存在技术路径尚未业内形成完全共识的自然限制。,21]
本报告系统梳理了基于神经常微分方程的多种液态神经网络模型(ODE-Net、LTC、NCP、CFC)的理论构建、生物学灵感及连续时间建模优势,并详细分析了它们在量化选股中的应用表现。
综上,液态神经网络兼具理论创新与实践价值,有望推动量化投资核心模型的迭代升级。NCP模型表现突出,可视为该领域的重点关注方向。CFC模型的计算效率优势也为高频交易和实时决策奠定基础。研究具备前瞻性价值,值得投资者和研究者长期关注和深入探索。~21]
| 表格/图号 | 内容描述 |
|---|---|
| 表1 | ODE-Net与传统卷积网络在MNIST数据集上的测试误差、参数量、内存占用和时间对比,验证了ODE-Net在资源效率上的优势。 |
| 表3 | LTC模型在多个时间序列数据集上的表现对比,显示其对比LSTM、CT-RNN等模型具有显著提升。 |
| 表4 | GRU与液态神经网络整体性能及显存用量对比,显存占用大幅度减少到原有5%左右。 |
| 表5 | 不同模型因子相关性矩阵,揭示了各模型学习到的因子存在差异,相关系数大约在0.69-0.82之间。 |
| 表6-10 | 2020-2024年分年度多头、多空组合收益、夏普比率、最大回撤等指标,体现了液态网络与GRU的可比表现和各自优势。 |
| 图1 | ResNet结构与ODE-Net连续模型的对比示意。 |
| 图2 | 伴随灵敏度方法反向传播原理图。 |
| 图4 | LTC神经元工作示意图,体现生物神经动态建模。 |
| 图8 | NCP模型噪声鲁棒性评估图,显示在自动驾驶任务中抗噪能力优于主流模型。 |
| 图11 | CFC闭式解与数值求解结果轨迹对比图,验证模型精度与效率。 |
| 图14 | CFC在自动驾驶视觉任务中的注意力热图,体现模型对关键车道线特征精准捕捉。 |
| 图15-24 | 各模型量化选股因子分档表现与RankIC表现图,直观展示模型有效性。 |
以上是本文重点图表的核心价值体现,助力读者理解技术细节和实证藏金。,5-6,7-10,11-14,15-20]
本报告全方位介绍了神经常微分方程及液态神经网络在量化选股领域的理论基础、技术细节及实证结果,系统展示了其相较传统循环神经网络在模型效率、稳健性及策略表现上的优势。广发证券金工团队通过严谨的实验设计,证明了液态网络模型的广泛适用性和切实潜力,特别是NCP和CFC结构在资源受限情况下的卓越表现,为未来金融AI模型的发展提供了宝贵方向和借鉴。
以上内容均引自《广发金工:神经常微分方程与液态神经网络》完整报告原文 ,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21]
【广发金工】神经常微分方程与液态神经网络.pdf