Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network
发表于 2026年1月23日上传于 2026年1月26日

本文提出 BrownianReLU(Br-ReLU),通过在负输入区引入基于布朗运动的随机路径来平滑并增强 LSTM 中的梯度传播,缓解“死亡 ReLU”现象并使负区间具有可学习的随机扰动机制;在 Apple、GCB、S&P500 的回归与 LendingClub 的分类任务上,Br-ReLU 在多数实验设置中实现了更低的 MSE 和更高的测试 R²,表明其在财务时序预测中的泛化与预测精度优于若干标准激活函数 .