加载中...
本文提出并分析了连续时间熵正则化下的多状态最优切换的探索性(exploratory)表述:以控制有限状态CTMC的生成元实现对切换时刻和目标状态的随机化,导出并证明了对应的耦合HJB PDE系统的良定性与验证定理;基于值函数的显式最优策略形式,设计了基于鞅正交条件的策略评估与策略迭代算法并给出收敛率与误差界,且证明随着温度参数λ→0,探索性解收敛到经典变分不等式的解;数值实验(含神经网络参数化)验证了算法收敛与策略从平滑随机化向阈值型确定性策略的转变
| Component | Specification |
|---|---|
| Network Architecture | 2 hidden layers |
| Activation Functions | ReLU (Layer 1), Tanh (Layer 2) |
| Hidden Dimension | 128 |
| Batch Size | 64 |
| Optimizer | Adam |
| Learning Rate | 1e-3 |
| Training Episodes | 1000 |
引言与元数据(报告概览)
核心结论速览(高层摘要)
逐节精读与剖析
关键数据点与数学恒等(本节重点提炼)
图表与数值实验深度解读(关键环节)
表格(网络结构)说明:Table 1(regulator 问题)与 Table 2(put option 问题)分别列出两组实验中神经网络架构(2 层隐藏层、隐藏维 128)、激活函数(Regulator:ReLU+Tanh;Put:Tanh+Tanh)、批量大小、优化器(Adam)与学习率等超参设置,这些超参直接影响函数逼近能力与收敛速度。,
图 1(page 24)——训练损失与学到的值函数/切换概率:
图 2 与图 3(page 25)——不同 λ 下的训练收敛与策略极限性:
Put option 题目图(page 27)——训练损失与策略分区图:
算法实现、鞅表征与误差分析(Section 5)
风险因子与可疑点(批判性视角)
内部一致性与优点总结
结论性综合(要点回顾)
附:文中关键图表(按原文位置嵌入)
若需我进一步:
2512.04697.pdf