加载中...
本文提出了一种针对非凸分布鲁棒优化(DRO)问题的鲁棒 SGLD 算法,通过对对偶化、网格离散与 Nesterov 平滑处理并结合 SGLD 的非渐近收敛分析,给出了可显式量化的误差分解和非渐近收敛上界,从而能够在任意精度 ε 下输出期望超额风险小于 ε 的估计器;并在一个带对抗扰动的神经网络回归任务上验证了鲁棒 SGLD 相较于 vanilla SGLD 在测试均方误差上的优势 .
| Method | Average Training Time (s) | Iterations to 1% Precision Nes | Time to 1% Precision (s) | Mean Squared Loss |
|---|---|---|---|---|
| Robust SGLD (η2 = 0.01) | 122.73 | NA | NA | 0.005441 |
| Robust SGLD (η2 = 0.1) | 116.54 | NA | NA | 0.004914 |
| Robust SGLD (η2 = 0.5) | 114.80 | 20353 | 93.63 | 0.005000 |
| Robust SGLD (η2 = 1.0) | 114.28 | 4044 | 18.54 | 0.005010 |
| Robust SGLD (η2 = 1.5) | 113.99 | 2795 | 12.99 | 0.004979 |
| Robust SGLD (η2 = 2.0) | 113.85 | 2427 | 10.93 | 0.005031 |
| Vanilla SGLD | 0.45 | NA | NA | 0.005200 |
| Reference | 0.005014 |
元数据与概览
逐节深度解读
图表与数值实验的深入解读(关键图表逐一分析)
图表与文本之间的联系与数据含义
对算法误差分项的定量与限制造成的影响
估值分析(不适用)
风险因素评估(作者识别与本文补充)
批判性视角与细微差别(审慎评价)
结论性综合(要点回顾)
附:关键图表引用(按原文)
若需,我可以:
2403.09532.pdf