本文提出用于离散选择模型辅助设定的多任务强化学习框架 Delphos,通过 DeepSet-Q 网络将效用函数表示为建模项集合,并结合数据集特定上下文学习可迁移的建模决策。基于九个训练数据集的实验表明,多任务智能体相较独立训练的单任务智能体具有更高奖励、更高样本效率和更高成功估计比例;在 Swissmetro 与 Decisions 两个未见数据集上,无需进一步训练即可在20分钟内生成具有竞争力且具行为合理性的模型。
我将基于所给页面逐页解构,并特别核对图表、实验对照、数值口径及文中可能存在的表述不一致;对于原文未展示具体数值的表格,我会明确标注信息边界,不臆造内容。# 一、报告元数据与总体概览
报告标题为《Multitask Reinforcement Learning for Assisting Choice Model Specification》,中文可译为《用于辅助选择模型设定的多任务强化学习》。作者为 Gabriel Nova、Stephane Hess 和 Sander van Cranenburgh,分别来自荷兰代尔夫特理工大学 CityAI Lab、Transport and Logistics Group,以及英国利兹大学 Institute for Transport Studies and Choice Modelling Centre。
报告讨论的并非上市公司、证券或具体产业的投资价值,而是交通领域离散选择模型设定的自动化与智能辅助方法,核心对象是名为 Delphos 的多任务强化学习框架。 原文未明确列出正式发布日期、期刊名称、股票评级或目标价,因此不存在传统券商报告中的“买入/持有/卖出”结论及估值目标。
报告的核心观点是:离散选择模型设定通常依赖大量人工试错,研究者需要不断尝试变量、函数形式、参数结构和交互项,并在拟合优度、模型简洁性以及行为合理性之间进行权衡;Delphos 将这一过程转化为强化学习中的连续决策问题,使一个智能体能够从多个交通选择数据集中学习可迁移的模型设定策略。 该框架在九个数据集上进行训练,并在未参与训练的 Swissmetro 和 Decisions 数据集上直接推断,结果显示,多任务智能体通常比分别训练的单任务智能体学习更快、奖励更高、成功收敛的模型比例更高,并且能够在标准 CPU 上不到20分钟内提出具有竞争力的候选模型。,
作者试图传达的主要信息不是“机器可以完全取代模型专家”,而是 Delphos 可以作为一种智能助手,减少人工试错和计算搜索成本,同时将模型解释、诊断、行为判断和最终选择权保留给建模者。,
离散选择模型是用于解释个人如何在多个备选方案中作出选择的计量经济学框架,可用于需求预测、政策评估以及偏好分析。 通过估计不同属性对选择概率的影响,模型可以进一步推导边际效用、弹性、支付意愿以及旅行时间价值等行为指标。
但是,这些行为结论高度依赖效用函数的设定方式。建模者需要决定哪些解释变量进入模型、变量采用线性还是非线性形式、参数是所有备选方案共用还是具有替代方案特异性,以及是否加入收入、性别等社会人口变量交互项。 因此,模型设定不是简单地“把所有变量放进去”,而是在统计拟合、模型复杂度和行为理论之间进行迭代权衡。
报告将当前实践概括为一种耗时的试错过程:研究者先提出候选模型,运行估计,检查收敛、拟合优度、参数显著性与符号,再根据结果修改模型并重复这一过程。 该过程的困难在于,模型空间往往呈组合式扩张,变量、变换、参数结构和交互项的不同组合可能产生大量候选规格。
作者将现有辅助设定方法分为两类。第一类是元启发式方法,即把模型设定看作组合搜索问题,通过预定义的搜索算子从已有模型生成新模型,并根据拟合优度和简约性保留较有希望的规格。 这类方法可以提高搜索效率,也有研究加入行为约束和基于语法的表示方式,以减少出现明显不合理模型的可能性。
但元启发式方法的主要弱点是依赖预先规定的搜索规则,而且一次搜索结束后,之前的数据集和模型搜索经验通常不会被系统性保留。 换言之,元启发式算法可能在单个问题上搜索得很有效,却不一定能够把“哪些建模决策在类似问题上有效”提炼出来并用于下一项任务。
第二类是机器学习方法,包括利用大型语言模型生成效用函数,以及利用强化学习在估计环境中学习模型设定策略。 这类方法能够保留一定的历史经验,但现有方法往往以数据集特定的变量表示模型,因此当新数据集拥有不同的变量名称、属性集合或社会人口变量时,过去的经验不容易直接迁移。
作者认为,人类建模者实际上具有跨数据集迁移经验的能力,例如通常预期旅行成本和旅行时间具有负的边际效用,收入变量可以用于解释成本敏感度异质性,总旅行时间、车内旅行时间和车外旅行时间可能是同一行为概念的不同测量方式。 Delphos 的设计目标正是把这种可迁移的建模经验编码为与具体变量标签相对独立的表示形式。
Delphos 将一次模型设定过程表示为马尔可夫决策过程,即智能体观察当前模型状态、采取建模动作、获得环境反馈,然后进入下一个状态。, 马尔可夫决策过程通常由状态空间、动作空间、状态转移函数、奖励函数和折扣因子构成,其中折扣因子用于权衡即时奖励与未来奖励。
在每个回合开始时,Delphos 从一个基础线性加和效用函数出发,初始模型包含可用属性的线性项、一般系数,并且不含协变量交互。 随后,智能体可以不断增加或修改建模项,直到选择终止动作,环境再将最终规格交给 Apollo 软件进行估计。,
该设定把“设计一个模型”拆解为一连串局部决策。例如,智能体可以先增加一个 headway,即班次间隔变量,再把旅行时间从对数形式改为 Box–Cox 形式。, 这种顺序化表示允许强化学习算法评估一系列建模动作的长期后果,而不是只判断某个孤立变量是否有用。
报告没有把整个效用函数简单压缩为固定长度的变量向量,而是将其表示为建模项的集合。 每个建模项包括四类信息:属性、变量变换、参数的味结构以及协变量交互。
例如,一个建模项可以表示“旅行时间采用对数变换,并且拥有替代方案特异性参数”;另一个建模项可以表示“旅行成本采用线性形式,参数在不同性别群体之间通过协变量交互发生变化”。 未被纳入当前规格的属性则通过空的变换、味结构和交互项编码。
这种表示的关键价值在于,它关注的是建模决策本身,而不是变量的字面名称。 因此,来自不同数据集的“旅行时间”“车内时间”或“总旅行时间”等变量,理论上可以被映射到相近的行为概念表示中,从而支持跨数据集学习。
Delphos 的动作主要有三类:增加新的建模项、修改已有建模项,以及终止模型设定并触发估计。 修改动作可以改变变量变换、参数味结构或协变量交互,例如将旅行时间的对数变换替换为 Box–Cox 变换。
为了避免无效搜索,系统会动态限制可选动作。 智能体不能选择数据集中不存在的变量,不能立即撤销此前的修改,也不能重复选择本回合已经执行过的动作。 这种 action masking 机制的作用是减少明显冗余或不可行的轨迹,使计算资源更多用于有意义的规格探索。
模型估计完成后,环境根据拟合优度、收敛状态和行为预期计算奖励。, 报告的核心奖励是相对于空模型的每个观测值对数似然改善,并通过样本量归一化,使不同数据集之间的奖励更具可比性。
使用每个观测值而不是总对数似然,是因为不同数据集的样本量不同,直接比较总对数似然会使大样本数据集产生更大的绝对改善。 奖励进一步经过双曲正切函数压缩到有限区间,以提高数值稳定性。 如果模型未能收敛,则给予固定惩罚,原文表述为“−1”。
当前奖励函数主要依赖拟合优度和收敛性,但框架理论上还可以加入行为约束,例如惩罚旅行时间或旅行成本系数出现不合理的正号、惩罚统计不显著参数,或者对其他估计问题设置额外成本。 这意味着 Delphos 当前在很大程度上优化的是“能否成功估计以及拟合得多好”,而不是已经完整优化了交通经济学意义上的行为可信度。,
强化学习通过探索与利用的平衡学习策略:探索用于发现新的建模动作,利用则选择当前估计回报较高的动作。 Q学习中的 (Q(s,a)) 表示在状态 (s) 下采取动作 (a) 后能够获得的预期累计奖励,智能体通常选择可行动作中 Q 值最高者。
由于模型规格的状态空间非常庞大,无法为每个状态—动作组合单独保存价值,因此 Delphos 使用深度神经网络近似 Q 函数。 网络同时维护策略网络和目标网络,目标网络定期从策略网络更新,用于生成相对稳定的学习目标。,
传统的固定向量表示难以处理不同数据集之间建模项数量不同、变量集合不同的问题。 因此,报告使用 DeepSet-Q 架构,将效用函数表示为无序建模项集合,每个建模项先通过共享网络进行嵌入,再通过具有排列不变性的池化操作聚合为固定长度的潜在表示。,
“排列不变”意味着建模项在集合中的排列顺序不会改变模型表示;“可变数量”则意味着不同数据集可以包含不同数量的建模项,仍然被映射到同一潜在空间。, 这与效用函数中各项通常没有天然排序的特点相匹配,也使跨数据集共享参数成为可能。
但是,仅有统一的规格表示还不够,因为智能体还必须知道当前数据集有哪些变量和建模组件可用。 因此,Delphos 额外加入任务特定的上下文向量,编码当前目录中可用的属性、变换、味结构和协变量,再将其与规格嵌入共同输入 Q 网络。
图1展示了 Delphos 的完整闭环:训练阶段从多个数据集获取经验,DeepSet 编码器处理当前规格,Q 网络选择动作,Apollo 估计模型,随后把状态、动作、奖励和下一状态存入经验回放缓冲区。 经验缓冲区再被用于更新网络,使智能体逐渐形成更有效的建模策略。
图中右侧的 inference 区域表示推断阶段,即把已经训练好的智能体直接应用于新数据集,输入新的数据集后输出候选模型规格。 该图最重要的信息是,Delphos 并非单纯的预测模型,而是一个“提出规格—估计模型—获得反馈—继续学习”的迭代系统。,
图2显示多个建模项分别经过共享的 (\phi) 网络,再通过聚合函数 (\rho) 汇总为规格的潜在表示,最后与任务上下文向量共同输入 Q 网络并输出各动作的价值。, 共享 (\phi) 网络意味着不同建模项使用相同的特征提取机制,这有助于识别跨数据集重复出现的建模模式。
图2也体现了报告方法的核心假设:建模经验可以被拆分成“当前规格是什么”和“当前任务允许什么”两部分。 如果不同数据集虽然变量名称不同,但存在相似行为概念,这种分离式表示便可能帮助智能体迁移过去的经验。,
Delphos 在每个回合随机抽取一个训练数据集,智能体持续采取动作直到终止,随后把交互记录存入所有任务共享的经验回放池。 训练时使用平衡的小批量抽样,使不同数据集对网络参数更新的贡献大致相近,从而避免规格轨迹较长的数据集支配训练。
探索策略采用逐步降低的 ε-greedy 机制,训练早期更多尝试新动作,后期更多执行已知的高价值动作。 这符合强化学习从探索逐渐转向利用的基本逻辑。,
训练评价指标包括平均奖励、最高奖励和学习曲线下面积,分别用于衡量平均规格质量、找到的最佳规格质量以及整体学习效率。 收敛率表示成功估计的规格占全部估计规格的比例,新规格比例则用于描述探索的广度。 在推断阶段,作者还使用 Pareto 前沿分析模型拟合度与复杂度之间的权衡。
Pareto 前沿上的模型并非在所有指标上都同时优于其他模型,而是不存在另一个模型能够在拟合度和复杂度两个维度上都不差且至少一个维度更优。, 因此,Pareto 前沿向建模者提供的是一组折中方案,而不是强行给出唯一模型。
报告使用九个交通选择数据集进行训练,并保留 Decisions 和 Swissmetro 两个数据集用于未见数据集推断。, 这些数据集在选择场景、备选方案、可用属性、社会人口变量和样本量方面存在差异,但共享旅行时间、旅行成本等部分行为概念。
原文提供了“表1:用于多任务训练和推断的选择建模任务”,但当前给出的文字材料没有展开表1的具体行列数值,因此无法准确逐一复述每个数据集的样本量、备选方案数量和变量清单。 可以确认的是,表1的用途是说明九个训练任务与两个推断任务之间的划分,以及不同数据集规格目录的异质性。,
作者将多任务 DeepSet-Q 与此前的单任务 DQN 进行比较,所有智能体均训练10,000个回合,多任务智能体在九个训练数据集上联合训练,而单任务智能体分别在各自数据集上独立训练。 这种实验设计直接检验了报告的核心假设,即共享跨任务经验是否优于每个数据集从零开始独立学习。
图3分别展示 ApolloModeChoice、SwissmetroRouteChoice、NLMChoice、NorwayVTT、Arentze2013、SpainParkingChoice、LondonModeChoice、Optima 和 VanCranenburghVOT 九个数据集上的奖励随训练回合变化情况。 蓝线代表多任务 DeepSet-Q,红线代表单任务 DQN。
总体趋势是,除个别数据集差异较小外,多任务曲线通常上升更快,并在训练后期达到更高奖励水平。 这说明共享经验不仅可能改善最终找到的规格,也可能减少早期无效试错。
LondonModeChoice、SpainParkingChoice 和 ApolloModeChoice 的多任务收益相对明显,而 NorwayVTT 和 VanCranenburghVOT 的差异较小。 作者将其解释为规格空间大小不同:变量更多、协变量交互更多的数据集具有更复杂的动作空间,因此更容易从相关数据集的经验中受益。
NorwayVTT 和 VanCranenburghVOT 只有旅行时间与旅行成本两个属性,潜在模型空间较小,独立智能体本身就比较容易搜索,因此跨任务经验的边际价值相对有限。 这是一项重要的细节,因为它表明多任务学习的优势并非对所有问题都同样大,而可能取决于任务复杂度和任务之间的相关性。
表2汇总了九个训练数据集上的单任务 DQN 与多任务 DeepSet-Q 表现,涉及平均奖励、最高奖励、学习曲线下面积、探索比例和收敛相关指标。, 虽然当前材料没有显示表2的具体数值,但正文明确指出,多任务智能体通常获得更高的平均奖励、最高奖励和曲线下面积,VanCranenburghVOT 是主要例外之一。
更大的曲线下面积意味着智能体在训练过程中更早达到较高质量的模型,而不只是最终回合的表现更好。 同时,多任务智能体探索的新规格比例略低,却在几乎所有数据集上产生更高比例的成功估计模型。,
这一结果的解释是,多任务经验使搜索变得更有针对性:智能体不需要尝试大量随机或明显不成功的规格,就能集中探索具有较高成功估计概率的建模路径。 因此,作者认为多任务学习提高的是样本效率,而不只是扩大探索范围。
在未参与训练的 Swissmetro 数据集上,Delphos 在20分钟的计算预算内提出283个候选模型。 其中成功收敛的候选模型被绘制在图4中,并形成包含13个非支配规格的 Pareto 前沿。
图4横轴为估计参数数量,纵轴标注为负对数似然,灰点代表所有收敛候选模型,黑色星号代表 Pareto 前沿,蓝色圆圈代表 AIC 最优模型,绿色圆圈代表对数似然最优模型。 图中总体呈现出一种复杂度—拟合度权衡:参数越多,通常可以获得更好的拟合,但复杂度也随之上升,因此真正具有比较价值的是星号标记的非支配模型。
从视觉上看,候选规格分布较为分散,少数低参数模型位于较高的负对数似然区域,而参数数量增加后,负对数似然总体下降并趋于改善,但并非每一次增加参数都带来同样幅度的改进。 这支持作者使用 Pareto 前沿而不是单纯选择参数最多模型的做法。,
正文称,Delphos 最优规格的“每观测值对数似然”为0.681,优于线性基准模型的−1.029,也优于 VNS 辅助设定方法报告的−0.72。 但是,这里存在需要谨慎处理的符号问题:传统对数似然通常为非正数,而图4纵轴又明确标为“Neg. log-likelihood”,因此正文中的“0.681”可能存在负号遗漏或指标口径混用。, 在不查看原始表格和代码的情况下,不能把该数值直接当作与−1.029和−0.72完全同口径的正向对比,但作者的意图显然是认为 Delphos 的拟合表现优于两个基准。
表3题为“Delphos 在 Swissmetro 上识别出的最佳规格”,原文说明该模型包含各备选方案特定常数、相关属性、通用参数或替代方案特定参数、非线性变换以及具有行为含义的协变量交互。, 当前材料没有显示表3的逐项参数、标准误、显著性和完整系数,因此不能进一步判断每个参数的符号、统计显著性或具体交互效应。
在 Decisions 数据集上,作者使用相同的多任务智能体和20分钟预算,没有进行进一步训练。 图5显示了所有收敛候选模型、非支配 Pareto 前沿以及 AIC 和对数似然最优模型。
图5同样体现了模型复杂度增加与拟合改进之间的权衡,黑色星号构成从低复杂度到高复杂度的非支配候选集合。 这意味着 Delphos 并不是只输出一个模型,而是为建模者提供多个复杂度—拟合度组合,以便结合行为合理性、参数显著性和研究目的进一步筛选。,
作者称,AIC 最优规格的每观测值对数似然为−0.37,优于线性加和模型的−0.46,并且与专家建模者发表的 MNL 规格所报告的0.36相当。 这里同样存在符号或绝对值表述不一致:−0.37 与“0.36 相当”可能意味着原文比较的是对数似然绝对值、负对数似然,或专家模型数值中的负号在转录时遗漏。 因此,可靠的结论应限定为:作者认为 Delphos 的 Decisions 结果与专家模型具有可比竞争力,而具体数值的正负号需要回到原始表4或估计输出核验。
表4题为“Delphos 在 Decisions 上识别出的最佳规格”,正文指出该规格包含替代方案特定常数、非线性变换以及与社会人口变量的交互项。, 由于当前提供的表4仅有标题而无具体表格内容,无法核实每个变量的系数、显著性、AIC、参数数量及模型收敛细节。
这篇报告不是证券研究报告,因此没有 DCF、P/E、EV/EBITDA、目标价或企业价值估值部分。 其“评价”主要是模型层面的拟合优度、AIC、参数数量、收敛性和行为合理性,而不是金融资产估值。,
AIC 是一种同时考虑拟合优度与参数数量的模型选择指标,通常会对参数过多的模型施加惩罚,因此 AIC 最优模型不一定是对数似然最高的模型。, Pareto 前沿则进一步把模型表现和复杂度作为两个同时需要考量的维度,使建模者可以观察“增加多少参数换来多少拟合改善”。,
表5列出了 DeepSet-Q 使用的超参数配置,但当前文本只显示表名,没有给出具体学习率、网络层数、批量大小、折扣因子、探索率或目标网络更新频率。 因此,外部研究者无法仅依据当前材料完整复现实验,也无法评估结果对超参数选择的敏感性。
作者明确承认模型只在九个数据集上训练、两个未见数据集上评估。 这对于证明“可以迁移”是有帮助的,但尚不足以证明该策略可以普遍适用于所有交通选择问题,更不能保证对其他行业、其他样本结构或更复杂模型同样有效。
当前奖励主要基于对数似然改善和收敛情况,行为约束仍属于可扩展内容,而非实验中的完整核心机制。, 如果模型过度追求样本内拟合,可能选择参数很多、行为解释较弱或存在过拟合风险的规格。 报告提出可以加入参数符号、显著性和估计问题惩罚,但没有在当前实验中展示这些扩展的系统效果。
推断阶段采用固定策略,不在新数据集上继续训练或适应。 这提高了部署速度和方法的可操作性,但也意味着模型只能依赖训练阶段形成的经验,不能根据新数据集的估计反馈进行充分调整。 作者未来计划研究 few-shot adaptation,即只使用少量额外回合将共享策略专门化到新数据集。
多任务学习只有在训练任务之间存在可迁移结构时才更可能有效。, 如果新数据集的行为机制、变量含义或选择情境与训练集差异很大,统一策略可能迁移错误的建模偏好。, 作者也指出,未来需要使用数据集统计特征和行为特征,而不仅是可用目录组件来描述任务上下文。
表1、表2、表3、表4和表5在当前提供内容中没有显示完整数值,因此读者无法直接核对所有样本量、性能指标、系数和超参数。, , , , 此外,Swissmetro 和 Decisions 的对数似然正负号表述存在潜在不一致,可能影响跨方法比较的准确解读。,
报告最有说服力的地方在于实验设计直接对应研究问题:多任务智能体与单任务智能体比较,用于检验跨数据集经验共享;Swissmetro 和 Decisions 被留作未见任务,用于检验真正的迁移能力。 训练结果、图3曲线以及正文对收敛率和新规格比例的描述共同表明,多任务学习并非仅仅增加搜索次数,而是可能提高了搜索方向的质量。,
不过,报告的结论仍应被理解为“方法具有潜力”,而不是“已经证明可以替代专家”。模型拟合优度和成功收敛并不自动等同于行为正确,作者也承认奖励函数未来需要纳入更明确的行为约束。, 同样,专家模型和 Delphos 模型之间的比较涉及不同数据集、不同研究背景和可能不同的指标口径,不能简单解释为机器模型全面优于专家模型。
还有一个重要细节是,作者强调模型能够提出行为上有意义的规格,但当前正文对这种“行为合理性”的验证主要是定性描述,例如使用替代方案特定常数、非线性变换和社会人口交互,而没有在给出的材料中完整呈现参数符号、显著性检验或经济意义检验。, 因此,最终模型仍然需要由建模者进行诊断、解释和验证,而不能仅依据 Pareto 前沿位置或对数似然进行自动选定。,
总体而言,报告提出了一个将离散选择模型设定过程智能化的多任务强化学习框架。Delphos 从基础效用函数出发,通过增加、修改和终止等动作逐步构建模型,并利用 Apollo 估计结果获得奖励反馈。, ,
方法上的关键创新是 DeepSet-Q 表示:将模型规格看作建模项集合,通过共享编码器提取跨数据集可迁移的结构,再结合当前数据集的任务上下文选择可行动作。, 图1说明了训练与推断的闭环,图2说明了共享规格表示和任务特定上下文如何共同产生动作价值。,
实验证据显示,多任务智能体在多数训练数据集上比独立训练的单任务 DQN 更快达到较高奖励,通常获得更高的平均奖励、最大奖励和学习曲线下面积,同时以较低的新规格探索比例取得更高的成功估计比例。, 图3尤其显示,在 ApolloModeChoice、SpainParkingChoice 和 LondonModeChoice 等更复杂数据集上,多任务学习优势更加明显,而在变量较少的 NorwayVTT 与 VanCranenburghVOT 上优势较弱。
在未见任务上,Delphos 能够在 Swissmetro 的20分钟预算内提出283个候选模型并形成13个非支配规格,在 Decisions 上也能在相同预算下提出具有竞争力的候选集合。, 图4和图5表明,模型搜索结果不是单一最优点,而是覆盖了不同参数数量和拟合水平的 Pareto 前沿,为建模者在简约性和拟合度之间作选择提供了依据。,
作者的总体立场是积极但并非完全自动化:Delphos 可以降低人工试错的认知和计算负担,帮助建模者快速发现有希望的效用函数,但最终的行为解释、模型诊断、精细修改和选择仍由人类建模者负责。, 报告最合理的结论是,跨数据集积累和复用建模经验具有明显潜力,但其普适性、行为约束、数值口径和新任务适应能力仍需要更大规模、更严格和更透明的后续验证。,
2609.18441.pdf