本文提出PORTBENCH,面向大语言模型驱动的投资组合管理,构建覆盖六类资产、183项金融工具及2015—2025年市场数据的相关性感知基准。研究将静态金融问答与动态五阶段配置流程结合,并通过双层相关性评分、CEPS跨阶段误差传播指标、压力情景和投资者风险画像评估模型能力。实验显示,模型虽在公式型问答中表现较强,但在信号转化、协方差利用、交易执行和压力风险控制方面明显不足;2024年约90%的模型—风险画像组合未能战胜等权配置,说明金融知识与市场解读尚未转化为稳定、风险感知的组合管理能力。
报告标题:《PORTBENCH: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management》;作者为 Yuxuan Zhao、Sijia Chen、Ningxin Su,分别来自哈尔滨工程大学烟台研究院和香港科技大学(广州),项目主页为 portbench.github.io。 报告主题不是某一家上市公司的投资评级,而是建立一个用于评估大语言模型(LLM)驱动投资组合管理能力的基准体系,重点关注多资产相关性、完整投资决策流程、压力情景适应性以及投资者风险偏好适配。
报告的核心论点可以概括为三点:
报告并非传统意义上的“买入/卖出”研究报告,没有股票评级和目标价,而是对十个前沿LLM进行能力测评。作者最终给出的总体判断是:金融知识理解和市场观点表达并不等同于可靠的资产配置能力,尤其在压力市场和保守型风险约束下,LLM仍表现出明显脆弱性。
PORTBENCH覆盖2015年至2025年,共183个金融工具、六类资产:
数据来源包括Yahoo Finance的价格和收益率、FRED宏观指标以及Kaggle补充加密货币数据。 模型在每个决策时点获得60个交易日的价格和收益数据、宏观指标、新闻或财报文本、当前持仓、NAV,以及动态计算的类内和类间相关矩阵。
图8显示,股票资产数量达到126只,远高于其他类别,说明数据集具有明显的股票覆盖偏重;现金只有4个工具,可能使现金类风险特征被少数代表性工具主导。 这种不均衡一方面提高了股票内部选择的复杂度,另一方面也可能影响“跨资产类别分散”的评分,因为股票和房地产等资产类别内部工具数量远多于现金和债券。
图9展示六类资产的归一化价格轨迹。股票、债券和房地产整体表现出较连续的历史覆盖;加密货币的上市时间不一致,且MATIC、AVAX等小市值币种曾出现超过90%的回撤;商品内部也存在显著差异,天然气和原油的波动率约为黄金的2至3倍。 因此,PORTBENCH并不是简单地把“资产类别数量”当成风险分散,而是试图测试模型能否识别同一类别内部的高相关和高集中风险。
数据预处理方面,短于或等于五个交易日的缺口以前值填充,超过五日的缺口保留为空,并在相关性计算中采用成对完整观测,以避免加密货币不同上市日期降低其他资产对的有效样本量。 市场状态则按照252日滚动最大回撤、50日/200日均线交叉规则划分为牛市、熊市、横盘和危机。
图10和图11是本报告的重要理论基础。作者发现,类内相关性通常显著为正,而类间平均相关性相对较低,因此真正的跨资产配置可以降低组合风险,而在同一资产类别内分散多个高度相关工具,风险降低效果有限。
图11给出的类内平均相关性包括:房地产约0.66、加密货币约0.59、债券约0.52、股票约0.40、现金约0.38、商品约0.30;这说明房地产和加密货币虽然各自内部可能有大量工具,但内部共同波动也很强。 类间矩阵还显示,房地产与股票相关性约0.42,房地产与债券约0.25,而现金与商品约−0.01、现金与股票约0.02,债券与加密货币约0.07,这些结果支持现金、债券等防御资产在某些场景下提供对冲的设计逻辑。
不过,图11的相关性是基于2015—2022年训练期的全样本Pearson相关系数,并且矩阵被冻结,不在验证集或测试集重新估计。 这有利于避免未来信息泄漏,但也意味着它未必能充分反映危机期间相关性急剧上升的现象。作者也承认压力窗口中跨资产相关性高于平静市场基线,这说明使用静态训练相关矩阵可能低估实时危机中的共跌风险。
静态层包括七种任务模板、四个复杂度等级。T1—T3属于单资产预测、风险估计和仓位 sizing;T4是双资产最小方差配置;T5和T6分别是多资产最大夏普优化和再平衡;T7则是市场状态识别及六类资产的配置调整。
理论上,数据集包含6,269个问答对,T1—T5各1,000个,T6有778个,T7有491个。 但图1中曾标注静态QA为5,464个问答对,这与正文和附录的6,269个不一致,是报告内部一个需要特别注意的数据口径矛盾。 如果5,464是某个子集,报告应明确说明其与总数据集的关系,否则会影响读者对样本规模的判断。
图12显示,绝大多数问题来自横盘市场,所有模板的横盘样本比例超过65%;T7则人为提高牛市样本至29%,以确保其包含更多非横盘状态。 这意味着QA测试并非均匀覆盖各市场状态,模型在危机或熊市判断上的表现不能简单外推为总体金融推理能力。
图13展示训练、验证和测试切分。T1—T5各有1,000个样本,T6为778个,T7为491个;T7没有训练划分,因为其自适应配置标签保留到验证和测试阶段。 图14则说明上下文复杂度随任务等级提高:T1—T3约71%—75%的样本包含新闻或财报,T5—T7达到100%,总体85.3%的样本有文本信息,平均上下文长度为3,997字符,T7平均约7,388字符。
动态层按月度决策日顺序执行:
该设计的重要价值在于,它不只问模型“市场会涨还是跌”,而是继续追踪观点是否转成交易信号、信号是否转成合理权重、权重是否真正被执行,以及最终组合是否满足风险约束。
CEPS,即跨阶段误差传播分数,是报告的核心创新之一。设五个阶段的标准化得分为σ₁至σ₅,先计算平均分,再对相邻阶段出现的分数下降施加惩罚:
[ CEPS=clip\left(\bar{\sigma}-\lambda\sum_{t=1}^{4}\max(\sigma_t-\sigma_{t+1},0),0,1\right) ]
其中λ=0.1。 这种设计意味着两个模型即使平均阶段得分相同,若一个模型在S1到S2或S3到S4出现断崖式下降,其CEPS会更低。它强调的是“能力能否持续传递”,而不仅是各阶段孤立得分。
S3还采用双层相关性评分。权重准确性与相关性意识各占50%,相关性部分包括:
该方法解决了一个现实问题:模型可能在权重数值上接近目标,但把资金集中在一组高度相关的股票或加密货币上,形成“虚假分散”。报告明确指出,大量资产只要都属于同一高相关类别,资产数量增加并不代表风险真正降低。
静态QA结果呈现明显的“公式任务强、判断任务弱”特征。T3固定比例仓位计算中,十个模型有八个准确率超过0.94;T4双资产最小方差任务中,六个模型达到1.00,所有模型均达到0.95以上。 相比之下,T1收益方向预测没有任何模型超过0.520,T6再平衡交易任务的准确率在0.468至0.882之间,差异很大。
附录进一步将T4、T5归为公式型任务,将T1、T2、T6、T7归为判断型任务,公式型平均得分0.863,判断型平均得分0.652,差距达到0.211。 这说明模型在输入完整统计量后可以完成计算,但在需要从噪声历史数据、新闻和宏观状态中作出判断时,可靠性明显下降。
协方差消融实验尤其具有解释力。只有两个DeepSeek模型在移除协方差矩阵后准确率下降,其中DS-V4-Pro下降0.332;其余八个模型反而在没有矩阵时表现更好。Kimi-K2.6的T5准确率从0.280升至0.710,增幅0.430,说明复杂矩阵格式可能造成解析障碍,而不是提高了真正的优化能力。
静态QA与动态管线的排名也明显脱钩。虽然部分模型平均QA得分可达0.819,但平衡型CEPS仅为0.329—0.495;GLM-5.1在QA排名第七,却在CEPS中排名第一,DeepSeek-V4-Flash QA排名第一,却在CEPS中排名第九,Spearman相关系数只有0.47。 这支持作者的判断:静态QA主要衡量孤立的知识或公式调用,CEPS则衡量多步骤决策的持续性和因果传递能力。
报告指出S1几乎接近饱和,S2明显下降,S4是最弱阶段。 这一结果意味着模型通常能够表达市场观点,却无法将观点转化为与Oracle相近的实际交易。
图6把S2信号生成得分与S4执行得分进行对比。HY3-Preview和Qwen3.6-Plus的S2得分较高,但S4接近底部;GLM-5.1则同时拥有较好的信号和最高执行得分。
作者将其归因于普遍的“低交易”行为:平衡型画像下所有模型的平均换手率仅为10.9%,三个画像下均低于50%。Oracle通常把资金集中到6—12个资产,最大权重约0.25—0.84,而模型往往把资金分散到很多股票,每个资产的最大权重通常低于0.05,因此模型与初始等权组合之间的权重差异很小,隐含换手率也就很低。
这一结论解释了为什么模型可能在S1和S2表现尚可,却在S4崩溃:模型不是完全没有观点,而是没有能力利用协方差矩阵识别“哪些集中配置值得承担”,最终退回到近似等权组合。Qwen3.6-Plus的管线样例中,模型观点合理,却因接近均匀的权重导致S4灾难性下降;HY3-Preview虽然产生很多订单,但权重变化很小,换手率约4%。
报告使用六个传统基准:等权、60/40、Risk Parity、Covariance Risk Parity、最小方差和Black–Litterman。 其中等权是最重要的比较对象,因为它代表一种不依赖复杂参数估计的朴素分散化策略。
2024年牛市中,只有10%的模型—画像组合击败等权;四个市场窗口合计只有39/120,即32.5%的组合击败等权。 2020年因市场先暴跌后反弹,击败率达到77%,平均超额夏普约0.72;2015—2016年为43%;2024年为10%;2022年为0%。
图4显示,LLM在急剧下跌后快速反弹的市场中更容易受益,因为积极的风险资产倾向可能捕捉反弹;但在2022年持续熊市中,主动偏离等权反而造成损失。2024年多数资产共同上涨,等权本身已接近有效配置,因此主动策略很难持续创造超额夏普。
作者还指出,S3高分不一定带来高收益。GLM-5.1的平衡型CEPS最高,但夏普仅0.549,低于等权组合。 这揭示了CEPS的定位:它衡量流程质量和接近Oracle的程度,不是直接预测最终投资回报。
三个压力窗口分别是2015年中国冲击、2020年新冠暴跌、2022年加密货币崩盘。 压力门槛要求模型在三个场景中的最大回撤都满足对应投资者画像的容忍度。保守画像下,70%的模型未能通过压力门槛,而平衡和激进画像下全部模型通过。
图3显示,失败主要集中在2022年加密货币崩盘。即使模型满足显性的资产配置上限,小额风险资产暴露也可能在极端抛售中放大为两位数回撤。 CovRiskPar和MinVar等协方差感知基准在压力期显著稳健,但在正常期的夏普接近零甚至为负,体现了风险控制和收益追求之间的明确权衡。
图5进一步追踪2022年保守型组合NAV。Terra/LUNA事件开启下跌,3AC/Celsius事件后LLM与传统防御型基准出现最大分化;Jackson Hole冲击使双方都受损;FTX事件时,LLM已经落后于防御型基准约7个NAV点。 这一轨迹说明,LLM的主要失败不是在最后一次冲击中突然发生,而是在早期未能及时削减增长型和加密资产暴露,随后风险在连续冲击中不断累积。
PORTBENCH设置保守、平衡和激进三类投资者画像,并用PAS衡量约束满足度,用AdaptScore衡量不同画像之间PAS的标准差。
图7表明,多数模型默认采取激进风格。九个模型的激进型PAS明显高于保守型,平均激进PAS约0.90,而保守型仅约0.72。 Qwen3.7-Max是较好的适配案例,保守型PAS为0.964、AdaptScore仅0.028,说明它能在不同风险约束下调整行为;DeepSeek-V4-Flash和Pro则表现为各画像PAS都偏低,属于“均匀失败”。Qwen3.6-Plus的AdaptScore达到0.161,激进型几乎完美,但保守型明显崩溃。
因此,低AdaptScore并不自动代表模型优秀,因为它可能来自所有画像都做得差;必须同时观察PAS绝对水平。该设计是报告较为严谨的地方。
历史回测可能存在预训练污染:模型可能在预训练中见过历史价格、新闻和市场结果。 PORTBENCH因此支持实时评估,在决策时只向模型提供此前收盘时已经可获得的信息,并将未来收益仅用于事后评分。
作者在2026年7月16日至31日进行了12个交易日的日度实时测试,覆盖六个模型和平衡画像。 实时结果与2024年月度结果不同:Kimi-K2.6在实时窗口平均CEPS约0.461,排名领先;HY3-Preview从月度的约0.384下降至约0.302;GLM-5.1仍位居前列但不再明显统治。
图22显示实时阶段中S1约0.78—0.82,S3接近0.99,但S4只有0.05—0.16,S5差异显著,HY3-Preview的平均S5为0。 这再次证明实时环境没有改变核心瓶颈:市场解释相对稳定,但交易执行和风险监控不足。
本报告没有传统DCF、P/E或目标价估值,而是采用组合理论和流程评分:
作者还将滚动Oracle与事后最优Oracle进行比较,两者CEPS排名Spearman相关系数为0.55,GLM-5.1在两种Oracle下均排名第一,但部分模型排名变化较大。 这说明评价结果对Oracle定义具有一定敏感性。进一步地,CEPS参数λ变化下模型排名的平均Kendall相关系数为0.72,表明整体排序相对稳定,但并非完全不受参数影响。
尤其需要注意,CEPS与2024年最大回撤的相关性较高,但与夏普的相关性只有0.30—0.40,且更高CEPS有时对应更大的实际回撤。 因此CEPS不应被解释为“越高越安全”或“越高越赚钱”,而应被理解为“流程执行质量和接近历史Oracle程度更高”。
报告的主要局限包括:
此外,报告存在若干内部表述需要核对:摘要和正文多数地方使用6,269个QA对,但图1显示5,464个;正文称“90%的模型—画像案例在2024年未击败等权”,而跨四个时期的总击败率为32.5%,两者分别对应不同时间范围,报告虽然基本能够解释,但应更明确地区分“2024年单期”和“四期合计”。
PORTBENCH的最重要贡献不是证明某个LLM优于其他模型,而是重新定义了投资组合管理评估的对象:一个真正的PM系统必须同时处理资产间相关性、顺序决策、交易可执行性、压力回撤和投资者风险偏好。
从所有表格和图表看,当前LLM具有以下能力画像:
最终,报告的总体判断是:当前前沿LLM已经具备金融信息处理和局部推理能力,但尚未具备稳定、可执行、风险敏感的完整投资组合管理能力。简单的等权策略仍然是强有力的基准,且在2022年等持续熊市中没有任何模型—画像组合击败它。 因此,PORTBENCH更适合作为识别LLM投资系统失效模式的研究工具,而不应被理解为真实交易系统的认证或投资建议;作者也明确警告,在缺乏严格人工监督前,不应直接部署LLM生成的资产配置方案。
2605.27887.pdf