本报告探讨了ChatGPT在金融文本情绪分析中的应用,通过对分析师研报标题情绪打分,验证了ChatGPT在情绪评分的连续性、准确性和对上下文语义的理解上的优势,优于传统模型如BERT。基于ChatGPT评分构建的“GPT超预期”样本池表现出更优的收益预测能力和因子增量,尤其在盈余跳空因子JOR中表现显著。同时,构建的GPT评分另类因子在中证500指数域显示较强选股能力,年化超额收益达9.3%,具备实际应用潜力
ChatGPT简介
介绍了基于GPT-3.5架构的ChatGPT模型,其训练流程包括监督学习、奖励模型训练和PPO强化学习三步,确保其生成文本更贴近人类语言表达。使用Transformer架构和大规模真实数据训练,具备强大的自然语言理解能力[图表1]。
在金融领域的适用性
虽然ChatGPT有显著的文本理解和情绪分析优势,但未针对金融领域做专门训练,本文尝试在分析师研报标题这个特定金融文本场景应用ChatGPT进行情绪评分,验证其实用价值。
技术实现细节
使用gpt-3.5-turbo模型,通过Python API调用,设计了“系统提示”明确评分标准,控制回复的随机性(temperature=0.5确保回答稳定且合理),通过批量请求方式(每次请求15-20条标题)以控制成本和API调用效率[图表2-9]。
评分体系创新
采用1-10连续评分体系替代传统的三分类(正、负、中性)。这一设计反映分析师研报标题多数偏中性或略乐观的写作风格,能更细腻区分积极程度差异。
ChatGPT评分合理性与连续性
具体示例展示ChatGPT对不同标题打分准确,评分与标题中情感词汇和语义深度高度匹配,且评分在同一主题下具有递增性和逻辑性(图表10-11)。
BERT模型存在的不足
BERT虽然采用双向Transformer结构,理论上适合文本情感分析,但其受限于英文训练语料,中文翻译存在信息损失,且只能输出离散标签,不能细化积极度;在分析师研报标题场景下,BERT出现误判和置信度不合理的情况(图表12-13),无论是英文或中文微调版均未显著改善。
结论
ChatGPT对金融研报标题的情感识别更加准确、细腻且具有高度一致性,优于BERT等传统NLP模型。
样本选择
聚焦分析师在上市公司盈余公告后5个交易日内发表的点评标题,样本时间跨度2016年至2023年,共约25万份样本(图表14-15),4、8、10月为盈余公告密集期,对应点评数量显著集中。
“文本超预期”的定义
通过关键词法筛选含有“超预期”等句式的标题,排除表述未来预期的屏蔽词,选出传统意义上的“超预期”文本样本,共约2万份,呈逐年增长趋势(图表16-17)。
“GPT超预期”定义
直接以GPT评分≥9分定义“GPT超预期”样本。有趣的是,部分“GPT超预期”样本标题中未出现“超预期”等关键词,但通过GPT对积极信号(如业绩翻番、创新高、盈利上调等)敏锐识别被纳入(图表21)。
GPT能区分“超预期”主体,对同含“超预期”文本,GPT可甄别评述的非业绩主体(如成本、价格等负面内容)并给予较低评分,实现更精准的情绪主体判别(图表18-19)。
样本比较与覆盖度
GPT超预期样本约3万份,规模高于文本超预期样本,二者重合率约67%,覆盖范围更广(图表22-23)。
超预期样本池表现
采用等权组合,剔除ST、IPO不满3个月及市值小盘股,月度调仓,测算2017-2023年收益。GPT超预期样本池年化收益8.0%,文本超预期7.8%,GPT方案的调仓胜率、信息比率和最大回撤表现均优于文本方案(图表24-26)。
JOR跳空因子定义与计算
基于股价盈余公告跳空表现(次日最低价与公告日前收盘价差值剔除市场基准),构建JOR因子。区分整体市场JOR、文本超预期JOR及GPT超预期JOR,时间窗口采用40日和60日两种(图表27-30)。
JOR因子测试
GPT超预期样本空间的JOR因子在IC及收益表现上均优于文本超预期和全体样本,尤其近三年表现优异。
JOR优选组合构建与回测
通过定期交易策略筛选JOR因子值靠前的50及100只股票构建组合,回测期间(2017-2023.6)GPT超预期JOR组合年化收益最高达26.4%,超额收益较文本超预期及全市场分别提升约2%和10%。夏普率、信息比率和调仓胜率也均有显著提升(图表37-42)。
综合结论
GPT基于情感评分识别出的“超预期”股票池带来正向的投资收益,并在技术跳空因子与构建策略中表现出增量价值,验证了ChatGPT评分的实用性和优越性。
因子设计逻辑
试图将ChatGPT对分析师点评语义情感的评分进一步转化为连续可操作的量化因子。因子包括:
因子构建细节
因子表现概述
不同行业和指数水平表现
总结
ChatGPT以其强大的自然语言理解能力,在金融文本尤其是分析师研报标题情绪评分中展现出显著优势。通过细致调优提示和模型参数,成功实现连续情绪评分体系,精准捕捉积极程度差异。
“GPT超预期”股票池和基于GPT评分构建的JOR跳空因子均带来了明显的投资超额收益,尤其在近年来传统超预期Beta失效背景下表现突出。
构建的基于GPT评分的另类量化因子,在全A及特定指数中均表现出可观的预测能力和选股价值,验证了ChatGPT在量化投资领域的应用潜力。
风险提示
强调量化模型基于历史数据,回测表现不代表未来业绩,模型存在失效风险。
强调报告信息依赖公开数据和分析师判断,不能作为直接投资建议。
报告核心为情绪评分及因子构建,未涉及传统的公司估值模型(如DCF、市盈率或EV/EBITDA)。估值部分侧重于基于情绪评分衍生的量化因子及其收益表现验证,侧重因子研究框架。
本篇报告详细系统地验证了ChatGPT在金融文本情绪分析,尤其分析师研报盈余点评标题评分领域的实用性。通过构建1-10分的连续情绪评分体系,ChatGPT不仅情绪识别细腻且连贯性强,优于传统BERT模型的离散分类表现。其对“超预期”情绪的精准识别,超越了传统的关键词文本筛选法,显著提升了超预期样本池筛选的质量和覆盖度。
实证分析基于中国A股市场的海量数据,建立了“GPT超预期”股票池和衍生的JOR跳空因子,表现出超过7%-8%的年化超额和显著稳健性,尤其在近两年传统超预期Beta失效背景下效果抢眼。基于GPT评分的量化因子,特别是在中证500样本域,进一步验证了其作为新型另类选股因子的投资价值,具备良好的相关性分离与收益预测能力。
图表深度体现了ChatGPT评分因子在覆盖率、Ranking IC、年化收益及净值曲线等多个维度上的优势和稳定性,展示了该方法在现代量化投资研发中的广泛应用潜力。报告强调了当前量化模型的风险,提醒投资者市场未知风险影响及模型未来可能失效,突显谨慎操作必要性。
综上,ChatGPT作为大语言模型,在金融语言情绪分析领域实现了突破,为量化选股因子创新提供了有力工具和新思路,开创“自然语言处理+量化投资”深度融合新篇章。
图表1 ChatGPT训练过程
图表2 OpenAI请求示例
图表3 OpenAI回复示例
图表4 公司研究研报年度数量
图表10 ChatGPT评分示例1
图表11 ChatGPT评分示例2
图表16 文本超预期年度分布
图表17 文本超预期月度分布
图表18 GPT对“超预期”主体判别
图表19 GPT具备上下文语义理解能力
图表20 ChatGPT对盈余点评评分分布图
图表21 无“超预期”关键词但GPT高评分示例
图表22 GPT与文本超预期年度对比
图表23 GPT与文本超预期月度对比
图表24 超预期样本池数量
图表25 超预期样本池收益指标
图表26 超预期样本池分年度收益
图表27 JOR_delay40构造示例
图表29-30 超预期JOR覆盖度
图表32 超预期JOR单因子测试
图表33 JOR RankIC序列
图表34 不同样本空间JOR分组年化收益
图表35 JOR多空净值曲线
图表37 优选50等权组合指标
图表38 优选50等权组合净值曲线
图表40 优选100等权组合指标
图表41 优选100等权组合净值曲线
图表43-44 指数加权因子权重说明
图表46 GPT等权因子全A覆盖度
图表47 GPT评分因子检测结果(全A,10组)
图表49 GPT等权因子IC序列
图表50 GPT评分因子分组收益
图表52 GPT因子多空净值曲线
图表53 非行业市值中性化GPT评分因子性能
图表54 GPT评分因子沪深300检测
图表55 GPT评分因子中证500检测
图表56 GPT合成因子RankIC
图表57 GPT合成因子分组收益
图表58 GPT合成因子多头年度收益
图表59 GPT合成因子多空净值曲线
本分析依据原文各页内容综合而成,引用标号如:...,涵盖全文数据、图表及分析论断。
以上为该份研报完整的详尽分析,包含背景、方法论、实证结果、因子构建及风险提示。报告对ChatGPT在金融文本情绪分析及量化投资应用上的突破性探索为市场提供了重要参考。
20230814-华安证券-华安证券量化研究系列报告之十一:ChatGPT与研报文本情绪的碰撞.pdf