本报告系统分析了 GPT-4 及其前身 GPT 系列模型,包括 Transformer 架构、Zero-shot 与 Few-shot 学习、RLHF 强化学习训练流程等核心技术。同时重点跟踪了华泰量化投资系列中的多款主动因子选股组合和图神经网络策略表现,展示了其显著的历史回测与实盘超额收益,反映了人工智能模型在量化选股中的应用成效与潜力,为投资者提供了深度技术原理与实践业绩的结合视角。
| 年份 | 月度超额收益 | 年超额收益 |
|---|---|---|
| 2018 | 月度波动 | 20.29% |
| 2019 | 月度稳定增 | 33.00% |
| 2020 | 震荡调整 | 9.33% |
| 2021 | 持续上升 | 42.73% |
| 2022 | 波动加剧 | 21.03% |
| 2023 | 稳定回升 | 3.81% |
报告标题: 《GPT-4 使用了哪些前沿 AI 技术?》
发布机构: 华泰证券股份有限公司(华泰研究)
发布日期: 2023年3月19日
报告主题: 主要聚焦 GPT-4 及其相关的前沿人工智能技术,详解其理论基础、技术实现,并结合华泰证券自主研发的多种量化投资策略的表现进行展示。
作者团队: 林晓明、何康(PhD)、李子钰等研究员联袂撰写。
报告核心旨在通过整理已公开发表的学术论文和技术报告,深度剖析 GPT-4 所采用的 AI 技术原理,如 Transformer、多模态预训练模型、提示学习(Prompt Learning)及 RLHF(基于人类反馈的强化学习)等先进技术,并对华泰证券量化投资模型的回测及实盘表现作跟踪分析。作者强调,OpenAI 对 GPT-4 的具体架构细节未公开,本文内容更多基于相关论文的推断分析,存在一定的不确定性。同时,量化策略依赖历史经验,存在失效风险,调研使用需谨慎。,3]
GPT-4 是 OpenAI 于 2023年3月推出的多模态大型预训练模型,具备同时处理文本和图像的能力,推动通用人工智能发展。此前 GPT 系列均为纯语言模型,GPT-4 系统则升级至多模态输入。技术上涵盖基于 Transformer 的架构、多模态融合、提示学习(prompting)及 RLHF,以实现更自然人机对话与任务完成能力。鉴于安全和竞争考量,OpenAI 只发布了性能报告,未公开模型大小、硬件配置和具体数据集构造。报告通过梳理历史文献与技术节点,归纳 GPT 系列发展脉络和 GPT-4 技术参考模型体系:
Transformer由Google于2017年提出,取代传统CNN和RNN,通过多头自注意力机制实现对序列中元素的动态加权,从而捕获复杂依赖关系。它包含了编码器和解码器两大模块,BERT采用编码器结构专注于文本理解,GPT系列借助解码器实现自回归文本生成。
图表3展示结构,通过多层堆叠的“多头注意力+前馈网络”模块形成深度网络,位置编码解决序列顺序信息保留问题。
GPT(2018): 1.17亿参数,12层堆叠解码器结构,采用无监督预训练+有监督微调两阶段训练,基于极大似然估计的自回归语言建模。模型预测当前词仅利用前文信息,防止未来词汇泄露。
GPT-2(2019): 架构有所改进,模型参数达15亿,采用Zero-shot学习,变革性地实现不依赖特定任务微调,而是以提示词引导完成任务。尚未完全解决Zero-shot局限,表现不全面,但奠定了大模型方向基础。
GPT-3(2020): 扩大至1750亿参数,规模大幅跃升。支持Zero-shot、One-shot、Few-shot多种提示学习范式,显著提升模型任务泛化性。例如在翻译任务中,模型仅需极少示例即可准确执行,无梯度更新,模拟人类通过少量示例学习。
(InstructGPT为典型示例,ChatGPT训练路径类似)
监督微调(Supervised Fine-Tuning,SFT)
使用约13,000条人工标注对话数据,涵盖文本分类、问答、文本生成等任务,对基础语言模型(如GPT-3.5)进行有监督学习,提升模型初始对话能力。
奖励模型训练(Reward Model,RM)
利用人工对不同回答的相对排序数据训练奖励模型,量化“回答质量”得分。通过对生成文本进行排序(非绝对评分),构造偏序数据,用Logistic损失函数训练,从而让模型能评估输出质量。
策略优化(PPO强化学习微调)
采用奖励模型作为奖励信号,结合策略梯度方法(PPO算法)对SFT模型进行强化学习微调优化,过程中引入KL散度惩罚防止模型偏离过多,保持回答风格稳定。
奖励函数涵盖奖励得分与模型概率分布KL项,兼顾回答质量与模型自洽性。此外引入预训练模型分布项强化鲁棒性。
图表9示意整个训练流程,展示从初始语言模型通过SFT产生初版,结合Reward Model反馈用PPO迭代优化的闭环机制。
图表10展示以模型参数量为横轴,对比InstructGPT系列各训练阶段模型相对基准(1750亿参数SFT模型)的胜率表现。主要发现包括:
此说明人类反馈引导的强化训练极大提升了模型的输出质量与符合人类意图的程度。
报告后半部分详尽披露了基于AI技术开发的多组合回测与实盘表现,涵盖多种机器学习和深度学习策略:
中证1000增强组合
文本 FADT 选股组合
文本 FADT_BERT 选股组合
机构调研选股组合
基于图神经网络(GAT+residual)模型
整体来看,华泰多重量化策略均展现稳定正收益及较好回撤控制,表明AI技术结合传统因子及深度学习的应用价值突出。
图表1(GPT系列模型发展路径)
展示从2017年Transformer问世起,经由2018年GPT,2019年GPT-2,2020年GPT-3,2022年ChatGPT,到2023年GPT-4的技术演进时间轴,突出规模与能力的递进发展。
图表2(GPT-4原理概况及参考模型)
梳理GPT家族和相关多模态模型的技术积累,包含Transformer的编码器-解码器分支,ViT视觉Transformer,CLIP文本图像联合训练模型,KOSMOS多模态语言模型,RLHF时代的PPO算法及InstructGPT训练策略,帮助理解GPT-4的理论内涵和发展脉络。
图表3(Transformer模型结构)
细节标注BERT和GPT对编码器解码器模块的借鉴,明确两者区别,体现了后续模型架构设计基础。
图表4(三代GPT模型结构对比)
详细列出GPT(12层,1.17亿参数),GPT-2(48层,15亿),GPT-3(96层,1750亿)三代模型的Transformer层数、词嵌入维度和参数量,体现模型阶段性升级对性能的影响,说明大模型趋势。
图表5(Zero-shot、One-shot、Few-shot与微调对比)
以英语翻译为例,展示不同示例数量对模型任务能力的影响,明确Zero-shot无示例、One-shot单一示例、Few-shot多个示例的区别,突出GPT-3新颖的提示学习优势。
图表6-9(RLHF训练三步骤及PPO强化学习流程)
通过流程图清晰展示SFT训练、奖励模型学习、PPO优化的闭环,形象地揭示人类反馈强化学习对提升模型对话质量的关键作用。
图表10(InstructGPT测试结果)
曲线图对比不同模型大小及训练方法的性能差异,突出RLHF带来的巨幅提升,验证了小模型结合强化学习胜过大模型的事实。
图表11-33(量化策略表现统计)
包括策略累计超额收益、月度收益、历史回撤、夏普率、信息比率等指标的展示,结合分层净值曲线、因子累计RankIC、模型结构图等,全面剖析了多个AI驱动投资组合的盈利能力和风险特征。
报告侧重技术及回测内容,未涉及具体企业市值或估值模型分析,因此无传统DCF、市盈率等估值体系讨论。
报告多次强调风险提示:
报告未明确缓解方案,但通过持续复盘、伦理审查与风险监控避免风险升级已隐含于量化研发流程中。,18]
这些细节提醒读者应理性参考报告内容,结合自身风险承受能力和投资经验审慎决策。
本报告系统梳理和解读了GPT-4所采用的最前沿AI技术,深刻揭示了多模态Transformer结构、提示学习机制及RLHF(以PPO强化学习为核心)的理论基础和具体训练流程,体现当今通用人工智能模型的技术演进路径。通过大量图表,如GPT系列发展轨迹、Transformer结构对比、Zero/one/few-shot示例、以及RLHF训练三阶段流程,清晰展示了模型设计理念与训练策略。
报告随后详尽跟踪华泰证券基于AI技术构建的多个量化投资模型的历史表现,涵盖中证1000增强组合、本FADT文本情感选股模型及其BERT升级版本、机构调研选股策略及基于图神经网络的因子融合策略。每个模型均通过丰富的净值曲线、月度收益分布、年化收益率、回撤风险和信息比率等指标进行定量呈现。整体来看,这些策略展现稳健正收益和超额Alpha,尤其文本BERT增强组和FADT策略夏普比率均超过1.4,信息比率优异,表明深度语言模型及多源因子融合在A股量化投资中具备较强竞争力。
风险方面,报告诚实指出GPT-4技术细节不完全公开、基于历史数据构建模型潜在失效风险及AI模型的解释难度,提醒投资者谨慎使用。
综合而言,报告向市场传达的主旨明确:GPT-4背后的多模态Transformer与RLHF技术极大促进了通用智能发展,而将AI技术导入量化投资领域取得了积极效果。华泰证券依托丰富的研究资源,以事实数据为支撑,展示了AI赋能量化投资的强大潜力,尽管仍存在技术和市场风险,但未来仍有较大发展空间与应用前景。
图表1:GPT系列模型的发展路径
图表2:GPT4 原理概况及参考模型
图表3:Transformer模型结构
图表4:三代GPT模型结构
图表5:Zero-shot、One-shot、Few-shot 与微调对比
图表6:使用RLHF训练ChatGPT的三个步骤
图表10:InstructGPT的测试结果分析
图表11:中证1000增强组合超额收益表现
总体评价: 华泰研究报告内容丰富、逻辑严密,严谨解读GPT-4技术底层,结合实际量化投资策略数据,体现了AI技术在金融行业应用的前瞻视角和实操成果,是银行、券商和基金量化研究的重要参考资料。
20230319-华泰证券-华泰证券量化投资周报:GPT-4使用了哪些前沿AI技术?.pdf