报告针对传统行业因子处理采用的one-hot哑变量方式信息低密度、无法表征行业内在关联的不足,创新性地利用Node2vec图嵌入算法将行业相关性矩阵向量化,生成高信息密度的行业factor embedding向量。该方法利用行业间收益率相关性构建图结构,采用随机游走学习行业表示,获得每个行业的30维向量,向量间隐含行业关系,可直接作为机器学习模型输入以提升因子预测效果,突破传统处理方法的限制 。
核心论点:
传统行业因子处理方法主要依赖one-hot编码(哑变量)转换行业属性,但这种方法不能体现行业之间的内在相关性,且信息稀疏,计算成本高。本文提出基于行业相关性矩阵构造图结构,利用Node2vec算法进行图嵌入,实现行业因子的向量化。这种通过Graph Embedding获得的向量不但提高信息密度,更自然包含行业间关联关系,能够有效作为机器学习及深度学习模型的输入,提升金融因子模型在预测和投资决策上的效果。,1,11,15]
关键内容:
Graph Embedding是一类将节点映射为低维向量的技术。报告首先介绍Embedding的数学定义,即将一个结构通过保持结构单射映射到另一结构中,从而保留原结构特征。通过类比语言模型中的word embedding,可以理解Graph Embedding是网络数据的延伸。
报告提及经典embedding算法,如Word2vec、GloVe、FastText及大型语言模型(BERT、GPT等),为理解Graph Embedding提供基础。
随后,定义了图数据结构G=(V,E),其中V为顶点集合,E为边集合,通过邻接矩阵A描述节点连通关系。常见图嵌入算法包括DeepWalk、LINE、Node2Vec、SDNE、Struct2Vec、GraphSAGE等,拥有良好地捕捉节点间关系的能力。Graph Embedding与Graph Neural Network相辅相成,embedding向量可用作GNN输入,反过来GNN也可辅助embedding。
报告详细解释One-hot编码的定义和缺陷:虽然One-hot简单直接,将行业转换成独热向量,但存在维度灾难和“语义鸿沟”问题,因节点间未反映差异及联系,信息稀疏,且维度过高带来计算成本。
介绍Word2vec可将单词转换成连续向量,并用此计算词汇相似性。通过对贵州茅台相似企业的示例,说明基于词向量距离可以反映行业关联。但报告指出,直接对行业名称做Word Embedding的结果与实际二级市场行业关系存在一定偏差,主要是因训练来自文本资料,缺乏与二级市场行情的直接对应,且模型训练一次性完成,无法回溯历史效果验证。,12]
DeepWalk:利用随机游走在图中产生节点序列,再利用Word2vec(SkipGram)无监督训练生成embedding。报告附带算法具体步骤及对应随机游走图示。其优点为算法简单高效,缺点是不支持边属性,且对出度为0的节点支持差。
Node2vec:基于DeepWalk,引入超参数p和q调节随机游走的搜索策略,在广度优先(BFS)和深度优先(DFS)之间灵活切换,从而更好地学习节点的局部和社区结构。报告给出Node2vec的概率转移公式及调节因子,并通过图示说明BFS和DFS策略对游走路径的影响。Node2vec能够有效学习同质图和同构图结构,但其超参数需针对具体数据集调节。
构造一个加权完全无向图,图的节点为行业,边的权重为行业间收益率的相关性系数,即构成邻接矩阵。再基于Node2vec算法进行行业因子graph embedding,嵌入维度设为30,每个行业以30维向量表示。为方便理解,报告利用t-SNE降维至二维空间并可视化,显示行业间的实际相关集聚形态。
报告给出具体的Node2vec参数:
该方法有效捕捉行业内在关联,且极大提高了行业因子的信息密度,相比one-hot和word embedding更适合实际金融因子建模。
图示包含集合X和Y之间的单射映射,形象诠释Embedding的数学定义,是理解后续Graph Embedding的基础。
示意中将词汇列表映射为稀疏向量,突出其表示单点激活缺失语义信息的特点。
该页包括Word2vec将单词转为密集向量的示意图及以“贵州茅台”为中心的向量相似度排名列表,显示与其相关联公司(如洋河股份、五粮液)向量相似度极高,体现Word Embedding捕捉语义关系的能力。底部图为以这些公司为节点的二维散点图,展示行业集群。
展示了不同图结构的多样性,如社交网络、分子结构等,辅助理解金融行业间关系的图模型构造。邻接矩阵定义公式明晰地揭示了图的本质。下方列出的多种图嵌入算法也表现该领域成熟工具。
左图展示从节点开始进行随机游走路径,右图展示游走路径如何对应embedding矩阵某一列,被用于训练SkipGram模型。该图形化过程有助理解DeepWalk无监督训练机制。
节点u的邻居s1,s2,...中红色箭头体现BFS机制,蓝色箭头体现DFS机制。不同的随机游走策略帮助学习不同的关系类型。第二幅说明算法调节因子α的定义,使游走更具灵活性。右侧图展示了通过算法识别社区结构,能很好地学习节点的嵌入。
二维空间下,行业名称点分布显示部分行业如“非银行金融”、“消费者服务”相近,而“煤炭”、“计算机”较为分散,体现了基于文本数据的行业关系,但该分布未充分反映市场实际关联。此图支持作者对Word Embedding的局限性说明。
上图为构造的完全无向行业相关性图,节点间连接密集。下图为TSNE降维的行业因子向量群,层次性和行业簇群较为明显,诸如“银行”、“非银行金融”、“房地产”集中于右上方,“钢铁”、“煤炭”集中于右下方,体现了相关性度量的实际价值。
通过主成分分析后对行业因子进行二维映射,两个PCA图对比了原始数据的主成分结构,显示不同行业在主要方差方向上的差异,作为基线对比,体现Graph Embedding方法的优势。
报告为专题研究性质,未涉及具体的企业财务估值分析,故无DCF或市盈率估值内容。
报告列举了多方面风险:
作者明确指出模型结果不构成投资建议,风险提示严格且专业。
综合来说,报告在金融行业因子建模方法论创新层面贡献显著,但在实证分析和应用细节方面尚有提升空间。
本报告系统地论述了传统行业因子处理方法的不足,特别是One-hot编码无法体现行业间内在相关性、信息稀疏,导致效率和效果受限。Word Embedding虽提供了语义层面的行业向量,但因缺少与二级市场行情直接映射,其实际金融意义有限。
报告创新提出基于行业收益相关性矩阵构建图结构,利用Node2vec图嵌入算法,将行业因子向量化,嵌入维度为30。该向量不仅具有较高信息密度,更重要的是自然地捕捉了各行业之间复杂的内在相关性。
通过多幅图表,包括Word2vec行业嵌入二维可视化,Node2vec算法的随机游走机制示意,及最终基于Node2vec的行业因子二维地图,直观地展示了模型有效性和行业簇群特征。这些向量可作为机器学习和深度学习金融因子模型的高质量输入,提升预测能力。
风险提示部分全面指出了模型随机性、历史数据局限、计算资源和参数敏感性等风险,体现了研究谨慎性和对投资建议界限的严格把控。
因此,作者在报告中坚定主张使用Graph Embedding替代传统的行业哑变量方法,推荐行业因子图嵌入作为未来因子建模的新方向,但建议用户关注参数设定和数据有效性,谨慎应用。
| 页码 | 图表描述 | 作用和洞见 |
|---|---|---|
| 4 | Embedding数学映射示意 | 阐释Embedding的基本定义,理解后续Graph Embedding |
| 5 | One-hot编码示意 | 说明传统编码的稀疏性及信息缺失 |
| 6 | Word2vec行业向量及相似度列表、二维散点图 | 体现行业语义相关性,但不完全契合市场实际 |
| 7 | 图结构实例与邻接矩阵定义 | 说明图的概念及关联矩阵基础 |
| 8 | DeepWalk随机游走及训练流程图 | 理解基于随机游走训练embedding的流程 |
| 9 | Node2vec BFS/DFS随机游走示意及参数公式 | 诠释算法核心,说明调节游走策略以捕捉不同邻域效果 |
| 12 | 行业因子Word Embedding二维映射 | 显示行业语义关系图,但缺乏实际市场映射 |
| 13 | Node2vec构造的行业图及行业embedding二维分布 | 真实体现行业相关性及集群,提升行业因子质量 |
| 19 | 行业因子PCA二维图 | 辅助对比,展示行业主成分及数据结构 |
本报告彰显了金融领域因子工程与机器学习深度结合的前沿探索,利用Graph Embedding方法对行业因子结构进行向量化,有望提升因子模型的信息表达和计算性能。尽管尚缺乏丰富的实证效果展示和参数敏感性分析,但为行业因子处理提供了重要的路径创新和理论支撑。未来结合更多历史回测、动态调整参数及行业变动,将进一步巩固该方法的实用价值和广泛应用潜力。[page::全文综合]
(完)
“逐鹿”Alpha专题报告(十六):基于Graph Embedding的行业因子向量化.pdf