本报告介绍了基于舆情数据挖掘的量化投资策略开发,包括关键词策略、评论热点策略和情感词策略。报告详细阐述了系统架构、数据获取与处理流程,利用文本信息实现投资者情绪量化,提出情感识别模型并构建多样化交易策略,当前情绪分析准确率达60%,后续将开展历史回测及自动预警功能开发,为股票行情理解和预测提供新视角和工具。
报告标题:基于舆情挖掘的策略分享 —— 2014夏季主动量化及期权会议研究之九
报告发布方:上海申银万国证券研究所有限公司
报告撰写人:陈杰
报告发布时间:2014年夏季
研究主题:利用舆情文本数据挖掘技术开发和完善股票量化交易策略,重点聚焦文本非结构化数据分析、系统构架设计及策略实现和进度报告。
该报告聚焦于量化策略开发中对非结构化文本数据(如财经新闻、股票论坛、微博及研究报告等)进行挖掘利用,目的是通过舆情分析作为投资决策层面的新辅助工具。报告主要介绍了系统构架、策略介绍及进度汇报,未涉及具体个股评级或目标价格。核心意图在于通过舆情分析挖掘投资者情绪、关注度热点和事件驱动信息,为量化策略提供全新维度的数据支持。,1,2]
报告指出,传统的量化策略开发主要依赖结构化数字数据,而此类数据仅占金融信息整体的一小部分。绝大多数金融数据存在于文本形式的非结构化数据中,如财经新闻、论坛帖子、微博评论、研究报告等。文本信息能快速反映投资者的情绪及行为模式,对投资策略具有潜移默化的影响。因此,合理挖掘与运用这类数据将为市场理解带来新的视角和机会。
报告提出三大主要模型方向——情感择时模型、关注度选股模型、事件驱动选股模型,表明通过文本数据获取策略信号的多样性和综合性。
系统设计包含三个主要部分:
技术细节方面,系统采用分布式计算架构,存储和策略生成分别在服务器和本地集群执行,利用MATLAB与MySQL进行数据处理。MATLAB作为分词及词云制作等文本处理工具,而Java亦被提及用于后续代码重构,以增强计算速度和系统部署效率。,10]
数据来源涵盖股吧、论坛、微博、研报及财经新闻,采集频率支持高频与历史数据访问,实现了动态和历史文本数据的混合利用。
报告中重点说明了三类主要策略:
通过构建关键词指数,将特定关键词在选定文本源中的出现频率统计,计算关键词指数(某关键词的文本数/总文本数)。此外,利用词云分析展示选股群体的热点关注词,发现潜在拐点词汇作为预警信号。
关键词策略具体架构由数据存储、查询、本地计算组成,经过分词系统过滤和词云制作,支持单只或多只股票分析,时间粒度可细化至小时甚至分钟。,10]
该策略通过监测某股票在指定时间内的评论数及讨论热度,特别关注评论突增同时股价未发生显著波动的股票,挖掘潜在市场异动信号。图表显示了评论热度的逐年上升趋势,表明股民参与度和网络舆情影响力逐渐增强。
通过情感分类技术,将文本分为乐观与悲观两类,分别赋予积极和消极分值。综合普通投资者和机构投资研究报告,构造乐观与悲观指数,并通过平滑处理得到多空指数。使用非线性回归模型探索情绪指标与股价间的关系,构建可操作的情感选股模型。
情感策略的系统架构关键在于大规模文本的段落、分句处理,主观句判断,以及情绪词库的使用和词语极性判定。利用词语相似度计算和句子极性矩阵进行综合情感评分,确保对文本情绪的准确捕捉。
策略实现采用句子权重设计(详见第14页图示),即对不同句子赋予不同权重,从而更精准地反应句子在整体情绪分析中的重要性与影响力。
从2013年10月至2014年5月,研究组完成了从模型确定、算法讨论,分词系统实现,到批量预测测试、代码服务器部署的全过程。当前词库和算法使得语句的情感分析准确率达到约60%。未来改进方向明确,包括主观句判断算法完善、代码转写成Java、并行计算支持等。,17]
后续任务还包括:历史策略回测、舆情与股票关系的非线性挖掘、实时数据分析自动预警系统开发,以及词汇索引库的动态管理等。这体现了研究的工程化进程和系统化完善的规划。
此图明确展示了三个核心模块及其关联:
该构架实现闭环自动流程,提供舆情数据到投资决策的全链条信息处理方式。
描述了数据采集、数据清洗、存储(MySQL+MATLAB)和从本地集群生成交易策略的工作流程。通过“Parallel Computing Toolbox”实现并行计算,快速处理大规模文本数据,支撑后续策略快速生成和调整。体现了从数据到策略的自动化系统架构。
展现关键词指数的构建思路及词云制作概念。通过关键词检索本文,统计关键词出现频率,分周计算关键词指数,辅助分析市场关注度和历史比较定位。词云则瞄准热点词汇识别,具备预警扩散性事件的潜力。
展示从数据服务端到本地分词系统,再到词云生成的流程。强调条件查询、分词、词性筛选和词云制作的模块化设计,能够针对不同时间窗口和股票范围灵活应用,提高系统针对性和可扩展性。
细化了分词系统和词云系统应具备的功能:
此图还用Java、MySQL和MATLAB三大平台标识说明技术实现基础,体现多技术栈融合。
详细反映了2009年至2013年间评论数持续增长态势,这不仅说明网络舆论活跃度提高,同时论证了文本数据挖掘的现实意义和投资价值。
清晰描述了情感判别流程:
该架构体现了舆情文本分析中的语言学技术难点与解决方案,保证情绪分数的科学性和准确性。
示意每句文本的情感评分在乘以对应权重后加总,权重矩阵的设计强调某些关键句子在整体情绪判定中的优先级,从而提升预测的敏感性和准确率,是策略实现关键技术之一。
时间轴展示了项目2013年10月至2014年5月份的主要任务进度:模型和算法论证->分词系统开发->算法实现及词库构建->批量预测实现与服务器部署->代码调试与系统整合,体现研究的严谨逻辑和部署有序性。
报告主要集中于舆情挖掘技术与策略研发,未明确涉及传统估值方法(如DCF、PE等)和目标价设定,属于技术研究类专题报告,因此无估值部分。
报告虽然没有单独列风险章节,但通过“改进方向”及“后续任务”隐含了一些风险因素或挑战:
报告对应措施包括完善算法、主观句判别升级、代码重写以提高系统效率,以及词汇库管理体系的构建。
从报告内容看,研究极具前瞻性,结合了文本挖掘最新技术切入投资策略开发。
整体来看,报告系统化严密,数据来源充实,技术路线明确,但在算法深度和系统鲁棒性方面仍有提升空间。
本报告详尽地阐述了一套基于舆情挖掘的量化投资策略的构建,从数据采集、存储、分析到策略模型实现形成了完整闭环。报告通过多个图表生动展现了系统架构及技术实现细节,特别突出关键词策略、评论热点策略和情感词策略的设计理念与实施步骤。
舆情作为非结构化文本数据,在辅助投资决策方面具有独特优势,能够补充传统结构化数据的不足。该报告不仅打造了较为完善的分词和情感分析系统,还实现了采用并行计算提升实时响应的自动化预测系统,为量化投资策略创新提供了有力技术支持。
当前系统情感分析准确度约60%,表明尚有显著改进空间,但明确了后续完善计划,包括算法升级和系统优化。继续推进历史回测和自动预警功能,将确保研究成果具备实战落地价值。
总体而言,报告体现了申银万国证券研究所在舆情量化策略领域的领先技术储备和实务探索态势,为相关量化投资研究提供了重要参考和借鉴。其系统设计的模块化、策略的多样性及覆盖范围广泛,均为其核心竞争力。
(全文引用皆见各部分末尾标注)
,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19]
2014夏季主动量化及期权会议研究之九:基于舆情挖掘的策略分享.pdf