本文提出一种利用产品文本和图像非结构化数据,通过预训练深度学习模型提取嵌入向量,并结合主成分分析和混合Logit模型,准确估计产品需求和替代模式。实验和实证数据均显示该方法优于传统基于属性的需求模型,显著提升二选项预测的准确度,在反事实定价和合并模拟中表现突出。
报告标题: Demand Estimation with Text and Image Data
作者及机构: Giovanni Compiani(芝加哥大学)、Ilya Morozov(西北大学)、Stephan Seiler(帝国理工学院&CEPR)
发布日期与主题: 2024年,主题围绕如何利用文本与图像数据改进差异化产品的需求估计,特别关注替代性(substitution patterns)的估计。
本研究提出了一种创新的需求估计方法,利用预训练深度学习模型对产品的文本描述和图像进行嵌入提取,将其转化为向量,再通过主成分分析(PCA)降维后,被引入到混合logit模型中,从而捕捉产品间的替代关系。研究核心论点是,即使缺乏标准结构化产品属性数据,或消费者价值难以量化的产品特征(视觉设计等),该方法仍能有效识别产品的替代模式。实验证明,该方法较传统属性模型表现优越,特别是在第二选择(second choices)的反事实预测中表现更佳。作者进一步将该方法应用于亚马逊40个产品类别,验证其广泛适用性并发现文本和图像数据可分别或协同提供重要替代信号。作者提供了可公开获取的Python软件包DeepLogit,为其他研究者应用此方法提供便利。,1,3,35]
本节强调传统基于产品属性的需求估计模型面临的难题:产品属性数据难以全面获取,且消费者经常基于难以量化的设计与功能维度作出选择。该文创新点在于利用无结构数据—产品的图像、标题、描述及客户评论—提取嵌入(embeddings),形成消费者偏好的度量。通过PCA降维后,将这些成分引入混合logit中,使用随机系数模拟消费者异质性。此举不仅减少了研究者主观选择属性的需要,也捕捉了视觉和功能层面的复杂差异。
方法核心为三步:
1)用四个深度卷积网络(VGG19、ResNet50、InceptionV3、Xception)针对图像提取多维嵌入,文本则采用两种先进的预训练模型:Universal Sentence Encoder (USE) 和 BERT Sentence Transformer (ST)。
2)采用PCA降维,优先保留对类别内产品区分度最大的嵌入成分,避免高维度下计算难题及多重共线性。
3)将主成分作为随机系数变量嵌入混合logit模型中,结合自变量价格和产品固定效应进行估计。模型筛选通过AIC实现,具体算法详见Algorithm 1,逐步增加随机系数变量个数直至AIC不再改善。此方法能识别对消费者选择最重要的嵌入维度,避免单纯依赖解释方差最大排序的第一主成分。
设计了包含10本不同类型图书的选择实验,随机化价格及排列顺序,每位受试者完成两轮选择:第一轮从10本书中选1本,第二轮在剩余9本中选1本。该设计令研究者得以观察第二选择,进而直接验证模型捕捉替代性能力。选择图书类别不仅涵盖结构化属性(如类型、年份、页数),还包含丰富文本(情节描述、评论)与封面图片信息。招募了9,265名参与者,确保数据质量和有效样本量。
对比三种模型:
表1反映不同模型在第一选择的拟合指标(AIC),基于文评(Reviews USE)的模型表现最佳,AIC比Plain Logit降低24.8,比属性模型好8.8,说明文本嵌入主成分在解释选择行为上胜过传统属性。
模型通过仅用第一选择估计参数,预测第二选择的分散概率(即若首选产品不可选,消费者会转向哪个产品)。采用均方根误差(RMSE)衡量模型预测与实际第二选择的差异。
图2显示,基于文本评测嵌入的Mixed Logit模型将RMSE降低23%,显著优于仅用属性的混合logit(降低11.7%)及Plain Logit。图像嵌入模型同样表现优于基本模型,但不及文本富信息性强。文本信息对补充替代关系解释最为关键。
具体案例如图3和表2显示,不同类型图书间具有明显基于文本和图像的特征区分。主成分空间示意(图4)指出文本评论主成分有效识别类别间细分差异,如非虚构与虚构、同作者书籍等。基于模型预测的第二选概率与实验真实数据对比,基于文本的模型可准确捕捉最接近替代品,与Plain Logit相比误差显著减少。惟部分案例(如图书Ashes & Star)所有模型均表现不佳,提示数据本身替代信号弱,估计难度大。
在所有模型中,基于AIC的模型选择与反事实预测RMSE高度相关(相关系数0.78),同时五折交叉验证及BIC准则亦支持此选择,显示AIC作为选择标准有效。
模拟了包含特定图书的双书籍合并下,价格的均衡变化,显示替代模式误判会显著影响反事实价格预测。例如Plain Logit模型误将异类书作为替代品,可能导致监管部门错误批准或阻止合并。基于文本嵌入的模型发现的同类替代关系更准确,仿真结果对价格调整及政策决策具有直接影响(图5,表A2)。
将方法拓展至亚马逊40个类别产品,采集2019-2020年Comscore数据(含购买记录、价格)、亚马逊页面文本与图片信息。选择最畅销的15款产品并过滤购买量少于2000的类别。对部分电子产品类别收集了详细结构化属性以作对比。
所有类别相比Plain Logit均有明显AIC降幅,平均降23.3甚至最高降111.5(附录表A3,图A5),说明模型普适并有效捕获替代信号。在有属性数据的电子品类中,结合无结构数据的模型拟合效果远胜纯属性模型(表A4),展示了文本与图像嵌入在电子产品替代模式识别上的增益。
画出40个类别中产品转移至最接近替代品的平均概率比较(图7),Plain Logit给出较低和均匀的转移率(约22%),而本文方法平均约47%,部分类别甚至达到60%-80%,表现出转移率更富有区分性,更符合实际经济逻辑。
例证—平板电脑类别中,Plain Logit因过度依赖固定效应,预估多数转移至最畅销产品,缺乏合理差异。使用本文选出的文本嵌入模型后,替代关系更符合产品特性和类别(iPad系列相互间替代,儿童平板相互替代),增强模型实用性。
通过计算各类别模型规格的Akaike权重衡量不同数据类型(图像、标题、描述、评论)对模型拟合贡献的相对重要性。发现不同品类对数据类型的依赖存在显著差异,且多难以凭经验预判:例如服装类别中图像权重不总是最高,视频游戏中图像偶尔比文本信息更重要。该结果提示实践中应尽量囊括多类无结构数据,依赖模型选择择优。
总结指出利用文本和图像的无结构数据提取替代性信息,避免了属性准备成本和主观选择偏差,且捕捉了视觉与语义层面难以量化的特征。建议收集多样数据,使用文中详述的模型选择算法进行验证筛选。
若已有结构化属性数据,可测试并结合PCA降维后同时引入,依据模型适配性调整方案。
理论上适用场景包括价格变动反应、并购价格模拟、税收政策评估、多产品定价策略分析。但嵌入静态假设限制了对动态商品设计及文本图像内容因策略调价而变的场景匹配。未来研究可继续拓展模型类别和嵌入技术、优化模型不确定性推断,结合价格内生性工具变量等议题。
内容描述: 展示了各需求模型(Plain Logit、混合logit基于属性、不同基于图像与文本嵌入的混合logit)在第一选择数据下的AIC比较。
解读:
该表从模型拟合优度层面支持了文本嵌入对传统属性的替代或增强作用。
内容描述: 展示各模型在第二选择数据(未用于估计)上的反事实预测均方根误差(RMSE)。其中分为四种数据源模型组(图像、标题、描述、评论)不同算法变体。
解读:
内容描述: 10本书封面图片示例,用于说明图像特征多样,并为图像嵌入提供基础。
解读: 书籍封面设计体现类别及风格信息,如暗色系虚构类,加上象征物等提示。通过图像模型,这些视觉特征对应消费者潜在偏好。
内容描述: 使用Review USE的两个主成分分布绘图,将10本书在二维空间中的位置标示,并标明类别。
解读:
内容描述: 模拟合并Dopamine Detox书籍时,三种模型预测的价格提升百分比。政策阈值为价格增加5%。
解读:
示例亚马逊产品页截图,标注文本(标题、描述、评论)和图片区块,体现无结构数据的获取来源和原始形态。
内容描述: 40个类别平均产品对最近替代品的转换率/diversion概率(用本文方法与Plain Logit对比)。
解读:
内容描述: 40个类别不同无结构数据(图像、标题、描述、评论)的Akaike权重分布,体现数据类型在各类别的相对重要性。
解读:
报告虽未直接提及传统的现金流折现等估值技巧,核心估值分析体现在基于估计的需求模型反事实价格模拟(合并价格变动)中,基于Bertrand-Nash竞争与单一合并后利润最大化的标准博弈均衡条件进行。此处估值方法实质是基于需求弹性和替代关系预测后的价格调整模拟,关键输入为估计的产品替代矩阵、价格弹性及固定的其他竞争对手价格和边际成本零。敏感性分析主要体现在多模型(Plain Logit、属性模型、文本嵌入模型)价格预测对比,显示替代性估计结果对价格评估的强敏感性。
报告中潜在风险隐含于方法适用的边界条件:
报告提出未来研究应解决以上风险,如模型选择不确定性推断、动态嵌入建模、价格内生性修正等。
综合而言,文献贡献重大,但仍需未来研究完善动态与结构性问题的处理。
本文提出并验证了一种结合深度学习预训练嵌入与标准混合logit的方法,利用广泛可得的无结构文本与图像信息,成功提取产品间复杂且难以用传统属性捕获的替代模式。实验数据通过采集首选与第二选择提供了罕见的替代验证基准,结果显示基于用户评论的文本嵌入模型大幅优于仅用结构化属性的混合logit模型,无论拟合还是反事实预测均表现优越。对并购价格模拟的应用进一步证明了模型替代性估计准确性对经济政策评估的关键性。扩大至亚马逊40个品类的真实购买数据时,本文方法依旧显著提升了模型拟合性能并获得更合理的替代比率分布,表明具备很强的通用性。多品类模型选择指示各类无结构数据的作用因类别而异,提示实践建议广泛收集多样数据,并经过数据驱动选择。该方法为需求估计工具箱提供了有力的新成员,特别适合产品属性未完全观测且消费者偏好多样复杂的情境。
本报告详尽分析了方法学基础、实证设计、估计与验证过程及政策仿真,解读了所有关键图表并结合应用场景说明。文章的贡献在于打破对结构化属性依赖的传统限制,借助现代机器学习技术开辟了一条基于无结构数据的需求估计创新路径。
整体来看,该方法在数据广度和替代性识别上实现了质的飞跃,对需求建模和相关经济政策研究均有深远意义。
图12 示例:实验选择任务展示
图16 示例:模型比较反事实RMSE
图19 示例:主成分空间分布
图23 示例:合并价格提升模拟
图28 示例:预测转移率对比
图30 示例:不同无结构数据Akaike权重
(全文引用均严格标注于页码,确保溯源清晰。)
2503.20711.pdf