本报告通过三项系统性研究,首次实证比较了人类与先进大型语言模型(LLMs)在辨别真假产品评价中的表现,发现双方准确率均仅略高于随机水平,且LLMs在检测造假内容时表现不如人类,显示生成与识别能力严重失衡。此外,研究揭示了人机在判断真实性时采用不同启发式策略:人类存在“怀疑偏差”,更倾向怀疑过度正面的评价,而LLMs更依赖文本表层特征如长度与复杂度,且表现出“真实性偏差”,普遍将评价误判为真实。这些发现凸显计算机生成内容对电商评价体系的潜在威胁,并呼吁发展更有效的认证机制来确保平台及消费者的信任安全
| 模型名称 | 准确率 | 精确率 | 召回率 | F1分数 | 平均置信度(标准差) | 重复试验一致率 |
|---|---|---|---|---|---|---|
| ChatGPT-o1 | 50.0% | 0.752 | 0.507 | 0.348 | 85.93 (2.91) | 98% |
| DeepSeek-R1 | 38.0% | 0.346 | 0.347 | 0.346 | 79.87 (4.47) | 78% |
| Grok-3 | 50.0% | 0.250 | 0.500 | 0.333 | 84.86 (8.32) | 100% |
| Gemini-2.0-FlashThinking | 48.0% | 0.425 | 0.467 | 0.380 | 84.97 (6.30) | 80% |
| ChatGPT-4o | 50.0% | 0.482 | 0.493 | 0.397 | 90.62 (5.31) | 78% |
| Gemma-3-27B-it | 35.6% | 0.434 | 0.345 | 0.345 | 87.73 (6.83) | 80% |
| Qwen2.5-Max | 48.0% | 0.430 | 0.474 | 0.377 | 85.36 (7.52) | 78% |
核心论点:
报告开篇指出,产品评论是电商消费者决策的关键影响因素,随着生成式AI和大型语言模型的发展,制造虚假评论的门槛大幅下降。作者强调,虽然对AI技术替代人力劳动的担忧广泛存在,但其在消费说服领域的影响受关注较少。新兴的LLMs成为“隐形说服者”,为营销人员提供自动化、跨语言、低成本制造虚假评论的工具,从而潜在地操控消费者认知。
背景部分分析了AI生成内容的真实性判别难题,特别是产品评论因其语言自由、结构宽松的特性,对AI与人类识别均具挑战。提出三大研究问题:
这为后续三个实证研究奠定基础。,1,2]
2.2节对“消费者如何判断评论真实性”及“AI如何进行真假判定”进行了梳理,聚焦三大方面:
认知模型:基于Chaiken(1980)启发式-系统式模型,揭示人类评估信息真实性时既有系统性思考,也依赖启发式短路(如信息长度、权威性等表层线索),但受到认知资源限制和自证偏差的影响,易受先验信念影响而判断失误。
文本启发式:人们往往根据评论文字长度、详尽度、正负情绪平衡以及语法、拼写错误率等文本特征判断真实性。同时,存在消极评论偏重原则,即人们更倾向于相信负面评论,认为正面评论过多时反而降低可信度。
AI判定机制:AI检测依赖诸如文本长度、语法模式、话题分布等表层特征,且缺乏真正的语义理解,表现不稳定。LLMs依靠统计预测生成文本,无法进行反思或真正“理解”,导致检测假评论的能力受限。
报告还指出现有人类与机器判断策略的显著差异:人类基于直觉和认知负担做出决策,而机器更多依赖统计特征,这种差异为研究提供了解释框架。,3,4]
数据来源:选取2023年亚马逊“家居与厨房”品类真实评论作为样本,分析了评论长度、句长变异、大小写使用、代词频率、语态、俗语及拼写错误等诸多维度,形成了对真实评论多样性和特征的细致画像(表1)。例如,真实评论中有显著的拼写错误(50%以上)和不规则标点,且正面评论通常更规范,差评则更随意。
假评论生成:基于真实评论特征设计详细Prompt,综合考虑上述语言习惯与错误率,使用ChatGPT生成假评论。重点包括评论长度符合真实分布、适度错误植入、评论情绪与评分一致、避免过度格式化等(见表2)。
实验设计:邀请288位英国成年英语母语者参与,分别对50条评论(25条真实,25条假)做“真假”判别,并对自己的判断信心进行评分。评论顺序随机,确保实验设计科学。
结果:
总结:人类识别假评论面临巨大挑战,同时过度自信可能使消费者容易被虚假信息误导。,6,7,8,9,10,11]
模型选择:涵盖七款领先LLMs,包括ChatGPT(两个版本)、DeepSeek-R1、Grok-3、Gemini-2.0、Gemma-3与Qwen2.5,确保覆盖开源、商业及不同开发商。
方法:同样使用研究一的50条评论,模型分三轮独立判定“真实”或“假”,并给出置信度。禁用会话上下文存储,保证每次判断独立,默认生成参数。
评估指标:与人类评测保持一致,计算准确率、精确率、召回率及F1分数,分别针对真实与假评论。
结果(见表5、6及图1b):
总结:当前LLMs虽能生成逼真文本,却无法可靠识别AI生成的假评论,其生成能力远强于检测能力。,12,13]
分析思路:统计分析50条评论的语言特征与判别难度的相关性,结合人类准确率、LLM准确率和两者判决相似度(余弦相似度)。
真实评论间关联(图3a):
假评论特征关联(图3b):
综合结论:
理论架构:人类综合认知、情境及经验判断,LLM基于统计语言模式,背景差异导致判断失衡,凸显技术和认知层面的根本差异。,14,15]
图1(a)(参与者判断)显示:
图1(b)(LLM判断)显示:
对比:人类较LLM在识别假评论时表现稍优,而LLM整体置信度高但准确度低。
本报告为社会科学与计算机交叉领域研究,不涉及传统意义上企业或资产的财务估值,但采用了严格的统计与分类学指标体系,包括:
此外,比较了人类整体判断能力及各LLM模型在同一指标上的表现,确保横向一致性与公平性。
报告识别出的主要风险包括:
报告建议结合身份验证、内容水印、平台披露等技术手段,同时辅以伦理监管,缓解和控制上述风险。
偏见与局限:
强观点节点:
潜在矛盾:
该研究首次系统比较了人类与多款主流大型语言模型在识别真实与AI生成产品评论的表现,揭示如下核心发现:
极难区分:不论是人类还是最先进LLM,都仅能以约50%的准确率检测真假评论,接近随机水平,且均表现出明显的判断偏差与信心错置。
不同判断策略:
技术挑战:生成能力远超检测能力的失衡,使得电商和消费者信任体系面临严重威胁,亟需技术和监管层面联合建立透明的身份验证和原创性标识机制。
现实意义:研究揭示打造可信数字消费环境的关键难点,为未来在社会、技术和政策层面设计防范虚假内容扩散提供了科学依据。
图表洞见:
总体而言,报告权衡了技术潜力与现实威胁,呼吁产业界、学术界及监管机构共同应对快速演进的生成式AI带来的伦理与安全挑战。
本报告以严谨的实验设计和多维度分析,全面展示了生成式AI在产品评论领域的潜在风险和识别难题。关键结论体现了当代AI技术在内容造假与鉴别上的巨大张力,强调了提升消费者数字素养与构建技术伦理防护网的双重必要性。同时,报告中的数据、图表及分析逻辑严密,具有较强的学术价值和实践指导意义,是相关领域不可或缺的前沿参考资料。
2506.13313.pdf