本文通过预注册、激励相容的现场活动搜索实验,比较传统筛选器、RAG驱动聊天界面及二者结合的混合界面。结果显示,纯聊天界面在选择价值、搜索耗时及满意度方面均显著弱于其他界面,而混合界面与传统筛选器基本无差异;该劣势主要源于开放式探索用户的目录认知偏差与提示疲劳。研究表明,AI更适合作为结构化搜索的补充,而非替代品,且更换更强模型并未显著改善结果。
报告标题为《Can AI Chat Replace Traditional Search? Evidence from a RAG-based Live Events Experiment》,作者为伊利诺伊大学厄巴纳—香槟分校Gies商学院的Rakesh Allu,以及约翰斯·霍普金斯大学Carey商学院的Evgeny Kagan,研究主题是生成式人工智能聊天界面对消费者搜索行为、搜索成本和选择质量的影响。原文未在所提供页面中明确给出正式发布日期,但实验于2026年3月至4月开展,研究对象是纽约市现场活动搜索。
报告比较了三种界面:传统属性筛选界面Filter、纯聊天界面Chat,以及同时提供筛选与聊天功能的Hybrid。核心结论并不是“AI完全无用”,而是AI的价值高度依赖于界面设计和搜索意图:纯Chat在大多数指标上表现最差,Hybrid与Filter之间没有显著差异,因此聊天工具更适合作为传统筛选工具的补充,而非替代品。
从总体排序看,搜索结果质量为Hybrid≈Filter>Chat,搜索成本则为Chat>Hybrid≈Filter。Chat参与者选择活动的平均货币估值较低、搜索时间更长、对搜索过程和最终活动的满意度也更低;然而在用户已经明确知道目标艺人、场馆或球队时,Chat并未显著劣于其他界面。
作者首先基于传统搜索理论提出,搜索成本越低、消费者能接触到的备选集合越大,理论上消费者福利越高。自然语言聊天能够表达“适合约会的活动”“和朋友度过有趣夜晚”等无法直接编码为固定筛选项的偏好,因此理论上Chat应当比传统Filter更能覆盖长尾选项,并帮助消费者发现原本不知道的活动。
这一逻辑形成了预注册假设H1:活动估值与满意度应当满足Hybrid>Chat>Filter。但作者同时讨论了相反可能性:现场活动属于主观、享乐型和体验型商品,消费者可能更愿意依赖自己浏览和判断,而不是依赖算法;此外,构造自然语言查询本身也可能比点击菜单更加费力。
H2预测搜索时间应当满足Filter<Hybrid<Chat,搜索过程满意度则应当满足Filter>Hybrid>Chat。其理论基础是,Filter只需点击日期、活动类型或关键词,而Chat要求用户回忆自己想要什么,并把偏好组织成文字;Hybrid因为聊天是可选功能,理论上介于两者之间。
这里的关键概念是“搜索成本”。报告将实际操作时间视为机会成本,同时通过1—7分的过程满意度衡量用户的主观成本,因为等待的实际长度和等待体验并不完全相同。
研究者从Ticketmaster抓取纽约市两个月内的活动,保留票价低于200美元且仍有票的活动。活动数据包含名称、日期、时间、场馆、纽约行政区、Music/Sports/Arts & Theater三大类别,以及流派和子流派等属性。
研究分两波进行:第一波覆盖2026年4—5月,共4,066项活动;第二波覆盖2026年5—6月,共3,836项活动。完整目录具有较高异质性,包括725个不同活动名称、136个场馆、42个流派和107个子流派,因此确实存在需要搜索和探索的空间。
最终样本为362人,其中Filter组104人、Chat组156人、Hybrid组102人。参与者必须是纽约州或新泽西州成年人并使用桌面设备,平均年龄37.8岁,53%为女性,31%拥有四年制大学及以上学历,79%居住在纽约州。
研究采用随机分配和真实激励。参与者获得4美元固定报酬,并有机会获得自己选择的活动门票或最多50美元现金,因此选择结果具有现实后果,而不是单纯的假设性问卷答案。
Filter界面提供日期、活动类别和文本搜索框,搜索框执行严格的字符串匹配,结果按活动日期、开始时间和名称排序,每页显示10项。
Chat界面取消结构化菜单,用户只能用自然语言输入请求。系统返回一段简短摘要和匹配活动列表,活动主要依据与查询的向量距离排序。
Hybrid界面将Filter和Chat并列展示,用户可以单独使用筛选器、单独聊天,或混合使用两种方式。
图2清晰显示了三种设计的结构差异:Filter让用户直接看到类别和日期菜单,Chat提供空白对话框,Hybrid则把目录结构与自然语言入口同时呈现。
RAG,即检索增强生成,是一种先从外部知识库检索相关信息、再让语言模型基于检索结果生成回答的架构。研究中,用户消息先由路由模型改写为短搜索查询,再通过embedding模型和FAISS向量数据库查找相近活动,最后由生成模型撰写摘要并返回活动ID。
图3的流程表明,Chat和Hybrid中的AI并不能凭空推荐目录外的活动,理论上只能从既有活动库中返回结果,这使三组实验在信息库存方面具有可比性。
进一步的技术细节显示,系统使用text-embedding-ada-002生成活动记录向量,使用FAISS进行最近邻检索,距离阈值为1.2,最多保留500个候选活动,生成模型最多输出100个活动ID。 研究还通过每波1,000次蒙特卡洛测试验证检索准确率:Chat在“结果集中包含目标活动”指标上的准确率为96.9%和98.5%,在前十项中包含目标活动的准确率为95.4%和95.1%;Filter和Hybrid均为100%。
这说明RAG并非完全无误,尤其可能因为相似度阈值、日期预过滤或生成模型截断ID列表而遗漏目标,但其错误率相对有限。因此,主实验中Chat的劣势不能简单归因于AI大规模幻觉,更多反映界面和用户行为差异。
研究的核心指标是参与者所选活动的BDM估值。BDM机制通过多价格列表,让参与者在活动和0—50美元现金之间进行选择,并随机抽取一行兑现,从而激励参与者报告真实支付意愿,而不是事后随意打分。
作者还收集三项辅助指标:
两项满意度均采用1—7分量表。
由于BDM数据只观察到价格区间,并且在0—5美元和50美元以上存在左、右端截尾,作者使用区间回归而非简单OLS。图6进一步区分“潜在估值”和“观察估值”,以处理上限和下限造成的信息压缩。
图5包含四个面板。估值方面,Filter、Chat和Hybrid均呈现明显的双峰分布,许多参与者的估值位于0—5美元,也有大量参与者位于50美元以上,但Chat在低估值端的比例更高、最高估值端比例更低。
平均估值分别为Filter 27.93美元、Chat 24.97美元、Hybrid 30.44美元。Chat显著低于Hybrid,但Filter与Chat、Filter与Hybrid之间的差异在统计上不显著。
搜索时间方面,Chat平均3.57分钟,Filter为2.75分钟,Hybrid为2.91分钟,Chat比Filter约长30%,比Hybrid约长22%,而Filter与Hybrid之间没有显著差异。图中Chat的右尾更厚,说明部分用户会持续与模型迭代较长时间。
活动满意度平均为Filter 5.88、Chat 5.32、Hybrid 6.04;过程满意度平均为Filter 5.6、Chat 5.0、Hybrid 5.4。总体上,Chat同时在结果质量和使用体验上落后。
控制年龄、性别、教育、收入、纽约距离、州别、实验场次等变量后,Chat参与者对所选活动的满意度显著低于Filter和Hybrid,搜索时间比Filter约长62秒,过程满意度也显著更低;Hybrid与Filter在主要指标上没有显著差异。
图6显示,Hybrid相对于Chat使潜在估值提高7.72美元,使观察到的估值提高4.44美元。差距之所以在观察估值中较小,是因为不少参与者已经达到50美元以上的上限。
Hybrid使最低估值区间的概率下降8.0个百分点,使50美元以上高估值的概率提高7.9个百分点,说明Hybrid不是只改善中间部分,而是整体将估值分布向右移动。
因此,H1仅部分成立:Hybrid优于Chat,但Chat并未优于Filter。H2也仅部分成立:Chat确实最耗时、过程满意度最低,但Hybrid并未比Filter显著更耗时。
Chat参与者被随机分配给gpt-4.1-mini、gpt-5.2或gpt-5.4,而路由和检索环节保持一致,仅生成文字的模型不同。
图7中所有模型比较的95%置信区间均包含零。gpt-5.2和gpt-5.4并未显著改善估值、满意度或搜索时间,甚至旧模型在估值上方向性更高。
这一结果意味着,在本实验中,问题主要不在于模型语言表达能力不足,而在于用户如何通过界面构建查询、接触目录和评估结果。
参与者中35%属于开放探索型,47%处于中间状态,18%带着明确目标进行搜索。
图8显示,Chat的负面影响几乎全部集中在开放探索型用户:Chat相对Filter的估值低15.89美元,相对Hybrid低21.14美元,且均显著;对于中间型和具体目标型用户,各处理组之间没有显著差异。
这一区分非常重要:聊天搜索并非对所有场景都失败。若用户已经知道要找“Hamilton”“NY Knicks”或某位艺人,Chat可以帮助快速定位;但当用户只想寻找“周末有趣活动”或“浪漫约会选择”时,结构化目录更能帮助其理解可选空间。
作者所称的“回音室效应”并非社交媒体意义上的个性化推荐,而是用户根据自己以为目录中存在的内容构造查询,AI再把这些已有想法反馈回来,导致用户反复搜索狭窄的意向,甚至搜索目录根本不存在的类别。
图9显示,Chat用户平均只探索1.10个顶层类别,Filter为1.87个,Hybrid为1.62个;Chat用户平均提交1.17个目录外查询,而Filter和Hybrid分别为0.60和0.36。
搜索范围越广,估值越高:探索三个类别的估值为30.8美元,探索两个类别为28.8美元,仅探索一个或更少类别为25.9美元;每增加一个类别,估值平均提高2.1美元。相反,目录外查询越多,估值越低,每增加一次目录外查询,估值平均降低1.3美元。
Chat把时间和注意力从查看结果转移到构造提示词和等待AI响应。图10显示,Filter用户用于“构造查询及等待”的时间占比仅2.6%,Chat为36.8%,Hybrid为9.2%。最终从前十项中选择的比例,Filter为49.0%,Chat为62.8%,Hybrid为52.9%。
随着构造和等待时间占比从10%以下升至30%以上,用户选择前十项的比例从44%升至72%;而选择前十项的参与者估值平均低4.2美元。
该机制并不意味着结果列表前十项一定较差,而是因为Chat列表按“与查询的语义相似度”排序,不是按用户真实偏好价值排序。对于“某个有趣的周末活动”这类宽泛查询,前十项并不一定优于后续项目,因此过早停止浏览会降低找到高价值活动的概率。
第一,研究的外部有效性仍有限。样本仅来自纽约和新泽西居民,且要求使用桌面设备,结果未必适用于其他城市、移动端或不同文化环境。
第二,研究观察的是一次性使用。作者也承认,长期用户可能逐渐学会构造更有效的提示词,并改善对AI结果的筛选能力,因此Chat的长期表现可能优于本实验所测结果。
第三,机制分析需要谨慎解释。处理分配对“搜索广度”“目录外查询”和“构造/等待时间”的影响具有因果意义,但这些过程变量与最终估值之间的关系不一定是因果关系,因为高投入用户可能本来就更有兴趣、更有耐心。
第四,Chat与Filter不仅在界面上不同,结果排序逻辑也不同:Filter按日期和名称排序,Chat按向量相似度排序。因此实验识别的是“完整产品体验”的差异,而非仅仅是聊天文本与菜单文本的单一差异。
第五,RAG虽然显著限制了幻觉,但准确率并非100%,且生成模型需要输出正确的活动ID。某些Chat劣势可能仍部分来自检索遗漏或排序误差,尽管作者通过统一检索流程和蒙特卡洛测试降低了这一担忧。
这份研究最重要的发现是:AI聊天并不能自动替代传统搜索,尤其不能替代探索型场景中的结构化目录。传统筛选器的价值不仅在于缩小结果范围,还在于向用户展示目录本身的结构,使用户知道平台上有哪些类别、哪些选择是可行的。
纯Chat让用户承担“生产搜索空间”的责任,产生两类成本:一是用户只能围绕已有认知提问,形成搜索回音室;二是用户把精力用于提示词构造和等待,减少了对结果列表的比较和评估。
相比之下,Hybrid在不显著增加时间成本的情况下保留了Filter的目录可见性,同时提供自然语言入口,因此作者建议平台采用“AI+筛选器”的互补模式,而不是用Chat完全替换筛选器。
对企业而言,研究还暗示,与其优先投入更昂贵、更强大的生成模型,不如优先改善检索质量、目录呈现、提示建议和界面路由。因为gpt-4.1-mini、gpt-5.2和gpt-5.4在本实验中的用户结果没有显著差异。
总体而言,报告的立场并非反对AI搜索,而是强调部署方式、搜索意图和选择环境比模型名义上的先进程度更重要:对于明确目标的检索,Chat可以表现良好;对于体验型商品的开放探索,结构化过滤器仍然是帮助消费者理解选择空间和提高最终选择质量的关键工具。
2610.28639.pdf