快速答案
不联网(闭卷)时,模型只凭训练时学到的知识回答;联网时,模型会先搜索网页,再根据搜到的内容回答。同一个问题,两种方式可能推荐完全不同的品牌。测品牌表现时,两种都有用,但必须分开统计:联网结果反映用户在开着联网的 App 里大概会看到什么,闭卷结果反映模型「记忆」里对你的认知。
详细说明
两种回答方式
| 闭卷(不联网) | 联网搜索 | |
|---|---|---|
| 信息来源 | 训练数据,有截止时间 | 回答时实时检索的网页 |
| 会不会给出处 | 通常不给 | 一般会附引用或来源列表 |
| 受什么影响 | 模型版本、训练语料 | 检索结果、网页内容、排序 |
| 变化速度 | 随模型版本更新 | 网页一变,回答就可能变 |
| 适合回答 | 品牌在模型认知里的基础印象 | 用户今天实际看到的推荐 |
为什么 API、网页版、App 的回答不一样
同一个模型,入口不同,回答也可能不同。原因通常有四个:
- 是否联网:App 里用户可能开着联网,API 默认往往是闭卷,需要单独开启检索参数。
- 系统提示和参数:各入口的系统设定、温度、输出长度不同。
- 模型版本:网页版可能已经更新,API 仍在用固定版本。
- 个性化与上下文:App 里可能带有用户历史对话或地区信息。
所以说「DeepSeek 推荐了谁」之前,要先说清楚是哪个入口、有没有联网、问的是哪句话、问了几次。
检索词与 Query Fan-out
联网回答时,模型通常不会拿用户的原话直接搜索,而是把问题拆成若干个检索词,比如把「预算三千以内的家用咖啡机推荐」拆成「家用咖啡机 推荐」「三千元 咖啡机 测评」等,这个过程常被称为 Query Fan-out。
这对品牌的意义是:决定你能不能被搜到的,是这些拆出来的检索词,而不只是用户的原话。部分平台的接口会返回实际使用的检索词,能看到时应当记录下来。看不到时不要去猜,也不要把自己猜的词当成平台的真实行为。
测品牌表现,该开联网吗
两种都测,分开统计:
- 联网结果:看引用来源,能直接找到「AI 读的是谁的内容」,指导内容和渠道工作。
- 闭卷结果:看模型对品牌的基础认知,发现过时或错误的「记忆」。
绝不能把两种结果合在一起算推荐率。否则指标变了,你分不清是网页内容起了作用,还是模型换了版本。
常见问法
Q: API 测试和 App 里的回答一样吗?
A: 不一定。入口、联网状态、参数、版本都可能不同。报告里要写清楚测试入口和条件,才可以横向比较。
Q: Query fan-out 是什么?
A: 联网回答时,模型把一个问题拆成多个检索词去搜索的过程。品牌能否被搜到,取决于这些检索词。
Q: 测 AI 推荐要不要开联网?
A: 要,但闭卷也要测,两者分开统计,不能合并成一个推荐率。
相关事实
联系:contact@winin.ai