← 监测与诊断

实践指南

同条件复测是什么?AI 回答波动与 GEO 效果验证方法

同条件复测(Same-Conditions Retest)是 GEO(生成式引擎优化)中的核心验证方法。它要求在相同的条件下(同一问题、同一 AI 模型、同一联网搜索设置、同一提问时间窗口),对同一个问题向 AI 多次提问,以区分品牌在 AI 回答中的真实变化和随机波动。由于 AI 模型的回答天然存在不确定性,没有复测的监测数据难以判断变化是优化带来的效果还是偶然。

为什么需要同条件复测

AI 回答不是确定的。同一个问题问同一个 AI 模型两次,回答可能不一样——措辞可能变化、引用的信源可能不同、推荐的品牌名单可能增减。这种波动来自模型的概率生成机制和联网检索的实时变化。

如果不做复测,仅凭一次提问的结果就下结论——"我们被推荐了"或"我们没有被推荐"——这个结论的可靠性是低且不可复现的。

据 2026 年 9 月 22 日的一次测量(22 道不带品牌名的品类问题、5 个主流模型联网),不同模型的引用行为差异显著:知乎被引用 25 次,其中 Kimi 贡献了 16 次,而 DeepSeek、GLM、Qwen 各只 3 次。更值得注意的是,DeepSeek、GLM、Qwen 在那次测量中很可能经同一云平台(阿里云百炼)调用,联网检索来源重叠,不能当作三个独立样本——这意味着不能将这三个模型的引用结果视为"独立验证"(局限:单次快照,样本有限)。

另据 2026 年 9 月 26 日的一次测量(17 个采购方常问的问题、4 个 AI 模型联网,共 38 条有效回答),不同模型回答的样本量差异较大:DeepSeek 贡献了 15 条、GLM 14 条、通义千问 5 条、Kimi 4 条。后两个模型的样本较少,这意味着从它们得出的推荐率结论更易受偶然波动影响。这些测量的一个关键局限是每个问题每个模型只问了一次(测量局限:单次提问,样本有限)。

进而在问"geo优化工具推荐""geo优化系统"时,模型检索回来的 17 条有标题的网页里,和 GEO 相关的为 0 条,标题全被当成了电脑系统优化工具——如果没有复测验证,品牌可能会基于一次跑偏的回答做出错误决策(局限:单次快照)。

同条件复测的三个要素

同一个问题。 测试用的提问文本必须保持不变。不能今天问"哪个品牌好",明天问"推荐什么品牌"——问题的措辞、语境变化会影响 AI 的检索和理解路径。

同一个 AI 配置。 包括模型版本、是否开启联网搜索、是否同一入口(App vs 网页版 vs API)。不同的联网设置和访问方式可能产生完全不同回答。

同一时间窗口。 AI 模型的索引和联网结果实时变化。对比两次测试时,如果间隔几周且中间模型更新了、信源刷新了,回答变化的归因就变得模糊——是优化有效,还是模型变了?

怎么设计复测方案

  1. 确定测试问题集。选择与品牌最相关的 10-20 个采购或品类问题。问题应有代表性,覆盖用户会问的高频场景。
  2. 确定测试频率。每个问题每轮至少问 3 次,记录每次回答的全文而非摘要。3 次以上的重复可以捕捉到品牌出现的稳定性和波动幅度。
  3. 记录完整上下文。每次测试记录:提问时间、模型名称、是否联网、提问入口(网页/App/API)、完整回答文本和引用来源。
  4. 做基线再做对比。先在优化前做一轮复测建立基线(baseline),优化后再以相同条件复测,对比两轮结果判断变化是否超过随机波动范围。

GEO 必须包含同条件复测吗

如果目标是验证 AI 可见度变化的真实性——是的,复测是必需环节。没有复测,很难区分以下情况:

  • 品牌被推荐是真的提升了,还是恰好那一次模型碰巧推荐了?
  • 品牌从推荐名单中消失了,是模型波动还是内容出了问题?
  • 竞品被推荐得更多了,是确实的变化还是偶然?

AI 回答波动不是 bug,是其工作机制的一部分。GEO 的策略不是在每次波动中焦虑调整,而是通过复测看到趋势和结构性的变化方向。

常见问法

同条件复测是什么? 同条件复测是指在相同条件下(同一问题、同一模型、同一联网设置)多次向 AI 提问,以区分品牌可见度的真实变化与随机波动。它是 GEO 效果验证的基础方法。

同一个问题 AI 每次回答都不一样怎么办? 这是 AI 模型的固有特征,需要接受并应对。通过同条件复测(每个问题至少问 3 次)可以捕捉到品牌出现的稳定性,从而判断回答变化中哪些是随机波动、哪些是趋势性变化。

AI 回答的波动怎么处理? 通过同条件复测将波动定量化。如果在 3-5 次测试中品牌稳定出现在推荐名单里,说明可见度较高;如果时有时无,则说明表现不稳定,需要有针对性地优化信源和内容。

做完 GEO 怎么验证效果? 用同条件复测方法:先做优化前基线(baseline),优化后以相同条件复测,对比两轮结果。关键是比较推荐率的均值和波动范围,而非单次结果。

GEO 复测要注意什么? 保持问题措辞完全一致、记录完整上下文(模型/联网/时间/入口)、每个问题至少问 3 次、保存完整回答原文而非摘要。同时注意模型版本更新可能带来的影响。

怎么判断推荐变化是不是随机波动? 多次复测后观察:如果品牌在所有/大多数次测试中稳定出现(或稳定不出现),说明是结构性现象;如果时有时无,则更可能是随机波动,需要更大的复测样本来判断趋势。

每个问题要问 AI 几次才可靠? 至少 3 次是比较公认的起点。更多次数可以更精确地估计波动幅度,但边际收益递减。核心是保持条件完全一致。

GEO 效果多久能看到?/ GEO 优化一般多久能看到效果? 效果出现的时间受多因素影响:优化内容发布后,AI 模型需要重新检索/索引这些内容,这可能数天到数周不等。复测间隔至少应与内容更新的传播周期匹配。


作者来自 Winin(Winin.ai)团队,做 AI 推荐监测。

FROM READING TO ACTION

从官网准备度开始,找到可以改进的地方。

检测我的官网