先明确测试的是哪个 AI 入口
| 入口 | 主要测试什么 | 需要注意什么 |
|---|---|---|
| 闭卷模型 API | 模型本身掌握的知识 | 不等同于面向消费者的联网搜索产品 |
| 带检索的 API | 模型与指定搜索工具的组合 | 结果会受到搜索源、工具和具体设置影响 |
| 消费者 AI 产品 | 客户可能实际使用的产品体验 | 账号、地区、个性化和产品更新可能影响回答 |
| 搜索引擎 AI 功能 | 基于搜索索引生成的答案 | 收录和展示方式会随市场与问题变化 |
这些入口要分开统计。每次测试都记录供应商、使用入口、模型版本、联网状态、账号类型、语言、地区和时间。
从客户真实决策生成问题
身份理解
品牌是谁,具体提供什么?
品类发现
不写目标品牌时,哪些企业或产品进入候选?
场景适配
具体客户、任务或限制条件下,什么方案合适?
比较选择
目标与指定替代方案有什么差异?
证据来源
重要主张由哪些来源支持?
风险边界
什么情况下产品或服务并不适用?
带品牌名的问题测量理解准确度;不带品牌名的品类和场景问题测量发现与候选机会。两者必须使用不同样本范围。
中国市场怎样选择模型
中文项目优先围绕 DeepSeek、Kimi、Qwen(通义千问)、GLM、豆包和 MiniMax 等中国市场常用模型与产品入口设计监测。最终范围取决于客户所在市场和目标用户真正使用什么,不用固定模型清单代替项目合同。
每次运行都记录供应商、具体模型或产品入口、联网状态、语言、市场和时间。中文问题要独立设计和测试,不能把英文翻译当成等价测试。
每次测试至少保留什么
- 固定的问题类型、完整问题原文和版本编号
- 供应商、使用入口和可确认的模型版本
- 联网状态、账号类型、语言、地区和时间
- 完整原始回答和回答中展示的来源网址
- 调用失败、拒答、限流和未展示引用等运行状态
- 分别判断品牌提及、事实支持、进入候选、推荐和引用
- 运行编号和重复测试序号
看长期变化,不看单次截图
同一个问题要多次测试,再按问题类型比较模型。每个比率都同时展示样本量。问题、模型、联网方式或评分规则改变时,重新开始一段记录,保证前后数据可以解释。
每轮监测都要给出下一步行动:继续观察、纠正事实、改进页面、加强信源,或进一步调查新问题。这样监测结果才能真正进入日常运营。
补充问答
Q: 怎么查品牌在 AI 里的表现?有没有自查方法?
A: 最简单的自查:挑 10–20 个真实用户会问的品类问题,问题里不写品牌名;在目标用户常用的几个 AI 平台上各问 3 次以上;逐条保存原文、是否联网和引用来源;统计每条回答是「推荐」「只提到」「没出现」。这就是一次最小的基线。
Q: AI 回答里没有「排名」,怎么查品牌排第几?
A: AI 的推荐通常是一段话加几个选项,没有稳定的排名位次。更可靠的指标是:在一组问题里,你被推荐的比例是多少,被推荐时排在列表的第几个,推荐理由是什么。
Q: 手动测试靠谱吗?能不能批量测?
A: 手动测试可以起步,但要固定问题、平台、联网设置和提问次数,并完整保存原文。平台多、问题多、需要定期复测时,用工具或脚本通过接口批量采样更容易保持条件一致;记得接口和 App 的结果要分开统计。
Q: 用哪些问题来测?新品牌怎么做第一次摸底?
A: 优先用真实问题:客服咨询、销售记录、电商问答、搜索词。按用户决策阶段覆盖「了解品类、找方案、比较、核实事实」四类。新品牌的第一次摸底,重点看两件事:品类问题里是否出现,品牌问题里事实是否准确。
Q: 初步检测之后,要不要做正式诊断?
A: 看初步结果:如果在关键问题里普遍缺席、或者出现明显的事实错误,就值得做一次完整的基线,扩大问题范围、增加采样次数、覆盖更多平台。如果表现已经不错,可以只做定期抽查。
Q: 多个平台怎么一起监测?比如只想看 Kimi 的提及率?
A: 同一组问题在各平台分别采样,按平台单独出结果,再做横向比较。单看某一个平台也可以,但结论只代表那个平台和那种入口。
Q: 品牌提及率是怎么统计出来的?
A: 分子是明确提到目标品牌的有效回答数,分母是有效回答总数。请求失败的不算进分母;同名的其他主体要排除;问题里本身就写了品牌名的,不能算进自然提及率。
Q: 怎么追踪 AI 对品牌的描述变化?
A: 固定一组品牌事实类问题(是什么、价格、功能、适用对象),定期采样,把回答和你确认过的事实逐条对照,记录「说对 / 说错 / 答不上」。
Q: AI 回答里品牌不被提及,怎么排查原因?
A: 按顺序排查:AI 的搜索爬虫能否访问你的网站;官网上是否有用文字写清的关键信息;AI 引用的第三方来源里有没有你;品牌名是否容易和别的主体混淆。
Q: 大促前、竞品报告急着要,怎么快速做?
A: 缩小范围:只选与这次目标最相关的 10 个问题、2–3 个主要平台,每题问 3 次,按「谁被推荐、理由是什么、引用了谁」整理成表。报告里写清样本量和测试条件,不要把小样本结论写成定论。
Q: 汽车等特定行业怎么监测口碑和推荐?
A: 方法相同,问题换成该行业用户真实的问法,比如车型对比、续航、用车成本;同时单独统计 AI 描述的情感倾向和事实准确度。
Q: 多久监测一次?要看哪些维度?
A: 了解现状按月即可;正在发布内容、等待验证时按周或按发布节奏。维度至少包括:是否出现、是否推荐、推荐理由、事实准确度、引用来源,联网和不联网分开。
Q: AI 可见性分数是怎么算的?可信吗?
A: 各家的计算方法不同,常见做法是把提及、推荐、排序等加权合成一个分数。只有一个分数、看不到分子分母和原始回答时,很难判断它是否可信。建议优先看拆开的指标。
Q: 常用指标有哪些?推荐率、提及率、推荐份额、引用率有什么区别?
A: 提及率:有效回答中提到你的比例。推荐率:有效回答中把你作为建议选项的比例。推荐份额(也叫 AI 里的 share of voice、「心智份额」):所有被推荐的品牌名额里,你占了多少。引用率:回答附带的来源里有你的内容的比例。提到不等于推荐,被引用也不等于被推荐。
Q: 情感倾向怎么统计?
A: 对提到你的回答逐条判断是正面、中性还是负面,并保存判断依据的原句。自动判断要抽样人工复核。
Q: 分母不同的数据能比较吗?GEO 用什么 KPI?周报看什么?
A: 不能直接比较。问题集、平台、联网条件、采样次数不同,百分比就没有可比性。KPI 建议用推荐率、事实准确度和关键问题的覆盖情况,每个都写清口径;周报包含本期数值、与上期的同条件对比、主要变化的原始回答样例,以及本期采取的行动。
Q: 同一个问题 AI 每次回答都不一样,怎么办?要问几次才可靠?
A: 回答有随机性是正常的。常见做法是每题每个平台至少问 3 次,重要结论需要更多样本;看的是比例,不是某一次的结果。
Q: 怎么判断变化是真的,还是随机波动?
A: 复测时保持问题、平台、入口、联网设置和采样次数完全一致;变化幅度要明显大于同条件下重复测试时的自然波动;同时记录这段时间里模型是否更新、竞品是否有动作。
Q: 做完 GEO 怎么验证效果?复测要注意什么?
A: 在优化前做基线,优化内容发布并确认可以访问后,按相同条件复测。复测报告写清前后的样本量和条件,并说明有哪些因素无法排除。
Q: GEO 多久能看到效果?
A: 联网回答可能在内容被收录后几天到几周内出现变化;不联网的回答取决于模型何时更新训练数据,周期不受品牌控制。按发布后 7、14、30 天分别复测更稳妥。
Q: 回答变了,是因为优化还是因为模型更新?
A: 单靠前后对比无法完全区分。可以同时看:引用来源里是否出现了你新发布的内容;未做优化的对照问题是否也发生了类似变化;平台是否公布了模型更新。
继续了解测量方法
查看 GEO 效果怎么衡量与 Winin 测量方法论,了解样本范围、优化前基线和复测要求。