快速答案
先排除题面、入口、联网状态和版本变化,再对照原始回答、可见来源与当前事实。不要把“模型问题”与“内容问题”当成必须二选一的答案:公开页错误可以确认,内容造成缺席的因果通常还要补证据;无法追到原因时,保留待定比盲目改稿更有用。
详细说明
先限定讨论对象
这里的“检测”是检查 AI 回答里的品牌描述、候选与推荐,不是识别 AI 生成文本。先写清到底是缺席、事实错误还是答案波动,避免用一个“准确率”概括不同问题。
保留固定问题、实际入口、语言、日期、联网状态和能确认的版本。消费端与 API 的设置不同或不可见时注明,不假定能够完全控制。方法背景见联网与闭卷区别。
用观察提出假设,再决定核查什么
| 观察 | 可以核查什么 | 暂时不能证明什么 |
|---|---|---|
| AI 错述与公开页错误一致 | 页面是否确有同样错误,引用是否对应 | 该页面是唯一原因 |
| 公开页准确,回答仍错 | 引用的对象、版本与原文是否匹配 | 错误一定来自模型内部 |
| 联网与闭卷描述不同 | 设置、题面、版本与可见来源 | 内容或训练知识是唯一原因 |
| 多个模型同样缺席 | 是否共享可见来源、题面是否真实适配 | 模型数量足以证明内容导致缺席 |
| 同题答案反复变化 | 条件是否一致,是否有重复存档 | 每次变化都要求改官网 |
这些是假设核查路径,不是根因识别算法。即使错误出现在被引用的页面,也应逐句核对引用是否支持对应断言。
根据证据选择内容修正或继续观察
如果公开事实确实错了、冲突或缺少必要范围,由负责人确认有效口径后准备修正。若只有一次缺席,先保留信号并补可比样本;若版本或条件变了,标记不可直接比较,不将差异归到改稿。
每项结论写成“已确认事实”“可能解释”“还需核查”三部分。对于看不到的检索过程或模型内部状态,不编造解释。没有证据支持的大规模改写,可以先暂缓。
复测能缩小不确定性,不能自动完成归因
记录实际发布的页面与日期,再用原题和可比条件观察。若期间还有模型更新、来源变化或其他内容动作,报告这些并行变化;没有变化记录也不能证明外部条件完全稳定。
结果可写为“在记录条件下,回答与现行事实一致;其他入口尚未核查”。避免从前后相关变化推导唯一原因。操作方法见同条件复测指南。
常见问答
Q: 怎么判断是模型问题还是我们内容的问题?
A: 先固定问题与可确认条件,再看错误是否对应现行公开内容。把能确认的页面问题、可能的解释和未知原因分列,证据不足时不强行二选一。
Q: 同一个问题每次答案都不同,要立刻改官网吗?
A: 先核对入口、联网状态、版本与上下文是否一致,并保留重复样本。公开页存在真实错误时修正;只凭答案波动不足以决定改稿。
Q: 联网说对了、不联网说错了,能确定原因吗?
A: 不能直接确定。两种方式可能涉及不同来源与设置,应分别存档并核对可见证据,不能把这一差异当成唯一根因。
Q: 多个模型都说错,能证明官网一定有问题吗?
A: 不能。多个回答可能对应不同设置或共同来源;先检查当前事实、引用对象和题面适配,再判断有没有可证实的页面错误。