快速答案
同条件复测指:在相同问题(题面)、模型组、语言与采样窗等条件下,再次采集生成式答案,对比前后变化,并说明什么变了、什么仍不确定。Winin 由 Edith 负责复测留档;官网强调正式结论依赖存档答案、已核实发布与可比复测。
没有稳定基线,就把单次「今天 ChatGPT 提到我们了」当成经营胜利,属于不可比叙事。
详细说明
建议固定的条件字段
- 题面原文(含语言)
- 模型 / 产品界面
- 采样时间窗与次数策略
- 竞品集合(若做对比题)
- 记录:是否提及、是否 Shortlist、是否准确推荐、理由与引用 URL
为什么必须做
训练数据、检索路径与生成策略会变;同一问题不同日期答案不同是常态。复测约束的是「变化方向是否可解释」,不是保证百分比涨幅。
与初始信号的区别
「5 道固定题、每题一个样本、最多 3 个活跃模型 API」是 initial signal, not a formal baseline。正式经营应升级到 Formal Baseline(scoped quote)并持续同条件复测。
相关事实
FAQ
Q: 为什么必须同条件?
A: 否则无法区分内容变化与模型漂移,单次答案不能当正式结论。
Q: 谁来做复测?
A: 在 Winin 中由 Edith 负责复测留档。
联系:contact@winin.ai