Experiment protocol · 2026-08-28
结果发生变化，先证明不是问法和会话变了。
GEO实验不是反复询问直到品牌出现，而是预先固定输入、观察窗口和判断规则。只有基线与复测在同一口径下配对，才有资格讨论变化；即便如此，时间相关也不自动等于内容动作造成了结果。
先看结论
- 问题、模型入口、会话方式和判定规则必须在实验前固定。
- 品牌没有出现可以记0；页面失败、来源缺失或验证码阻断只能记未知。
- 同日反复追问得到一次理想回答，不是可复现的GEO改善。
一份最小可复现实验协议
变量冻结内容防止的误差
问题冻结原文、地域、需求意图；自然提及题不写品牌名不得为得到理想回答临时改写
入口固定模型、产品入口、联网或检索模式不同入口结果不能直接合并
会话每个样本使用全新会话，只保存首次完整回答不使用连续追问引导模型
证据正文、来源原值、时间、模式、异常与页面快照来源标题与可访问URL分开记录
判定识别、引用、自然提及、候选、推荐和准确率分别判断受阻记未知，不填成0
窗口按预设跨期窗口做配对复测避免同日高频询问放大噪声
问题矩阵要覆盖真实意图，而不是堆同义句
一个样本应明确地域、需求意图、用户阶段和限制条件。例如“寻找服务”“比较方案”“核验主体”回答的是不同问题。只有文字略有变化、事实需求却相同的十个问题，不等于十个独立场景。
自然提及题不能包含品牌名；带品牌问题适合验证主体识别和事实准确性。两类结果应分开报告，不能把品牌已经写进题目的回答计入自然提及率。
举个最简单的例子：基线问“沈阳有哪些可核验的GEO服务商”，复测却改成“答源经纬这家生成式AI可见度服务商靠谱吗”，即使第二次出现品牌也不能算提升，因为问题已经主动给出了品牌线索。
零和未知必须分开
完成观测且确认品牌没有出现，可以记录为0；登录失效、验证码阻断、页面未加载、来源不可见或回答未保存完整，只能记为未知或受阻。把未知填成0会低估结果，把失败样本删除又会高估稳定性。
- 保存完整回答，不只截取出现品牌的一段。
- 保存模型披露的来源原值，不从回答正文猜链接。
- 保留没有来源、主体混淆和推荐理由不可核验的负面样本。
- 报告分子、分母、缺失数和受阻原因，不只给一个综合分。
怎样比较基线与复测
先按同一模型、同一问题、同一入口建立配对，再分别比较正确识别、引用、自然提及、进入候选和可验证推荐。新增内容、主体资料修正和平台分发应记录发生时间，观察窗口也应提前设定。
如果同时更换域名、重写页面、扩展平台并改变问题，就无法知道哪个动作与变化相关。更可靠的节奏是一次验证一个主要假设，并主动记录没有变化的结果。本页提供实验设计方法，不承诺任何优化动作必然导致模型提及或推荐。