一篇文章改写后，品牌在 AI 回答里出现得更多了。这个结果值得继续研究，但仅凭前后两张截图，无法知道变化来自改写、模型更新、搜索入口变化，还是问题本身的差异。
可信的 GEO 实验，应提前写清要改变什么、用什么比较、观察哪个环节，以及什么结果会让自己承认判断不成立。 如果这些都是看到上涨之后补写，报告很容易只留下对成功有利的样本。
本文提供实验设计建议，不报告任何新增效果数据。图表与算例均为假设示范，不代表妙蛙 GEO 或客户的实测结果。
一、先决定你究竟要测什么
“提高 AI 可见度”太宽，不能直接作为实验命题。一次改动可能影响网页被发现，也可能只影响页面已经进入上下文之后的表述。
先选一个主要问题，例如：“对于已进入受控 RAG 上下文的产品资料，补充适用条件后，回答是否更准确地复述这些条件？”这测的是证据使用，尚不能回答自然搜索是否更容易找到网页。
另一种问题是：“把已有产品页补充为可核验的技术说明后，固定的一组自然采购查询是否更常引用这些页面？”这贴近实际业务，但抓取、索引和候选选择都可能带来不可观测的变化。
建议在开始前写下四项：目标人群与查询、处理对象、主要指标、结论边界。没有稳定观察手段的中间环节，可以记为未知，不用猜一个算法补全。
二、自然网页观测与受控实验分开设计
| 设计 | 怎么做 | 更适合回答 | 主要限制 |
|---|---|---|---|
| 自然网页前后观测 | 修改公开页，按固定问题持续观测 | 业务环境是否出现变化 | 同期变化多，因果归因弱 |
| 配对页面与同期对照 | 相似页面分组，一部分修改，一部分保留 | 改动组相对对照组如何变化 | 页面不一定真正可比 |
| 受控语料实验 | 固定检索或上下文，随机分配内容版本 | 指定内容变化对输出的影响 | 不能证明自然发现能力 |
这些设计可以互补。受控实验先筛查一种改写有没有可能改善证据使用，自然环境再检验它能不能被发现和采用。两者的结论要分别写，不能把实验室里的结果直接作为官网引用增长承诺。
NIST 的实验设计方法强调随机分配，并利用分组处理重要干扰因素。将这一原则用于 GEO 时，可以把语言、平台、问题族或运行时段作为需要控制或记录的维度。这是方法迁移建议，不是 NIST 对某种 GEO 技巧的效果背书。
三、对照组需要承受相近的外部变化
“上周没改、这周改了”只有时间对照。如果这周模型整体更愿意搜索，所有页面的引用都可能上升。同期对照能够帮助识别这类共同变化，但仍需要核对两组的差异。
在可授权的页面集合里，可以先按主题、既有表现、语言和页面类型配对，再在每对内随机分配处理。不要把最强页面全部放进改动组，把长期无收录的页面留给对照组。
如果只改一篇页面，仍可做探索性观察，但需要诚实标明样本规模与时间混杂。没有对照，不妨碍记录现象；它限制的是能做多强的因果解释。
同时改标题、正文、域名与外链的实验，只能观察这一组动作的共同变化。若要知道哪一个因素起作用，应拆成可区分的处理；预算不够时，就保留“无法拆分”的结论。
四、固定问题，还要记录版本与运行环境
固定问题可以减少提问差异，但完全相同的问题也不保证相同答案。每条样本应记录平台与产品入口、公开可见的模型版本、语言、地区、登录和个性化状态、搜索是否触发、运行时间与来源。
网页端与 API 是不同观测表面。一个 API 返回了检索事件，不能据此断言消费端网页使用完全相同的流程。服务商没有公开或无法读取的字段，就记为不可观测。
建议提前冻结以下内容：
- 问题清单与问题族，品牌词问题和非品牌采购问题分别标注。
- 改动范围与发布时间，保存改动前后的正文版本。
- 主指标的判定规则，如“引用目标 URL”或“准确复述特定事实”。
- 失败、拒答、未触发搜索和无来源回答的分类规则。
- 复核窗口、停止规则与允许的协议偏离。
发生模型更新或平台异常时，保留原始运行记录。可以按预设规则补充一轮，但不要悄悄替换失败样本，再让所有结果看起来都来自同一种环境。
五、分母和独立样本比一个百分比更重要
假设改动组引用率从 10% 到 20%，对照组从 8% 到 18%。两组都涨了 10 个百分点，不能只展示改动组翻倍，就把增长归因给改写。
在这个假设算例中，“改动组变化减去对照组变化”为 0 个百分点。这个描述仍不是充分的因果证明；把它解释为处理效应，还依赖可比性、趋势与其他设计条件。
还要说明分母。以所有计划问题、成功返回的回答、触发搜索的回答，或实际检索到目标页的回答为分母，会得到不同指标。总引用率与检索后的条件引用率回答不同问题，应同时标明。
同一个问题重复 100 次，也不自动等于 100 个独立问题。回答可能在问题族、页面、模型与时间上相关。分析应考虑这些聚集关系；样本有限时，先展示逐题结果与变化范围，少下稳定规律的结论。
六、样本量与停止规则在实验前决定
不存在“每个平台跑 30 次就足够”的通用门槛。所需样本取决于基线概率、想识别的最小变化、随机波动、重复样本相关性与比较数量。
预算有限时，先用小规模试验估计波动，再决定正式实验规模。初步结果可以用来生成假设，但不要一边看结果一边延长实验，直到恰好出现满意的上涨才停止。
如果改动后的页面尚未被抓取，零变化无法区分“改写无效”和“处理尚未进入系统”。如果真实变化很小而样本太少，零结果也可能只是信息不足。报告应把处理是否交付与结果是否改变分别写清楚。
七、一份可复查的结论应该包含什么
建议保留实验问题、分组方法、原始问题与回答、页面版本、运行环境、失败与缺失、逐组分子分母，以及主要干扰因素。
结论可以写：“在所测平台、问题与时间窗口中，改动组相对对照组出现了某种变化；当前还不能排除哪些解释。”如果只是前后观测，就明确写成关联变化。
品牌引用上升之后，还需要单独观察入围、访问、有效询盘与订单。内容实验只测到了哪一层，就把结论停在哪一层。
想先了解常规监测的题目与证据口径，可参考监测方法和公开只读报告。持续监测提供观察基础，不会自动把每一次变化变成因果实验。
相关阅读
- 《答案层实测：用 prompt 抽样量化「AI 到底引不引用你」（含可复现审计模板）》
- 《被收录和被引用不是同一条链路：两个新域名、四个平台的同期观测》
- 《AI 推荐多了，销量就会涨吗？从引用、入围到询盘与订单的测量方法》
本文实验设计依据来自 NIST/SEMATECH 工程统计手册中的随机设计与随机区组设计。GEO 分层指标、日志字段与应用边界为妙蛙 GEO 的方法建议；假设算例未使用客户或平台实测数据，核对日期为 2026 年 10 月 29 日。