A/B 测试 · 投放之前
买流量之前，先做 A/B 测试。 预算只花在胜者身上。
你的 AI 智能体在任务进行中，通过 CrowdOS MCP 服务器运行 A/B 测试，所有套餐均可使用，Free 也不例外。一个以人口普查为基准、内部存在分歧的样本组阅读每个版本并排序，而不是一个模型的意见。不用分流量，也不会把预算烧在输掉的版本上。
运行方式
每位受访者都看到每个版本。
线上 A/B 测试把真实访客分到不同版本。CrowdOS 把每个版本展示给每位受访者，并请他们做出选择。同一个人评判 A 和 B，所以两者的差异来自版本，而不是样本。
通过 MCP，智能体对 2–10 个文字选项调用 compare_options，得到 Borda 排行榜、胜者和理由样本。对于图片和视频广告，Ads Labo 以同一样本组内比较的设计评判 2–4 个版本，并用配对符号检验支撑结论。智能体通过 MCP 获得的功能，与你的套餐在网页版中相同。
三种运行方式
同一群人，从智能体或网页版都能问，每个套餐功能相同。
01
通过 MCP 调用 compare_options。
标题、正文、口号、价值主张。每位受访者为所有选项排序，Borda 计数生成排行榜。样本规模随套餐而定，与网页版相同。preview_cost 和 estimate_reach 可免费调用。02
Ads Labo，从智能体或网页版使用。
2–4 个图片或视频版本，配合 Meta 式定向。强制选择，或者都不选。带配对符号检验的 ship / tied / rework 结论、带 95% Wilson 区间的偏好份额，以及人群翻转。03
Pulse Comparison，从智能体或网页版使用。
A/B/C/D 标题、标语和价值主张，并附逐字理由，说明哪种措辞打动哪个细分人群。04
然后再做线上测试。
把胜者推上线。样本组报告相对偏好；点击率、CPM 和转化由线上预算来报告。
人群
先看人口普查分布，再提问。
人群取自 24 个市场的人口普查分布。
相关页面
同一群人，换一种提问。
上市前测试是线上 A/B 测试之前的环节。广告创意测试针对广告本身。这一页讲的是 A/B 测试：在样本组上跑，而不是在付费流量上跑。
常见问题
没有流量能做 A/B 测试吗？
能，作为预检判断。你的 AI 智能体在任务进行中，通过 CrowdOS MCP 服务器运行 compare_options，所有套餐均可使用，Free 也不例外。以人口普查为基准的样本组中，每位受访者为每个版本排序，排行榜给出胜者。之后再用线上流量在这个胜者身上确认绝对数值。
投广告之前，如何对广告创意做 A/B 测试？
把 2–4 个图片或视频版本放进 Ads Labo——在网页版中上传，或让智能体通过 MCP 提交。一个样本组以随机顺序看完所有版本，选出自己会点的那一个，或者都不选。报告以 ship、tied 或 rework 开头，由配对符号检验支撑，每个份额都带 95% Wilson 区间。
它能取代线上 A/B 测试吗？
它决定哪个版本值得进入线上测试。样本组报告相对偏好。点击率、CPM 和 CPI 是竞价结果，CrowdOS 不输出这些数字。
为什么不直接问一个模型哪个版本更好？
一个模型扮演 N 个人设，实际上是 n=1。CrowdOS 的样本组取自人口普查数据，内部存在分歧，所以胜者必须经得起分歧。
可以比较多少个版本？
每次 compare_options 调用 2–10 个文字选项，上限随套餐而定，与网页版相同。Ads Labo 在一个样本组上比较 2–4 个图片或视频版本，网页版和 MCP 均可。