A/B 測試 · 投放之前
買流量之前，先做 A/B 測試。 預算只花在勝者身上。
你的 AI 代理在任務進行中，透過 CrowdOS MCP 伺服器執行 A/B 測試，所有方案均可使用，Free 也不例外。一個以人口普查為基準、內部存在分歧的樣本組閱讀每個版本並排序，而不是一個模型的意見。不用分流量，也不會把預算燒在輸掉的版本上。
執行方式
每位受訪者都看到每個版本。
線上 A/B 測試把真實訪客分到不同版本。CrowdOS 把每個版本展示給每位受訪者，並請他們做出選擇。同一個人評判 A 和 B，所以兩者的差異來自版本，而不是樣本。
透過 MCP，代理對 2–10 個文字選項呼叫 compare_options，得到 Borda 排行榜、勝者和理由樣本。對於圖片和影片廣告，Ads Labo 以同一樣本組內比較的設計評判 2–4 個版本，並用配對符號檢驗支撐結論。代理透過 MCP 獲得的功能，與你的方案在網頁版中相同。
三種執行方式
同一群人，從代理或網頁版都能問，每個方案功能相同。
01
透過 MCP 呼叫 compare_options。
標題、正文、口號、價值主張。每位受訪者為所有選項排序，Borda 計數生成排行榜。樣本規模隨方案而定，與網頁版相同。preview_cost 和 estimate_reach 可免費呼叫。02
Ads Labo，從代理或網頁版使用。
2–4 個圖片或影片版本，配合 Meta 式定向。強制選擇，或者都不選。帶配對符號檢驗的 ship / tied / rework 結論、帶 95% Wilson 區間的偏好份額，以及人群翻轉。03
Pulse Comparison，從代理或網頁版使用。
A/B/C/D 標題、標語和價值主張，並附逐字理由，說明哪種措辭打動哪個細分人群。04
然後再做線上測試。
把勝者推上線。樣本組報告相對偏好；點選率、CPM 和轉化由線上預算來報告。
人群
先看人口普查分布，再提問。
人群取自 24 個市場的人口普查分布。
相關頁面
同一群人，換一種提問。
上市前測試是線上 A/B 測試之前的環節。廣告創意測試針對廣告本身。這一頁講的是 A/B 測試：在樣本組上跑，而不是在付費流量上跑。
常見問題
沒有流量能做 A/B 測試嗎？
能，作為預檢判斷。你的 AI 代理在任務進行中，透過 CrowdOS MCP 伺服器執行 compare_options，所有方案均可使用，Free 也不例外。以人口普查為基準的樣本組中，每位受訪者為每個版本排序，排行榜給出勝者。之後再用線上流量在這個勝者身上確認絕對數值。
投廣告之前，如何對廣告創意做 A/B 測試？
把 2–4 個圖片或影片版本放進 Ads Labo——在網頁版中上傳，或讓代理透過 MCP 提交。一個樣本組以隨機順序看完所有版本，選出自己會點的那一個，或者都不選。報告以 ship、tied 或 rework 開頭，由配對符號檢驗支撐，每個份額都帶 95% Wilson 區間。
它能取代線上 A/B 測試嗎？
它決定哪個版本值得進入線上測試。樣本組報告相對偏好。點選率、CPM 和 CPI 是競價結果，CrowdOS 不輸出這些數字。
為什麼不直接問一個模型哪個版本更好？
一個模型扮演 N 個人設，實際上是 n=1。CrowdOS 的樣本組取自人口普查資料，內部存在分歧，所以勝者必須經得起分歧。
可以比較多少個版本？
每次 compare_options 呼叫 2–10 個文字選項，上限隨方案而定，與網頁版相同。Ads Labo 在一個樣本組上比較 2–4 個圖片或影片版本，網頁版和 MCP 皆可。