A/B テスト · 出稿の前に
トラフィックを買う前に A/B テストを。 予算は勝者にだけ。
AI エージェントは作業の途中で、CrowdOS の MCP サーバー経由で A/B テストを実行します。Free を含むすべてのプランで利用できます。互いに意見が食い違う国勢調査ベースのパネルが、すべてのバリエーションを読み、順位をつけます。1 つのモデルの意見ではありません。トラフィックの分割は不要。負けるバリエーションに予算を燃やすこともありません。
仕組み
回答者全員が、すべてのバリエーションを見る。
ライブの A/B テストは、実際の訪問者をバリエーション間で分けます。CrowdOS は、すべてのバリエーションをすべての回答者に見せて選んでもらいます。同じ人が A と B を判断するので、両者の差はサンプルではなくバリエーションの差です。
MCP では、エージェントが compare_options に 2〜10 個のテキスト案を渡し、Borda のリーダーボード、勝者、回答理由のサンプルを受け取ります。画像と動画の広告は、Ads Labo が同じパネル内比較の設計で 2〜4 本を判断し、対応のある符号検定で判定を裏づけます。エージェントは MCP で、プランごとに Web アプリと同じ機能を使えます。
3 つの実行方法
同じ群衆に、エージェントからでも Web アプリからでも。プランごとに同じ機能です。
01
MCP で compare_options。
見出し、本文、スローガン、価値提案。回答者はすべての案に順位をつけ、Borda カウントでリーダーボードを作ります。パネルの規模はプランに従い、Web アプリと同じです。preview_cost と estimate_reach は無料で呼び出せます。02
Ads Labo を、エージェントからでも Web アプリからでも。
Meta 形式のターゲティングで、2〜4 本の画像または動画のバリエーション。強制選択、または「どれも選ばない」。対応のある符号検定つきの ship・tied・rework 判定、95% Wilson 区間つきの選好シェア、コホート別の逆転。03
Pulse Comparison を、エージェントからでも Web アプリからでも。
A/B/C/D の見出し、タグライン、価値提案。どの言葉がどのセグメントに響くかを、逐語の理由とともに。04
そのあとでライブテスト。
勝者を本番に出します。パネルが報告するのは相対的な選好。クリック率、CPM、コンバージョンはライブの予算が報告します。
オピニオン・ベンチマーク
公表しているオピニオン・ベンチマーク。
Pew のオピニオン・ベンチマークでは、群衆の意見分布は公表された世論調査と 93.3% の一致率で合致し、平均絶対誤差は 3.36 ポイント、Pearson r は 0.984 です。この数値が測るのは意見です。実際のキャンペーンに対するクリエイティブの順位付けは、別の測定になります。
群衆
まず国勢調査の分布、次に問い。
群衆は 24 市場の国勢調査の分布から抽出されています。
関連ページ
同じ群衆に、別の問いを。
ローンチ前テストは、ライブ A/B テストの前の工程です。広告クリエイティブテストは広告そのもの。このページは、有料トラフィックではなくパネルで行う A/B テストです。
FAQ
トラフィックなしで A/B テストはできますか？
できます。プリフライトの読みとして。AI エージェントは作業の途中で、CrowdOS の MCP サーバー経由で compare_options を実行します。Free を含むすべてのプランで利用できます。国勢調査ベースのパネルの回答者全員がすべてのバリエーションに順位をつけ、リーダーボードが勝者を示します。絶対値は、その勝者にライブトラフィックを流して確かめます。
広告費をかける前に、広告クリエイティブを A/B テストするには？
2〜4 本の画像または動画のバリエーションを Ads Labo に入れます。Web アプリからでも、エージェントに MCP で送らせても構いません。1 つのパネルがランダムな順ですべてを見て、タップしたいものを 1 つ選びます。どれも選ばないこともできます。レポートは対応のある符号検定に裏づけられた ship・tied・rework で始まり、各シェアに 95% Wilson 区間がつきます。
ライブの A/B テストの代わりになりますか？
どのバリエーションをライブテストに出すかを決めます。パネルが報告するのは相対的な選好です。クリック率、CPM、CPI はオークションの結果であり、CrowdOS は出力しません。
どちらが良いか、1 つのモデルに聞けばよいのでは？
1 つのモデルが N 人のペルソナを演じても、実質 n=1 です。CrowdOS のパネルは国勢調査データから抽出され、互いに意見が食い違います。勝者は、その食い違いに耐えなければなりません。
いくつのバリエーションを比較できますか？
compare_options 1 回につきテキスト案 2〜10 個。上限はプランに従い、Web アプリと同じです。Ads Labo は 1 つのパネルで 2〜4 本の画像または動画のバリエーションを比較します。Web アプリからでも MCP からでも。