A/B 테스트 · 집행 전에
트래픽을 사기 전에 A/B 테스트하세요. 예산은 승자에게만.
AI 에이전트가 작업 도중 CrowdOS MCP 서버를 통해 A/B 테스트를 실행합니다. Free를 포함한 모든 플랜에서 가능합니다. 의견이 서로 갈리는 인구총조사 기반 패널이 모든 변형을 읽고 순위를 매깁니다. 하나의 모델이 내놓는 의견이 아닙니다. 트래픽 분할도 없고, 지는 변형에 예산을 태우지도 않습니다.
작동 방식
모든 응답자가 모든 변형을 봅니다.
라이브 A/B 테스트는 실제 방문자를 변형 사이에 나눕니다. CrowdOS는 모든 변형을 모든 응답자에게 보여 주고 선택을 요청합니다. 같은 사람이 A와 B를 판단하므로, 둘의 차이는 표본이 아니라 변형의 차이입니다.
MCP에서 에이전트는 compare_options에 2~10개의 텍스트 안을 넘기고 Borda 리더보드, 승자, 응답 이유 샘플을 받습니다. 이미지와 영상 광고는 Ads Labo가 같은 패널 내 비교 설계로 2~4개 변형을 판단하고, 대응 부호 검정으로 판정을 뒷받침합니다. 에이전트는 MCP에서 플랜별로 웹 앱과 같은 기능을 씁니다.
실행하는 세 가지 방법
같은 크라우드에게, 에이전트에서도 웹 앱에서도. 플랜별로 같은 기능입니다.
01
MCP에서 compare_options.
헤드라인, 본문, 슬로건, 가치 제안. 각 응답자가 모든 안의 순위를 매기고 Borda 집계로 리더보드를 만듭니다. 패널 규모는 플랜을 따르며, 웹 앱과 같습니다. preview_cost와 estimate_reach는 무료로 호출할 수 있습니다.02
Ads Labo, 에이전트에서도 웹 앱에서도.
Meta 방식 타기팅과 함께 2~4개의 이미지 또는 영상 변형. 강제 선택, 또는 '아무것도 아님'. 대응 부호 검정이 붙은 ship / tied / rework 판정, 95% Wilson 구간이 붙은 선호 점유율, 코호트별 역전.03
Pulse Comparison, 에이전트에서도 웹 앱에서도.
A/B/C/D 헤드라인, 태그라인, 가치 제안. 어떤 언어가 어떤 세그먼트에 와닿는지 원문 이유와 함께.04
그다음에 라이브 테스트.
승자를 라이브로 내보내세요. 패널은 상대적 선호를 보고하고, 클릭률, CPM, 전환은 라이브 예산이 보고합니다.
THE OPINION BENCHMARK
공표된 여론 벤치마크.
Pew 여론 벤치마크에서 군중의 의견 분포는 공표된 여론조사와 93.3% 일치도로 부합하며, 평균절대오차는 3.36 퍼센트포인트, Pearson r은 0.984입니다. 이 수치는 의견을 측정한 것입니다. 실제 캠페인에 대한 크리에이티브 순위는 별도의 측정입니다.
THE CROWD
인구총조사 분포가 먼저, 질문은 그다음.
군중은 24개 시장의 인구총조사 분포에서 추출됩니다.
WHERE THIS FITS
같은 군중에게, 다른 질문을.
출시 전 테스트는 라이브 A/B 테스트 전의 단계입니다. 광고 크리에이티브 테스트는 광고 그 자체입니다. 이 페이지는 유료 트래픽 대신 패널에서 돌리는 A/B 테스트입니다.
FAQ
트래픽 없이 A/B 테스트를 할 수 있나요?
네, 프리플라이트 판단으로서요. AI 에이전트가 작업 도중 CrowdOS MCP 서버에서 compare_options를 실행합니다. Free를 포함한 모든 플랜에서 가능합니다. 인구총조사 기반 패널의 모든 응답자가 모든 변형의 순위를 매기고, 리더보드가 승자를 알려 줍니다. 절대 수치는 그 승자에 라이브 트래픽을 붙여 확인합니다.
광고비를 쓰기 전에 광고 크리에이티브를 어떻게 A/B 테스트하나요?
2~4개의 이미지 또는 영상 변형을 Ads Labo에 넣으세요. 웹 앱에서 넣어도, 에이전트가 MCP로 보내도 됩니다. 하나의 패널이 무작위 순서로 모두 보고 탭하고 싶은 하나를 고르거나 아무것도 고르지 않습니다. 보고서는 대응 부호 검정으로 뒷받침되는 ship, tied, rework로 시작하며, 각 점유율에 95% Wilson 구간이 붙습니다.
라이브 A/B 테스트를 대신하나요?
어떤 변형이 라이브 테스트를 받을지 정합니다. 패널은 상대적 선호를 보고합니다. 클릭률, CPM, CPI는 경매 결과이며 CrowdOS는 이를 출력하지 않습니다.
어느 변형이 나은지 모델 하나에게 물어보면 안 되나요?
모델 하나가 N명의 페르소나를 연기해도 사실상 n=1입니다. CrowdOS 패널은 인구총조사 데이터에서 뽑히고 의견이 서로 갈리므로, 승자는 그 이견을 견뎌야 합니다.
몇 개의 변형을 비교할 수 있나요?
compare_options 호출당 텍스트 안 2~10개, 플랜 한도 안에서 웹 앱과 같습니다. Ads Labo는 하나의 패널에서 2~4개의 이미지 또는 영상 변형을 비교합니다. 웹 앱에서도 MCP에서도.