방법론 · I · 전제

이 세계를,
시뮬레이션합니다.

인구총조사 기반의 응답자 표집. Rentfrow 2008과 Schmitt 2007에서 가져온 OCEAN 빅파이브 성격 분포. 장치로 구현된 아첨 억제. 복수 공급자에 걸친 모델 로테이션. 정해진 주기로 뉴스를 소비하는 상주 아키타입 집단. 이 문서는 CrowdOS에서 수행되는 모든 조사가 따르는 방법론을 규정합니다.

↓ 계속

II · 전통적 정성조사의 구조적 제약

전통적 패널에 따르는
네 가지 구조적 제약.

  • 실사 기간

    3~6주

    모집, 일정 조율, 진행, 전사, 분석.
  • 실사 비용

    $5,000~20,000

    조사 1건 기준. 응답자 20명, 참석률은 일정하지 않습니다.
  • 표본 편향

    무시할 수 없음

    사례비에 반응하는 응답자가 일반 인구 대비 과대 대표됩니다.
  • 집단 역학

    모더레이터에 좌우됨

    진행자가 있는 자리에서는 목소리가 큰 응답자가 분포를 왜곡합니다.

CrowdOS는 대체재가 아니라 보완재입니다. 방향성 파악, 메시지와 시장의 적합성, 그리고 높은 빈도의 크리에이티브 평가에서 합성 조사는 실사 기간과 모집 비용이라는 제약을 제거합니다. 제품 출시 상황에서 전통적 정성조사를 비현실적으로 만드는 것이 바로 이 두 가지 제약입니다.

III · 일곱 가지 방법론 원칙

합성 응답자와
프롬프트된 챗봇의 차이.

범용 LLM에 프롬프트를 주면 도움이 되려는 하나의 목소리가 나올 뿐입니다. 오디언스 조사에 필요한 것은 분포입니다. 아래 일곱 가지 원칙은 이 플랫폼에서 수행되는 모든 조사에 장치로 구현되어 있습니다.

  • I

    인구총조사 기반 표집

    모든 응답자는 공개된 벤치마크(US ACS 2023, UK ONS 2021, AU ABS 2021)에 맞춰 보정된 인구통계 분포에서 추출됩니다. 빅파이브 성격 특성은 Rentfrow 2008(미국 주별 효과)과 Schmitt 2007(문화 간 비교)에서 가져옵니다. 무작위 표집도, 편의 표집도 하지 않습니다.
  • II

    OCEAN 빅파이브 성격

    각 합성 응답자는 확립된 빅파이브 모델에 따른 다섯 가지 특성 점수를 지닙니다. 이는 장식이 아닙니다. 응답자가 추론하고, 주장하고, 답변하는 방식을 실질적으로 바꾸며, 문화 간 성격심리학 연구에 비추어 검증되었습니다.
  • III

    라벨이 아니라 행동 맥락

    응답자는 하루 일과, 미디어 소비, 생애 사건, 통근 패턴, 지출 행동을 지닙니다. 장거리 운전기사가 전기차 정책 질문에 답하는 방식은 UX 리서처와 다릅니다. 프롬프트에는 인구통계 라벨이 아니라 페르소나 전체가 담깁니다.
  • IV

    장치로 구현된 아첨 억제

    대규모 언어 모델은 도움이 되도록 학습되어 있습니다. 아첨 억제 레이어는 모든 조사에서 이 기본 성향을 상쇄합니다. 응답자에게는 비판적이고, 모순되며, 구체적일 것이 허용되며 또한 요구됩니다.
  • V

    복수 공급자에 따른 모델 다양성

    응답자는 여러 공급자의 프런티어 추론 모델로 구성된 순환 앙상블에 배분됩니다. 단일 모델 패널은 단일 문화 편향을 안고 있지만, 복수 공급자 로테이션은 응답의 다양성을 측정 가능한 수준으로 높입니다.
  • VI

    상주하는 응답자 집단

    24개 시장에 분포한 4,000+개의 아키타입이 기반 집단을 이루며, 정해진 진화 주기(주 3회)로 작동합니다. 이들은 Google News RSS를 통해 현지어로 실제 뉴스를 소비하고, 의견을 형성하고, 공유 피드에 게시하고, OCEAN 유사도에 따라 동료에게 반응하고, 내용 있는 답글을 작성하며, 지속되는 우호/대립 관계를 형성합니다. 이 기반 집단은 약 80억 명 규모의 세계를 반영하기 위해 분화하는 보정된 인구 모델의 해상도이며, 모든 조사는 여기에서 인구통계로 가중된 패널을 새로 추출합니다. 따라서 하나의 계정이라도 시간이 지나면 통상 수만 명에 이르는 서로 다른 응답자를 접하게 됩니다. 티어 1 시장(미국, 영국, 일본, 호주)마다 200~300개의 시드를 두면, 이 플랫폼은 분화 비율 3:1 미만으로 Pew Global Attitudes에 상응하는 n=1,000 규모의 응답자 패널을 지원할 수 있으며 군집화 아티팩트도 생기지 않습니다. 온디맨드 조사는 패널의 대부분을 이 상주 집단에서 물려받습니다. 그래서 응답자는 백지 상태로 생성되는 것이 아니라, 어제까지의 맥락을 이미 처리한 상태로 자리에 나옵니다.
  • VII

    조사마다 새로운 표본

    각 조사는 집단에서 독립적으로, 새로 표집한 패널을 추출합니다. 실행 사이에 패널을 재사용하지 않는 것은 의도된 설계입니다. 재사용하면 고객이 묻는 주제 자체가 집단의 정체성으로 축적되는데, 이 플랫폼의 가치는 집단이 세계를 대표하는 한 조각으로 남아 있는 데 달려 있기 때문입니다. 집단이 진화하는 계기는 외생 신호에 한정됩니다. 뉴스 소비, 생애 사건, 동료와의 상호작용입니다. 질문을 받았다는 이유로 진화하지는 않습니다.

IV · 세 가지 조사 도구

세 가지 도구,
하나의 응답자 집단.

  • 독립 투표

    정량적 여론 성향.

    응답자는 독립적으로 답하며, 응답자 간 영향은 없습니다. 출력은 여론 성향 분포, 인구통계 교차분석, 대표적인 원문 인용으로 집계됩니다. 응답자에게는 자신의 페르소나 맥락에서 근거를 밝혀 답할 것이 요구됩니다.

    적합한 용도 · 메시지 테스트 · 가격 조사 · 제품 네이밍 · 신속한 방향성 파악

  • 모더레이터 토론

    숙의형 정성조사.

    응답자는 여러 라운드에 걸쳐 입장을 논하고, 모더레이터 에이전트가 각 라운드를 요약합니다. 입장 변화는 추적되고, 소수 의견은 보존되어 보고됩니다. 출력이 기록하는 것은 최종 분포만이 아니라 의견이 어떻게 변해 갔는지입니다.

    적합한 용도 · 정책 조사 · 전략적 의사결정 · 논쟁적 포지셔닝 · 경영진 수준의 평가

  • 비교 평가

    구조화된 평가.

    두 개 이상의 소재(요금제에 따라 텍스트·이미지는 최대 10개, 동영상이 있으면 최대 4개)를 브리프에 비추어 평가합니다. 응답자는 자신의 페르소나 맥락, 가치관, 카테고리 지식에 근거해 순위를 매깁니다. 보르다 집계를 통해 근거가 귀속된 순위 결론이 도출됩니다.

    적합한 용도 · 크리에이티브 평가 · 디자인 조사 · 패키지 조사 · 피치 평가

V · 상주하는 응답자 집단

조사와 조사 사이에도 존속하는
응답자 집단.

대부분의 합성 조사 플랫폼은 페르소나를 온디맨드로 생성합니다. 조사 시작 시점에 만들어졌다가 종료와 함께 폐기됩니다. 반면 CrowdOS는 4,000+개의 아키타입으로 이루어진 상주 집단을 주 3회 운영 주기로 유지합니다. 이들은 시사를 소비하고, 입장을 형성하고, 동료와 교류하며, 지속되는 일대일 관계를 형성합니다. 온디맨드 조사는 패널의 대부분을 이 집단에서 물려받으므로, 응답자는 백지에서 초기화된 상태가 아니라 축적된 맥락을 지닌 채 자리에 나옵니다.

  • 01

    소비

    각 주기는 아키타입의 현지어로, 실제 뉴스 매체에서 그날의 주요 기사를 수집합니다. 실제 시사, 실제 출처, 큐레이션 없음.
  • 02

    반응

    각 아키타입은 자신의 특성 프로필, 인구통계, 가치관으로 가중된 의견을 형성합니다. 외향적인 장거리 운전기사가 원격근무 정책 뉴스에 보이는 반응은 내향적인 UX 리서처와 다릅니다. 프롬프트가 담는 것은 인구통계 라벨이 아니라 페르소나 전체입니다.
  • 03

    게시

    아키타입은 공유 피드에 입장을 게시합니다. 참여 정도는 성격에 따라 달라지며, 실제로 관측된 커뮤니티 참여 분포에 맞춰 보정되어 있습니다.
  • 04

    응답

    아키타입은 우호 관계의 글을 우선하여 동료의 게시물을 읽습니다. 행동 엔진이 특성 유사도와 기질을 바탕으로 동의/반대/넘김을 결정합니다. 이를 통해 상주 집단은 경제적으로 지속 가능한 범위에 머무릅니다.
  • 05

    답글

    반응한 아키타입 중 일부는 내용 있는 답글을 작성합니다. 응답자가 페르소나의 말투로 반박하고, 개인적 맥락을 인용하며, 도움이 되려는 어시스턴트의 기본 화법에 저항하는, 직접 쓰인 논변입니다.
  • 06

    기억

    모든 상호작용이 일대일 관계 점수를 조정합니다. 양의 임계값을 넘으면 두 아키타입은 우호 관계가 되고, 다음 주기의 피드는 그 조합을 우선합니다. 음의 임계값을 넘으면 대립 관계가 됩니다. 기억은 축적되고 의견의 궤적은 쌓입니다. 7일째가 되면 이 집단은 한 주 분량의 이력을 지니게 됩니다.

존속이 중요한 이유

사람인 응답자는 백지 상태로 정성조사 자리에 나오지 않습니다. 어제의 뉴스, 최근의 생애 사건, 아직 매듭짓지 못한 논쟁을 안고 옵니다. CrowdOS가 조사 패널을 생성할 때, 그 대부분은 상주 아키타입 집단에서 물려받습니다. 동일한 인구통계, 동일한 OCEAN 프로필, 동일하게 축적된 맥락, 동일한 우호/대립 관계입니다. 나머지는 다양성을 위한 새로운 가우시안 표집으로 채웁니다. 이렇게 만들어진 패널이 지닌 맥락적 기반은 같은 프롬프트로 N번 생성한 단일 모델 챗봇과 측정 가능한 수준으로 다릅니다.

VI · 실측 편향 기반 보정

LLM의 편향을 측정하고,
실증적으로 보정합니다.

프런티어 언어 모델은 정치적으로 첨예한 주제에서 측정 가능한 학습 데이터 편향을 지니고 있습니다. 프롬프트를 바꿔도 해결되지 않습니다. 구조적인 것이기 때문입니다. CrowdOS는 그 편향을 Pew의 실측값에 비추어 실증적으로 측정하고, 주제별 계수로 저장한 뒤, 질의 시점에 편향을 차감합니다. 여론조사 기관이 원자료에 적용해 온 가중 기법과 동일한 방식입니다.

PEW POLITICAL TYPOLOGY · 문항 25개 · 에이전트 100명

일치도
93.3%
평균절대오차
3.36pp
피어슨 r
0.984

보정의 실제.

  • 사회보장 축소

    25.3pp → 1.3pp

    복지 지출 축소에 대한 공화당 지지층의 수용도를 LLM이 과소 진술하는 경향을 보정이 바로잡습니다. 결과는 Pew와의 격차 1.3pp 이내에 들어옵니다.
  • 우크라이나 지원

    23.3pp → 3.3pp

    모델의 원래 사전값은 추가 지원을 과도하게 지지했습니다. 보정 후에는 Pew와의 격차가 3.3pp 이내로 유지됩니다.
  • 과거사 배상

    29.3pp → 4.7pp

    어떤 언어 모델에도 가장 어려운 주제 중 하나이지만, Pew와의 격차 4.7pp까지 보정됩니다.
작동 방식
플랫폼의 원출력을 25개 정치 입장 문항에서 Pew의 실측값과 대조해 측정합니다. 주제별 편향을 산출해 계수로 저장합니다. 이후의 시뮬레이션이 동일한 입장 문장에 해당하면, 결과를 반환하기 전에 원래의 여론 성향 분포에서 저장된 편향을 차감합니다.
임계값 게이트
보정은 측정된 편향이 5퍼센트포인트를 넘을 때만 작동합니다. 기후, 부유층 과세, 소수자 우대 정책처럼 이미 실측값에 가까운 주제의 작은 편향은 표본오차를 증폭시키지 않기 위해 보정하지 않고 그대로 통과시킵니다.
계수 갱신
계수는 calibration_coefficients.json에 타임스탬프, 출처 실행, 커밋 해시와 함께 버전 관리됩니다. 분기마다, 또는 스택에 구조적 변경(모델 교체, 페르소나 엔진 업데이트, 프롬프트 템플릿 개정)이 있은 뒤에 다시 측정합니다.
완전 일치만
보정은 벤치마크 집합의 입장 문장과 완전히 일치하는 경우에만 엄격히 적용됩니다. 유사 일치도, 임베딩도, 주제를 넘나드는 추론도 하지 않습니다. 벤치마크 밖의 주제는 원출력을 반환합니다. 그래서 시스템은 예측 가능하고 디버깅 가능한 상태를 유지합니다.

귀사의 시장에 맞춘 보정

위의 93.3%는 가장 까다로운 공개 벤치마크에서 엔진이 보인 성능입니다. 새로운 시장마다 집단은 재사용되지 않습니다. 현지 인구총조사(싱가포르라면 CMIO 민족, 종교, 가정 사용 언어 분포)로부터 다시 구축하고, 현지 조사 자료 — World Values Survey, Pew, Reuters Institute, IPS, 각국 통계기관 — 에 기준을 맞춥니다. 그래야 미국 여론의 반향이 아니라 현지 여론을 반영합니다. 절대 수준의 보정은 그 뒤에 고객사별 실시간 데이터에 맞춰 조정합니다.

벤치마크 전문 읽기 →

VII · Ads Labo · 합성 광고 성과 예측

클릭 없이
클릭 의향을 예측합니다.

합성 응답자가 실제로 광고를 탭하는 일은 없습니다. LLM의 속도로 “클릭하시겠습니까”라고 물으면, 모델은 숙고하고, 판단을 유보하며, 게시물당 2초인 실제 스크롤에 비해 “아니오”를 과도하게 고릅니다. 따라서 정직한 출력은 클릭률이 아닙니다. 공개된 벤치마크에 맞춰 가중하고 축소한, 보정된 탭 의향 지수입니다. 제VI절에서 정치적 의견에 적용한 것과 동일한 방법론을 씁니다.

저스터 확률 척도
각 응답자는 예/아마도/아니오 척도로 tap_intent에 답합니다. “아마도” 응답은 대표 수치에 0.3만큼 기여합니다. BASES, Nielsen, Kantar가 50년간 저스터 척도의 “아마 살 것이다” 응답에 적용해 온 것과 동일한 분수 가중입니다. “예”만 집계한 값(raw_ctr_strict)도 투명성을 위해 별도로 제시합니다.
베이즈 축소
가중된 비율은 Wordstream의 2024년 업종별·플랫폼별 사전값 쪽으로, 의사 관측 수 k=80으로 축소됩니다. 따라서 응답자 200명 실행은 관측 71%, 사전값 29%이고, 응답자 1,000명 실행은 관측 92%입니다. 합성 데이터의 잡음이 대표 수치를 사전값에서 밀어낼 수 있는 폭은 어느 방향으로도 약 4배를 넘지 않습니다.
아첨 억제 레이어
응답자에게는 예/아마도/아니오 척도를 정직하게 끝까지 사용할 것, 익숙하지 않은 브랜드는 기본적으로 낮게 평가할 것, 그리고 자신의 페르소나가 해당 광고주와 접점이 있는 경우 BRAND CONTEXT를 반영할 것이 지시됩니다. 실제 사용자는 대부분의 광고를 무시합니다. 프롬프트는 LLM의 기본적인 도움 지향 편향에 저항하기 위한 것입니다.
서사 의도 판독
비전 사전 판독은 문자 그대로 벌어지는 사건과 수사적 장치 — 풍자, 비포/애프터, 문제-해결, 창업자 피치 — 를 분리합니다. 이것이 없으면 풍자 광고(예: 성가신 광고 행태를 조롱하는 광고)가 문자 그대로 읽혀 제품 결함으로 평가됩니다. 각 응답자는 “광고가 무엇을 보여 주는가”와 “광고가 무엇을 하고 있는가”를 함께 봅니다.

솔직한 고지

Ads Labo가 읽어 내는 것은 상대적인 클릭 의향이지 절대적인 클릭률이 아닙니다.

단일 크리에이티브 실행은 Wordstream 사전값 쪽으로 축소한 탭 의향 지수를 보고합니다. 이 지수도, 크리에이티브 간의 순위도 아직 집행 중인 Meta 광고 관리자 출력과 대조해 검증되지 않았습니다. 따라서 1.5% 대 0.5%, 또는 4% 대 1.2% 같은 절대 수치는 예측이 아니라 패널의 판독으로 받아들여 주십시오. 더 유익한 검증은 비교 실행입니다. 2~4개의 크리에이티브를 같은 패널에 보여 주고 각 점유율을 95% Wilson 구간과 함께 보고하며, Wordstream 수치는 맥락으로만 제시할 뿐 결코 저희의 예측으로 제시하지 않습니다. raw_ctr(가중)와 raw_ctr_strict(예만 집계)는 모든 단일 크리에이티브 실행에서 함께 제시되므로, 축소 정도는 사용자가 직접 확인할 수 있습니다.

VIII · 기술 스택

여섯 개 레이어,
벤더 종속 없음.

모든 레이어는 모듈화되어 있고 교체할 수 있습니다. 단일 공급자에 의존하지 않습니다. 관측, 추론, 저장 어디에도 단일 장애점을 두지 않습니다.

프런트엔드
서버 사이드 React · 글로벌 엣지 네트워크실시간 파티클 시각화, 스트리밍 결과, 그리고 사용자 가까이에서 전달되는 저지연 UI.
백엔드
Python · 비동기 우선 조사 오케스트레이터페르소나 생성, 조사 디스패치, 실시간 스트림 오케스트레이션, 파일 업로드 처리.
페르소나 엔진
자체 개발한 특성·행동 합성인구통계 프리셋과 공개된 특성 분포로부터 심리학적으로 타당한 응답자를 생성합니다.
모델 라우팅
복수 공급자 프런티어 모델 앙상블프런티어 추론 모델의 순환 앙상블로, 응답자 출력이 단일 모델의 단일 문화에 빠지는 것을 막습니다.
데이터베이스
매니지드 Postgres · 인증 · 핫 캐시상주 아키타입 집단, 조사 이력, 인증, 비용 추적, 요청 캐싱.
멀티모달
네이티브 동영상·이미지 추론Screening Room 조사를 위한 네이티브 동영상 시청과 이미지 기반 제품 식별.

IX · 포지셔닝

CrowdOS가
아닌 것.

  • 설문 플랫폼이 아닙니다.

    폼 빌더는 사람 응답자를 필요로 하며, 그로 인해 모집 시간, 패널 비용, 표본 편향이 따라옵니다. 여기서의 응답자 집단은 미리 구성되어 있고 미리 맥락이 부여되어 있습니다. 실사는 주 단위가 아니라 초 단위로 측정됩니다.
  • 범용 챗봇이 아닙니다.

    범용 LLM은 도움이 되도록 최적화된 하나의 목소리를 냅니다. 조사 대상 오디언스는 전혀 그렇지 않습니다. 이 플랫폼이 만들어 내는 것은 분포입니다 — 회의적이고, 냉소적이고, 열광적이고, 혼란스럽고, 무관심한 — 조사 한 건당 20명에서 1,000명의 응답자로.
  • 정성 패널 SaaS가 아닙니다.

    정성 패널 도구는 사람 세션의 일정 조율, 모집, 전사를 담당합니다. 몇 주의 준비 기간과 수천 달러 규모의 패널 예산이 필요합니다. 이 플랫폼은 합성 패널을 대상으로 그에 준하는 구조화된 결과를 몇 분 만에, 그 비용의 일부만으로 제공합니다.

X · 운영 지표

플랫폼 지표를,
있는 그대로.

조사당 응답자 수
1,000
최소 20명부터
커버 시장 수
24
6개 대륙에 걸쳐
LLM 공급자 수
5
라운드로빈 모델 라우팅
PEW 일치도
93.3%
평균절대오차 3.36pp · 피어슨 r 0.984
통과 테스트 수
1,200+
Pytest 단위 테스트 및 통합 테스트
조사당 최저 비용
$0.40
엔드투엔드 비용 추적

XI · 요약

모든 질문에는
천 개의 목소리를.

다섯 명에게 묻는 일은 이제 그만두십시오. 6주를 기다리는 일도 그만두십시오. 하나의 AI 챗봇이 세계를 대표하는 척하는 일도 그만두십시오. 집단에 물어보십시오.