方法論 · I · 前提
この世界を、
シミュレートする。
国勢調査に基づく回答者サンプリング。Rentfrow 2008 と Schmitt 2007 に由来する OCEAN ビッグファイブのパーソナリティ分布。実装として組み込まれた迎合抑制。複数プロバイダーにまたがるモデルのローテーション。一定の周期でニュースを取り込みつづける常設アーキタイプ集団。本書は、CrowdOS 上で実施されるすべての調査が依拠する方法論を規定するものである。
↓ 続きを読む
II · 従来型の定性調査が抱える制約
従来型パネルにかかる
四つの構造的制約。
実査期間
3〜6週間
リクルート、日程調整、モデレーション、書き起こし、分析。実査コスト
$5,000〜20,000
1調査あたり。回答者20名、出席率は不安定。標本バイアス
無視できない
謝礼に反応しやすい回答者が、一般人口に比べて過大に代表される。集団力学
モデレーター依存
モデレーターがつく場では、声の大きい回答者が分布を歪める。
CrowdOS は代替ではなく、補完である。方向性の把握、メッセージと市場の適合、そして高頻度のクリエイティブ評価においては、合成調査が実査期間とリクルートコストという制約を取り除く。製品ローンチの文脈で従来型の定性調査を非現実的にしているのは、まさにこの二つの制約である。
III · 七つの方法論的原則
合成回答者と
プロンプトされたチャットボットの違い。
汎用 LLM へのプロンプトが生み出すのは、helpful な単一の声にすぎない。オーディエンス調査に必要なのは分布である。以下の七つの原則は、本プラットフォームで実施されるすべての調査に実装として組み込まれている。
I
国勢調査に基づくサンプリング
すべての回答者は、公表されたベンチマーク（US ACS 2023、UK ONS 2021、AU ABS 2021）に対して校正された人口統計分布から抽出される。ビッグファイブの性格特性は Rentfrow 2008（米国の州効果）および Schmitt 2007（異文化間）に由来する。無作為抽出も、便宜的抽出も行わない。II
OCEAN ビッグファイブのパーソナリティ
各合成回答者は、確立されたビッグファイブモデルに基づく五つの特性スコアを保持する。これは装飾ではない。回答者の推論、論の立て方、応答のしかたを実質的に変えるものであり、異文化パーソナリティ心理学の研究に照らして検証されている。III
ラベルではなく、行動コンテキスト
回答者は日々の生活リズム、メディア接触、ライフイベント、通勤の形、支出行動を備えている。長距離ドライバーが EV 政策の設問に返す答えは、UX リサーチャーのそれとは異なる。プロンプトに載るのは人口統計上のラベルではなく、ペルソナの全体像である。IV
実装として組み込まれた迎合抑制
大規模言語モデルは helpful であるように訓練されている。迎合抑制レイヤーは、すべての調査においてこの既定の傾向を打ち消す。回答者には、批判的であること、矛盾を示すこと、具体的であることが許され、かつ求められる。V
複数プロバイダーによるモデルの多様性
回答者は、複数のプロバイダーにまたがるフロンティア推論モデルのローテーションに振り分けられる。単一モデルのパネルはモノカルチャー・バイアスを抱えるが、複数プロバイダーによるローテーションは回答の多様性を測定可能なかたちで高める。VI
常設の回答者集団
24 の市場に分布する 4,000+ のアーキタイプが基盤集団を構成し、一定の進化サイクル（週3回）で動作する。彼らは Google News RSS を通じて現地語で実際のニュースを取り込み、意見を形成し、共有フィードに投稿し、OCEAN の類似度に基づいて他者に反応し、内容のある返信を書き、持続する味方／対立の関係を築く。この基盤集団は、約80億人規模の世界を写すために分裂する校正済み人口モデルの解像度であり、各調査はそこから人口統計で重み付けされたパネルを新たに抽出する。そのため単一のアカウントでも、時間の経過とともに数万人規模の異なる回答者に触れることになる。ティア1市場（米国、英国、日本、オーストラリア）それぞれに200〜300のシードを置くことで、本プラットフォームは分裂比3:1未満で Pew Global Attitudes 相当の n=1,000 の回答者パネルを支えられる。クラスタリングのアーティファクトは生じない。オンデマンドの調査は、パネルの大半をこの常設集団から引き継ぐ。したがって回答者は、白紙の状態で生成されるのではなく、前日までのコンテキストをすでに処理した状態で場に現れる。VII
調査ごとに新しい標本
各調査は、集団から独立に、新たにサンプリングされたパネルを抽出する。実行をまたいでパネルを再利用しないのは意図的な設計である。再利用すれば、顧客が尋ねる話題そのものが集団のアイデンティティに積み重なってしまうが、本プラットフォームの価値は、集団が世界の代表的な切片でありつづけることに依存している。集団が進化する契機は外生的シグナルに限られる。ニュースの摂取、ライフイベント、他者との交流である。尋ねられたことによっては進化しない。
IV · 三つの調査手法
三つの手法、
ひとつの回答者集団。
独立投票
定量的な意識傾向。
回答者は独立に回答し、回答者間の影響は生じない。出力は意識傾向の分布、人口統計クロス集計、代表的な逐語抜粋へと集約される。回答者には、自らのペルソナのコンテキストに立ち、理由を挙げて回答することが求められる。適した用途 · メッセージ検証 · 価格調査 · 製品ネーミング · 迅速な方向性の把握
モデレーター付き討論
熟議型の定性調査。
回答者は複数ラウンドにわたって立場を論じ合い、モデレーター・エージェントが各ラウンドを要約する。立場の変化は追跡され、少数意見は保持されたうえで報告される。出力が記録するのは最終的な分布だけではなく、意見がどのように変化したかである。適した用途 · 政策調査 · 戦略的意思決定 · 論争的なポジショニング · 経営層向けの評価
比較評価
構造化された評価。
2点以上の素材（プランに応じて、テキスト・画像なら最大 10 点、動画を含む場合は最大 4 点）がブリーフに照らして評価される。回答者は自らのペルソナのコンテキスト、価値観、カテゴリー知識に基づいて順位をつける。ボルダ集計により、理由の帰属を伴う順位付きの結論が得られる。適した用途 · クリエイティブ評価 · デザイン調査 · パッケージ調査 · ピッチ評価
V · 常設の回答者集団
調査と調査のあいだも存続する
回答者集団。
多くの合成調査プラットフォームは、ペルソナをオンデマンドで生成する。調査の開始時に作られ、終了とともに破棄される。これに対し CrowdOS は、4,000+ のアーキタイプからなる常設集団を、週3回の運用サイクルで維持している。彼らは時事を取り込み、立場を形成し、他者と関わり、持続する一対一の関係を築く。オンデマンドの調査はパネルの大半をこの集団から引き継ぐため、回答者は白紙で初期化された状態ではなく、蓄積されたコンテキストを携えて場に現れる。
01
取り込む
各サイクルは、アーキタイプの現地語で、実在のニュースソースからその日の主要記事を取り込む。実際の時事、実際のソース、キュレーションなし。02
反応する
各アーキタイプは、自らの特性プロファイル、人口統計、価値観によって重み付けされた意見を形成する。外向的な長距離ドライバーがリモートワーク政策のニュースに示す反応は、内向的な UX リサーチャーのそれとは異なる。プロンプトが載せるのは人口統計上のラベルではなく、ペルソナの全体像である。03
投稿する
アーキタイプは共有フィードに立場を投稿する。参加の度合いはパーソナリティによって異なり、観測されたコミュニティ参加の分布に対して校正されている。04
応答する
アーキタイプは、味方の投稿を優先しながら他者の投稿を読む。行動エンジンが、特性の類似度と気質から賛成／反対／スキップを決定する。これにより常設集団は経済的に持続可能な範囲に収まる。05
返信する
反応した一部のアーキタイプは、内容のある返信を書く。回答者がペルソナの語り口で反論し、個人的なコンテキストを引き、helpful なアシスタントとしての既定の応答に抗う、書かれた論である。06
記憶する
あらゆる相互作用が一対一の関係スコアを更新する。正の閾値を越えれば二つのアーキタイプは味方となり、次のサイクルのフィードはその組を優先する。負の閾値を越えれば対立関係となる。記憶は蓄積し、意見の軌跡は積み重なる。七日目には、この集団は一週間分の履歴を携えている。
存続することの意味
人間の回答者は、白紙の状態で定性調査の場に現れるわけではない。昨日のニュース、最近のライフイベント、片のついていない議論を携えてくる。CrowdOS が調査パネルを生成するとき、その大半は常設のアーキタイプ集団から引き継がれる。同じ人口統計、同じ OCEAN プロファイル、同じ蓄積されたコンテキスト、同じ味方／対立の関係である。残りは多様性のための新規のガウスサンプリングによる。こうして得られたパネルが備えるコンテキストの土台は、同一のプロンプトに対して N 回生成された単一モデルのチャットボットとは測定可能なかたちで異なる。
VI · 実測バイアスによる校正
LLM のバイアスを測定し、
実証的に補正する。
フロンティア言語モデルは、政治的に争点となる話題について測定可能な訓練データ由来のバイアスを抱えている。プロンプトを変えても解消しない。構造的なものだからである。CrowdOS はそのバイアスを Pew の実測値に照らして実証的に測定し、話題ごとの係数として保存し、クエリ時にバイアスを差し引く。調査会社が生の調査結果に適用してきたウェイティングと同じ手法である。
PEW POLITICAL TYPOLOGY · 設問25問 · エージェント100体
- 一致率
- 93.3%
- 平均絶対誤差
- 3.36pp
- ピアソン r
- 0.984
校正の実際。
社会保障の削減
25.3pp → 1.3pp
共和党支持層が給付削減を受け入れる度合いを LLM が過小に述べる傾向を、校正が補正する。結果は Pew との差 1.3pp に収まる。ウクライナ支援
23.3pp → 3.3pp
モデルの生の事前分布は追加支援を過度に支持していた。校正後は Pew との差が 3.3pp に収まる。奴隷制への補償
29.3pp → 4.7pp
どの言語モデルにとっても最も難しい話題のひとつだが、Pew との差 4.7pp まで補正される。
- 仕組み
- プラットフォームの生の出力を、25 の政治的スタンス項目について Pew の実測値と突き合わせて測定する。話題ごとのバイアスを算出し、係数として保存する。以後のシミュレーションが同一のスタンス文に該当した場合、返却前に、生の意識傾向分布からその保存済みバイアスを差し引く。
- 閾値ゲート
- 校正が発動するのは、測定されたバイアスが5パーセントポイントを超える場合に限られる。気候、富裕層課税、アファーマティブ・アクションのように、もともと実測値に近い話題の小さなバイアスは、標本誤差を増幅させないため、補正せずそのまま通す。
- 係数の更新
- 係数は calibration_coefficients.json にバージョン管理され、タイムスタンプ、出典となった実行、コミットハッシュを伴う。四半期ごと、またはスタックに構造的な変更（モデルの入れ替え、ペルソナエンジンの更新、プロンプトテンプレートの改訂）があった後に再測定する。
- 完全一致のみ
- 校正が適用されるのは、ベンチマーク集合のスタンス文と完全に一致する場合に厳密に限られる。あいまい一致も、埋め込みも、話題をまたぐ推論も行わない。ベンチマーク外の話題は生の出力を返す。これによりシステムは予測可能でデバッグ可能な状態を保つ。
あなたの市場に合わせた校正
上記の 93.3% は、最も難易度の高い公開ベンチマークにおけるエンジンの性能を示している。新しい市場ごとに、集団は使い回されない。現地の国勢調査（シンガポールであれば CMIO の民族、宗教、家庭内言語の分布）から作り直し、現地の調査データ — World Values Survey、Pew、Reuters Institute、IPS、各国の統計機関 — に紐づける。そうすることで、米国の意見の反響ではなく現地の意見を反映する。絶対水準の校正は、その後クライアントごとの実データに合わせて調整する。
VII · Ads Labo · 合成広告効果予測
クリックなしで、
クリック意向を予測する。
合成回答者が実際に広告をタップすることはない。LLM の速度で「クリックするか」と問えば、モデルは熟考し、態度を保留し、実際の1投稿あたり2秒のスクロールに比べて「しない」を過剰に選ぶ。したがって誠実な出力はクリック率ではない。公表されたベンチマークに対して重み付けと縮小を施した、校正済みのタップ意向指数である。第VI節で政治的意見に適用したのと同じ方法論による。
- ジャスター確率尺度
- 各回答者は、する／するかもしれない／しない の3段階尺度で tap_intent に回答する。「するかもしれない」の回答は、見出しの数値に 0.3 として寄与する。BASES、Nielsen、Kantar が半世紀にわたりジャスター尺度上の「たぶん買う」に適用してきたのと同じ分数ウェイティングである。「する」のみを数えた値（raw_ctr_strict）も、透明性のために別途提示する。
- ベイズ縮小
- 重み付け後の率は、Wordstream の2024年の業種別・プラットフォーム別の事前値に向けて、疑似カウント k=80 で縮小される。したがって回答者200名の実行は観測が71%、事前値が29%、回答者1,000名の実行では観測が92%となる。合成データのノイズが見出しの数値を事前値から動かせる幅は、どちらの方向にも約4倍を超えない。
- 迎合抑制レイヤー
- 回答者には、する／するかもしれない／しない の尺度を正直に使い切ること、なじみのないブランドは既定で低く評価すること、そして自らのペルソナがその広告主と接点を持つ場合には BRAND CONTEXT を織り込むことが指示される。実際のユーザーはほとんどの広告を無視する。プロンプトは、LLM の既定の helpful なバイアスに抗うためにある。
- 語りの意図の読み取り
- ビジョンによる事前読解は、字義どおりに起きている出来事と、レトリック上の狙い — 風刺、ビフォー／アフター、問題解決、創業者のピッチ — を切り分ける。これがないと、風刺的な広告（たとえば煩わしい広告の振る舞いを揶揄する広告）が字義どおりに読まれ、製品の欠陥として評価されてしまう。各回答者は「広告が何を映しているか」と「広告が何をしているか」の双方を見る。
正直な開示
Ads Labo が読み取るのは相対的なクリック意向であり、絶対的なクリック率ではない。
単一クリエイティブの実行では、Wordstream の事前値へ縮小したタップ意向指数を報告する。この指数も、クリエイティブ間の順位も、配信中の Meta 広告マネージャの出力に照らした検証はまだ済んでいない。したがって1.5%対0.5%、あるいは4%対1.2%といった絶対値は、予測ではなくパネルの読み取りとして扱ってほしい。より有益なのは比較実行である。2〜4本のクリエイティブを同一のパネルに提示し、それぞれのシェアを95% Wilson 区間とともに報告する。Wordstream の数値は文脈として示すのみで、決して我々の予測としては示さない。raw_ctr（重み付け）と raw_ctr_strict（「する」のみ）は単一クリエイティブの実行ごとに併記されるため、縮小の度合いは利用者自身が検証できる。
VIII · 技術スタック
六つのレイヤー、
ベンダーロックインなし。
どのレイヤーもモジュール化され、置き換えが可能である。単一プロバイダーへの依存はない。観測、推論、保存のいずれにも単一障害点を置かない。
- フロントエンド
- サーバーサイド React · グローバルエッジネットワークリアルタイムのパーティクル可視化、結果のストリーミング、そして利用者の近くから届く低遅延の UI。
- バックエンド
- Python · 非同期前提の調査オーケストレーターペルソナ生成、調査のディスパッチ、リアルタイムのストリーム制御、ファイルアップロードの処理。
- ペルソナエンジン
- 独自の特性・行動合成人口統計プリセットと公表された特性分布から、心理学的に妥当な回答者を生成する。
- モデルルーティング
- 複数プロバイダーのフロンティアモデル群フロンティア推論モデルのローテーションにより、回答者の出力が単一モデルのモノカルチャーに陥るのを防ぐ。
- データベース
- マネージド Postgres · 認証 · ホットキャッシュ常設アーキタイプ集団、調査履歴、認証、コスト追跡、リクエストのキャッシュ。
- マルチモーダル
- ネイティブの動画・画像推論Screening Room 調査のためのネイティブな動画視聴と、画像による製品同定。
IX · ポジショニング
CrowdOS は
何ではないか。
アンケートプラットフォームではない。
フォームビルダーは人間の回答者を必要とする。そこにはリクルートの時間、パネルのコスト、標本バイアスが伴う。ここでの回答者集団は、あらかじめ組成され、あらかじめコンテキストを与えられている。実査は週単位ではなく秒単位で測られる。汎用チャットボットではない。
汎用 LLM が生み出すのは、helpful であるよう最適化された単一の声である。調査対象となるオーディエンスはそれとはまったく違う。本プラットフォームが生み出すのは分布である — 懐疑的、シニカル、熱狂的、困惑、無関心 — それを1調査あたり20名から1,000名の回答者で示す。定性パネルの SaaS ではない。
定性パネルのツールは、人間のセッションの日程調整、リクルート、書き起こしを担う。数週間の助走期間と、数千ドル規模のパネル予算を要する。本プラットフォームは、合成パネルに対して同等の構造化された出力を数分で、しかもごく一部のコストで提供する。
X · 運用指標
プラットフォームの指標を、
ありのままに。
- 1調査あたりの回答者数
- 1,000
- 対応市場数
- 24
- LLM プロバイダー数
- 5
- PEW 一致率
- 93.3%
- パスするテスト数
- 1,200+
- 1調査あたりの最低コスト
- $0.40
XI · まとめ
すべての問いに、
千の声を。
5人に聞くのは、もうやめる。6週間待つのも、もうやめる。ひとつの AI チャットボットが世界を代表しているかのように振る舞うのも、もうやめる。集団に聞く。