對照已公開的調查真值驗證 — 每一次執行都公開

我們的合成人群與真實世界民調的一致性達 93.3%。

這是引擎有效的證據 — 涵蓋 4 家獨立調查機構(Pew Research Center、Gallup、GSS、KFF)的 40 個議題,題目的挑選意在暴露弱點而不是掩蓋弱點:勢均力敵的對峙題、接近共識的題目、高不確定性的議題。最近一次執行是本基準歷史上第一個 A 級 — 而拿到 C 級的那次執行就公布在它旁邊,因為每一次執行都會進入這份紀錄,失誤也不例外。同一套經過驗證的引擎,隨後會針對每個市場重新奠基並校準,以反映當地輿論。

正在載入基準資料…

一致性
93.3%
對照已公開民調 · 4 家調查機構
平均絕對誤差
3.36 pp
落在專業民調自身的誤差範圍之內
Pearson r
0.984
與真實民調的相關性
等級
A
按一致性劃分 A–F
議題排序保真度
—
涵蓋 40 個議題的 Spearman 係數 — 與真實世界的排序一致
分布散度
—
Jensen-Shannon(log2)· 0 = 分布完全相同
最新執行
最新驗證執行
每題 400 個智慧體

為你的市場校準

上面的 93.3% 證明了引擎在最難的公開基準上的表現。對每個市場我們並不沿用它 — 我們依據當地人口普查重建人群(在新加坡即 CMIO 族群、宗教與家庭常用語的分布),並以當地調查資料為錨,讓它反映的是當地輿論,而不是美國觀點的回音。

各市場的奠基資料來源 — 美國:Pew Research;其他市場:World Values Survey、Reuters Institute、IPS 以及各國國家統計機構。絕對水準的校準會針對每個客戶的即時資料進行調校。

我們與同業的對比

每一家企業級競品都會公布一個一致性數字。多數是自行申報的,對照的是私有的基準題集。我們的數字是對照已公開的民調實測得出,並經過端對端驗證。

廠商宣稱的一致性驗證方式
CrowdOS(本頁)93.3%在 40 道調查題目上實測 · 版本化腳本與帳本 · 可重現
Evidenza88–95%經 EY 驗證,每次合作 $50K 以上
Artificial Societies95%自行申報
Synthetic Users85–92%Park 2024 方法
Ditto92%經 EY 稽核

實測得出,而非斷言

這是一項有承諾的基準測試 — 有版本控管的指令碼、有版本控管的紀錄,以及一套固定的題集 — 而不是一個行銷數字。我們在生產環境後端上執行它,並在保密協定下向合格買家完整講解方法與逐題結果。

方法概覽請見方法說明頁。