对照已公开的调查真值验证 — 每一次运行都公开

我们的合成人群与真实世界民调的一致性达 93.3%。

这是引擎有效的证据 — 覆盖 4 家独立调查机构(Pew Research Center、Gallup、GSS、KFF)的 40 个议题,题目的选取意在暴露弱点而不是掩盖弱点:势均力敌的对峙题、接近共识的题目、高不确定性的议题。最近一次运行是本基准历史上第一个 A 级 — 而拿到 C 级的那次运行就公布在它旁边,因为每一次运行都会进入这份记录,失误也不例外。同一套经过验证的引擎,随后会针对每个市场重新奠基并校准,以反映当地舆论。

正在加载基准数据…

一致性
93.3%
对照已公开民调 · 4 家调查机构
平均绝对误差
3.36 pp
落在专业民调自身的误差范围之内
Pearson r
0.984
与真实民调的相关性
等级
A
按一致性划分 A–F
议题排序保真度
—
覆盖 40 个议题的 Spearman 系数 — 与真实世界的排序一致
分布散度
—
Jensen-Shannon(log2)· 0 = 分布完全相同
最新运行
最新验证运行
每题 400 个智能体

为你的市场校准

上面的 93.3% 证明了引擎在最难的公开基准上的表现。对每个市场我们并不沿用它 — 我们依据当地人口普查重建人群(在新加坡即 CMIO 族群、宗教与家庭常用语的分布),并以当地调查数据为锚,让它反映的是当地舆论,而不是美国观点的回声。

各市场的奠基数据源 — 美国:Pew Research;其他市场:World Values Survey、Reuters Institute、IPS 以及各国国家统计机构。绝对水平的校准会针对每个客户的实时数据进行调优。

我们与同行的对比

每一家企业级竞品都会公布一个一致性数字。多数是自行申报的,对照的是私有的基准题集。我们的数字是对照已公开的民调实测得出,并经过端到端验证。

厂商宣称的一致性验证方式
CrowdOS(本页)93.3%在 40 道调查题目上实测 · 版本化脚本与台账 · 可复现
Evidenza88–95%经 EY 验证,每次合作 $50K 以上
Artificial Societies95%自行申报
Synthetic Users85–92%Park 2024 方法
Ditto92%经 EY 审计

实测得出,而非断言

这是一项有承诺的基准测试 — 有版本管理的脚本、有版本管理的记录,以及一套固定的题集 — 而不是一个营销数字。我们在生产后端上运行它,并在保密协议下向合格买家完整讲解方法与逐题结果。

方法概览请见方法说明页。