事件与背景

2026 年 10 月 16 日，Mercor Research 发布了其 Labor Index 项目的第一块拼图——Benchmark Map（基准覆盖地图），在 Hacker News 首页拿到 177 分、146 条讨论。它做的事情看似朴素，但结论很不客气：

把当前公认有质量、且有经济相关性的 29 个 AI 基准，逐条映射到美国劳工部 O*NET 职业分类体系上，看看「美国人在实际工作里做的事」，到底有多少被现有 AI 评测覆盖到了。O*NET 把美国劳动力拆成 923 个职业，每个职业再拆成一系列「任务」，合计 18,797 项任务。

映射结果是：

• 只有 208 / 923 个职业，存在至少一项「有 ≥5 条基准提示（prompts）覆盖」的任务；
• 22 个职业大类里有 6 个，连一个这样的职业都没有；
• 由此推出的核心数字是：美国 90% 的工作时长，花在现有基准「几乎没有覆盖」的任务上。

换句话讲，今天的模型排行榜再热闹，它衡量的是「能被出成考题的那部分世界」。而剩下那 90%，评测界基本是黑的。

可点击的来源（均已 curl 验证返回 200）：

• Mercor Research：《A benchmark map of the US economy》（Benchmark Map 正文）
• Mercor Research：Labor Index 项目首页
• O*NET Resource Center（美国劳工部职业信息数据库）
• Eloundou et al., 2023：《GPTs are GPTs》，AI 职业暴露度标签的来源论文

（注：正文引用的美国劳工统计局 BLS 工资数据页面从本机 curl 返回 403，未列为来源；Mercor 的方法论页 /labor-index/methodology/ 返回 404，相关方法说明以 Benchmark Map 正文中的「Methodology in brief」为准。）

为什么现在重要

1. 它把「评测的盲区」从感觉变成了坐标。 一直以来，「公开 benchmark 代表不了真实工作」是圈内共识，但只能靠嘴说。这次给了逐职业、逐任务的灰度图：哪些岗位被覆盖、哪些完全空白，一目了然（比如同样被标为「高 AI 暴露」的律师被覆盖得不错，而法律秘书、法庭书记员这些同属高暴露的岗位几乎没人测）。影响：以后讨论「某某工作会不会被 AI 替代」，可以拿这张图当分母，而不是拿几个排行榜当全部。

2. 覆盖分布不是随机的，它跟着钱走。 Mercor 的数据显示，基准覆盖概率与职业的**年度工资总额（wage bill）**正相关——AI 社区优先测的是最大的劳动力市场。影响：中小型、中等收入的脑力工种（所谓「长尾知识工作」）被系统性忽略。如果你做的是这类 B 端产品，公开榜单上的分数对你几乎没有参考价值，得自建评测。

3. 「agentic + 经济真实」已经成为评测选片的新标准。 Mercor 明确把 agentic 任务（让模型去做事，而不是回答问题/给建议）、公开可得性（至少 25 条公开任务）、经济真实性（任务要像企业里真会派给人/agent 做的活）作为入选门槛。影响：这印证了一个趋势——「会聊天」的评测正在贬值，「能稳定干完多步活」的评测正在升值。选型时该盯的是后者。

4. 它把「agent 产品」的定义问题摆到了台面上。 覆盖地图的空白，很大程度就是 agent 要填补的场景。空白越多，越是机会，也越是陷阱：没有现成基准，意味着没有现成的「及格线」，产品质量只能靠你自己的任务集来定义。影响：谁先把自家业务的「私有基准」建起来，谁就先拿到 agent 时代的选型话语权。

5. 别忘了它出自一家「卖 AI 数据/劳动力」的公司。 Mercor 的主业就是给模型训练提供专家与任务数据，这张地图既是研究，也是它商业叙事的开场白（结尾明确说要「持续填补这些空白」）。影响：结论方向可信、数据口径透明，但把「缺口 = 商机」读成「行业共识」之前，最好自己核对一下它的选片标准是否偏向它擅长的那类任务。

工程师/产品人今天能做什么

1. 给自家业务建一个「微型基准」，本周就动手。 从你产品最核心的 3–5 个真实任务里，各挑 10–20 个真实输入（脱敏后的日志、issue、工单），人工写好预期结果，形成一份可重复跑的评测集。这比追任何公开榜单都值钱——因为公开基准很可能根本没覆盖你的场景。
2. 拿一张纸盘点「我们在测什么、漏了什么」。 对照 Mercor 的分法：你现在的评测，是「问答式」还是「任务式」？是「学术式」还是「经济真实」？把「模型能不能完成端到端多步任务」单独拉出来测，而不是只测单轮回答质量。
3. 选型时，把「基准覆盖度」写进评审表。 面对供应商给的 benchmark 分数，追问一句：这些题覆盖的是我这类任务吗？如果不在覆盖范围内，要求对方在你自己的任务集上跑一遍，或至少提供能对标的 agentic 结果。
4. 为「无基准地带」设计人工兜底。 既然 90% 的工时测不到，那么在这些场景上线的 AI 功能，应该默认配可观测 + 人工复核，而不是默认「跑分高就能信」。把「这个能力有多可靠」变成线上指标，而不是发布前的分数。
5. 顺手读一遍 Eloundou et al. (2023)。 「AI 暴露度」是目前很多政策与产品判断的底层标签，理解它的口径（它衡量的是「能否被 AI 辅助加速」，不是「会不会被取代」），能避免把这张地图误读成失业预言。

待观察

• 数据口径的独立性待验证。 Benchmark Map 是 Mercor 自家研究，选片标准（公开可得、agentic、经济真实）虽然合理，但天然会偏向它自身的数据优势领域；第三方是否能复现这套映射，值得观察。
• 缺口会不会被填上。 结尾说这是「持续更新资源的第一版」，若未来出现覆盖长尾职业（法律秘书、行政、医护辅助等）的新基准，这张图的分辨率会明显提升——届时「90%」这个数字应当被重算。
• 会不会被政策/采购引用。 目前它更像研究工具；一旦被合规或企业采购拿去做「AI 能力尽调」的依据，它的口径就会从「有趣」变成「有约束力」，那时对定义权的争夺才真正开始。