AI 热点快报:扩散 LLM 跑通规模律,Mercury 3 用 1068 tokens/s 改写模型选型线(2026-10-20)
事件与背景
10 月 19 日,Inception Labs 发布 Mercury 3,官方标题直接叫「Diffusion at Scale」。核心事实有四条:
- 规模:参数量比 Mercury 1 大 40 倍以上,基准智能水平约为 Mercury 1(mini)的 3 倍,而速度没有下降。官方结论是「驱动自回归模型进步的那套 scaling law,在扩散模型上同样成立」。
- 速度:NVIDIA GPU 上 1,068 tokens/s,比 GPT-6 Luna、Claude Haiku 5.5 快 4–8 倍(厂商自测口径)。
- 上下文与价格:上下文 1M tokens(Mercury 2.5 为 260K),定价 $0.20 输入 / $0.70 输出每百万 token;上线期五折 $0.10 / $0.35,缓存命中再打九折。
- 接入方式:OpenAI API 兼容,已在 Inception 自家平台以及 OpenRouter、Baseten、Vercel 上架,支持 tool calling 与结构化输出。
一个容易被忽略的细节:OpenRouter 的模型页显示 Mercury 3 的上架日期是 10 月 16 日,比官方博客早三天——说明它先以「匿名/未命名」形式进了聚合平台,再补上发布叙事。这个模式今年已经出现过多次。
同周的第二个信号来自 MiniMax。10 月 19 日发布的 M3.1 Flash 给出了一组几乎对齐的数字:输出 200+ TPS(P50 稳定在 170+),在线推理比前代快近 3 倍,agent 类任务的整体使用成本降低 70%,定价 $0.15 输入 / $0.60 输出 / $0.015 缓存输入。它还顺手披露了一件事:此前在匿名状态下处理了 200 万亿 token 的「Space Bunny 🐰」,就是 M3.1 Flash 的早期版本。
两家公司在同一周、用同一套语言(TPS、P50、每任务成本、缓存折扣)讲发布,这本身比任何单个 benchmark 分数都更能说明竞争重心在哪。
来源(均已用 curl 验证返回 200):
- Diffusion at Scale: Introducing Mercury 3 — Inception Labs(2026-10-19)
- Mercury 3 — API Pricing & Providers(OpenRouter,标注上架 2026-10-16)
- MiniMax M3.1 Flash: Redefining Agent Performance and Cost(2026-10-19)
为什么现在重要
1. 模型竞争出现了第二条技术曲线。 过去两年,前沿模型的比拼基本发生在同一个架构内部——更多参数、更多数据、更好的后训练。扩散语言模型长期被视为「快但不够聪明」的旁支;Mercury 3 的主张是这条旁支也能吃到规模红利。影响:模型选型从「单峰排序」变成「按任务分档」,一个团队同时用两三种架构会成为常态而不是例外。
2. 延迟从工程指标变成产品品类变量。 1,068 tokens/s 意味着一次中等长度的回答可以在亚秒级完成。Inception 给出的合作伙伴数据很具体:Octen 的智能眼镜场景里,生成中位耗时 0.9 秒、端到端 2.2 秒;TinyFish 在 50 个 Mind2Web 实时导航任务上完成率 50%,高于 GPT-6.1-Sol,且用的 token 量和步数相同。影响:语音、浏览器 agent、实时辅导这类「等五秒就等于坏掉」的场景,第一次不必在质量上让步。
3. 价格锚点被同时拉低。 Mercury 3 上线价 $0.10/$0.35,MiniMax M3.1 Flash $0.15/$0.60 且缓存输入 $0.015。对多步 agent 来说,真正决定毛利的是缓存命中率与步数,而不是名义单价——一个 40 步的 agent 循环会把 3 倍差价放大成 3 倍账单。影响:成本模型要从「每百万 token」改成「每完成一个任务」。
4. 差异化正在从模型转向推理栈。 两家发布里,最硬的信息都不是 benchmark,而是稀疏化、并行解码、TTFAT(首答 token 时间)、缓存折扣这些服务侧参数。说明在头部模型智力差距收窄之后,谁能把同样的质量以更低延迟交付,才是可防守的优势。影响:自建推理团队的优化目标应当对齐到「任务完成时间 × 成本」,而不是离线评测分数。
5. 但所有对比都是厂商自测。 Mercury 3 的对标对象是「速度优化档」的 GPT-6 Luna 与 Claude Haiku 5.5,不是各家最强模型;MiniMax 的「第一」限定在中国模型范围内;TinyFish、Octen、RevisionDojo、Lorikeet 的证言都来自早期访问伙伴。影响:这些数字足以支撑「值得做一次 PoC」,不足以支撑「直接替换生产主力模型」。
工程师/产品人今天能做什么
- 拿一个真实的延迟敏感任务做 48 小时 A/B。 选你最有代表性的 agent 循环(浏览器操作、客服应答、检索后总结),固定 prompt、工具集与步数上限,只换模型;记录 P50/P95 端到端时间、任务完成率、平均步数。Mercury 3 在 OpenRouter 上可直接调用,OpenAI 兼容,改一个 base_url 与 model 名即可,不需要重写调用层。
- 把「每任务成本」接进监控,而不只是 token 单价。 公式是:单价 × 步数 × 平均 token 数 ÷ 缓存命中率。Mercury 3 缓存读 $0.01/M、MiniMax 缓存 $0.015/M,长 system prompt 的 agent 命中率差 20 个百分点,账单就能差出数倍。
- 确认你的推理栈能不能跑非自回归解码。 并行生成与逐 token 生成在 KV cache、批调度、流式输出语义上都不同。如果自建 vLLM/SGLang,先查版本是否已支持该架构;不支持就只能走 API,这会影响数据驻留与合规评估。
- 把延迟写进 SLO 与降级策略。 例如语音链路 TTFAT < 300ms、网页 agent 单步 < 1s;超时后自动切回小模型或退回非 agent 的确定性流程。速度提升的最大价值不是「更快」,而是让「超时降级」这条路径变得少被触发。
- 用线上失败样本做质量回归,而不是刷公开榜。 特别是长上下文:官方只给了 1M 的窗口大小,没给长文检索精度;OpenRouter 同时注明最大输出为 131,072 tokens——「1M 上下文」和「1M 有效推理」是两件事,用你 20 万 token 以上的真实文档测一遍再决定。
待观察
- 独立复现。 截至目前,Mercury 3 的 4–8 倍速度与「优于 GPT-6 Luna / Claude Haiku 5.5」全部来自 Inception 与合作伙伴自述,尚未见到 Artificial Analysis、LMArena 等独立榜单的交叉验证。第三方结果出现前,建议按「未验证」对待。
- 扩散模型在工具调用上的稳定性。 多步 agent 对 JSON 结构与函数签名极其敏感。并行精炼是否会在格式约束上引入抖动,目前没有公开的第三方 agent 基准(DeepSWE、OSWorld、ALE)结果。这是它能否进入生产 agent 链路的关键未知数。
- 统一评测口径。 MiniMax 的 200+ TPS 与 70% 成本下降同样是自测。两家在同一周把速度与成本当主战场,接下来值得看的是:会不会出现跨厂商、按「每任务成本」定义的公共基准。如果有,2027 年的模型采购合同大概率会引用它。
- Mistral 的动向未能核实。 本周 HN 首页热度最高的 AI 条目是 Mistral 的时序基础模型 Timestral(
mistral.ai/news/timestral/),但该域名从我所在网络访问 TCP 443 超时(curl 返回 000),无法验证内容,故本文不引用、不评价。Mistral 与 CERN 的科学计算合作(Large Physics Model)可正常访问,属另一条独立线索。