本文为翻译/转载，原文使用 CC BY-NC-SA 4.0 协议发布。 原文作者：Simon Willison 原文标题：Kimi K3, and what we can still learn from the pelican benchmark 原文链接：https://simonwillison.net/2026/Jul/16/kimi-k3/ 原文发布：2026-07-16 本博客不参与任何商业变现（含 ads / 付费 / affiliate），本译文遵循 CC BY-NC-SA 4.0 条款发布。

【译者按】

中国 AI 实验室月之暗面（Moonshot AI）在本周发布了 Kimi K3，一款号称 2.8 万亿参数（对外称”3T 级”）的旗舰模型。这是继 DeepSeek V4 Pro 之后，中国开源大模型生态的又一重磅发布，且在价格上首次达到 Claude Sonnet 同等水平——标志着国产大模型不再仅靠价格竞争。

Simon Willison 一如既往地用他标志性的”鹈鹕骑自行车”测试（pelican benchmark）来体验新模型。这篇评测的独特价值在于：它不仅展示了 K3 的能力与定价，更以 21 个月来持续进行的同一个测试为线索，反思了”评测”本身的意义——当模型已经能完美画出鹈鹕，评估的重点应该转向哪里？对于中文读者来说，这是一个观察海外 AI 社区思考方式的绝佳窗口。

【正文】

中国 AI 实验室月之暗面（Moonshot AI）今早发布了 Kimi K3，称其为”迄今为止最强模型，拥有 2.8 万亿参数”。目前该模型已通过官网和 API 提供服务，开源权重版本承诺”2026 年 7 月 27 日前”发布。

月之暗面称这是首个”开源 3T 级模型”（我猜他们是从 2.8 万亿四舍五入到了 3 万亿），从 DeepSeek 的 1.6T v4 Pro 手中夺过了桂冠。根据他们自行报告的基准测试，K3 大多时候能击败 Claude Opus 4.8 max 和 GPT-5.5 high，但输给 Claude Fable 5 和 GPT-5.6 Sol。

以下来自 Artificial Analysis 对该模型的报告摘要：

• “在我们的私有长时程知识工作评估中，Kimi K3 总 Elo 得分为 1547，比 Kimi K2.6 高出 732 分，仅次于 Claude Fable 5。”
• “单次任务成本（$0.94）与 GPT-5.6 Sol（$1.04）相当，约为 Opus 4.8（$1.80）的一半，但高于开源权重竞品。”
• “Kimi K3 在 Artificial Analysis Intelligence Index 上的 token 使用量显著下降，输出 token 比 K2.6 减少了 21%。”

该模型目前在 Arena.ai 的前端代码竞技场上排名第一，甚至超越了 Claude Fable 5。

新模型在定价上尤其引人注目：每百万输入 token 收费 $3，每百万输出 token 收费 $15，与 Anthropic 的 Claude Sonnet 系列持平，成为迄今为止中国 AI 实验室发布的最贵模型。相比其早期模型（如 Kimi K2.6 的 $0.95/$4），这是一个显著的涨价。2.8 万亿参数也超过了之前 1T 模型的两倍以上。

但它的鹈鹕画得怎么样？

我使用了 OpenRouter（避免注册月之暗面 API key）结合 llm-openrouter 插件来生成一幅骑自行车的鹈鹕 SVG：

llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'
'

完整的对话记录在这里。结果如下：

这只鹈鹕消耗了 95 个输入 token 和 16,658 个输出 token（其中 13,241 个是推理 token），总成本为 25 美分！

由于 K3 支持图像输入，我还把上面生成的 SVG 渲染后喂给了它（使用我的 alt text 提示词），得到了如下描述（仅花了 0.6 美分）：

> 卡通风格的白色鹈鹕戴着红围巾，骑着红色自行车沿灰色道路前行，路面有白色虚线；鹈鹕有橙色大喙和橙色蹼足正在蹬车，身后有白色运动线条；背景是淡蓝色天空、白云、黄色太阳、两只飞翔的小黑鸟，以及开着小白花的绿色草地。

### 我们能从鹈鹕测试中学到什么？

我的"生成 SVG 鹈鹕骑自行车"测试已经 21 个月了。它从来不是一个特别好的基准测试。它最初只是一个玩笑——用来调侃比较这些模型有多么荒谬的困难——但在第一年里，它出人意料地与模型实际能力存在很好的相关性。

现在这种关联已基本断裂。GPT-5.6 和 Claude Fable 5 的鹈鹕已经被 GLM-5.2 超越，而尽管我很喜欢 GLM，我并不认为它是 Fable 级别的模型。

（我仍不相信各实验室针对这个测试进行了训练——如果是的话，我会期待更好的结果。不过 Gemini 确实有可能优化过"动物在交通工具上的任意组合"！）

鹈鹕测试最大的局限在于，它完全没有触及当今模型最核心的能力：智能体工具调用（agentic tool calling），以及在长对话中可靠地使用工具的能力。

所以，不要再用鹈鹕来比较模型了！

不过话说回来，我自己运行这个测试仍然能获得不少价值。

首先，它是一个倒逼我去实际尝试模型的动力。如果我给你看一只鹈鹕，那意味着我真的把提示词跑过了该模型。如果有官方 API 我就用它；如果是开源权重（且足够小，可以塞进 128GB M5 MacBook Pro），我就在自己的机器上运行——通常用 llama.cpp、LM Studio 或 Ollama。我也经常用 OpenRouter，因为它通常可以作为官方 API 的代理，无需我申请新的 API key。

我的大多数鹈鹕都是用我的 LLM CLI 工具生成的，这促使我确保最新的模型都能通过其插件得到支持。

但更重要的是，哪怕只是一个"生成一幅 SVG：鹈鹕骑自行车"的简单提示词，也能揭示有趣的模型特性。

看看 Kimi K3 今天的结果。这几个简单的提示词突出了该模型的几个特点：

目前它只有一个推理力度级别——"max"——而这很明显。该模型消耗了 13,241 个推理 token 才输出 3,417 个 token 的回答。这很昂贵——一只鹈鹕花了 25 美分！

为什么"Generate an SVG of a pelican riding a bicycle"这个提示词会消耗 95 个输入 token？OpenAI 的 tokenizer 只计 10 个，Anthropic 的 tokenizer 对 Opus 4.6 计 10 个、Opus 4.7 计 30 个、Sonnet 5/Fable 5 计 25 个。在 Kimi K3 中输入"hi"被计为 86 个 token，说明可能有一个 85 token 的隐藏系统提示词。不过它拒绝泄露这个提示词。

视觉能力表现不错：它生成的 alt 文本非常好。

K3 目前只有一个思考力度级别，但我最近从同一个鹈鹕提示词在不同力度级别下的运行中获得了很多启发——例如我为 GPT-5.6 模型家族制作的矩阵。

不过说实话，我从鹈鹕测试中获得的主要价值是：

1. 它是提示模型的一个"Hello World"练习
2. 对简单任务获得粗略的成本和推理时间估算
3. 确认模型能输出有效的 SVG，并具备基本的几何和空间意识——这对在笔记本上运行的小模型来说意义更大
4. 在同一模型家族的版本之间比较鹈鹕仍然很有趣：K3 的鹈鹕相比 Kimi 2.5 有了显著提升
5. 它是可以分享的、表明我真正尝试过该模型的东西。而且现在在 Hacker News 上，附带一只鹈鹕的评论几乎成了一种传统——每次我发晚了，都会有人问鹈鹕在哪里！

## 【译者注】

1. **月之暗面（Moonshot AI）**：中国 AI 初创公司，由前清华大学教授杨植麟创立，Kimi 系列是其旗舰大模型产品。Kimi K2 系列在中文长文本处理领域有较高知名度。

2. **关于"开源"的争议**：Moonshot 承诺在 7 月 27 日前发布开源权重，但具体协议尚未公布。目前中国 AI 实验室中，DeepSeek（MIT 协议）和智谱 GLM（自建开源协议）的开源实践走在前列。

3. **Pelican benchmark（鹈鹕基准测试）**：Simon Willison 自 2024 年 10 月起开始使用"生成 SVG 格式的骑自行车的鹈鹕"作为非正式模型评测手段。虽然科学严谨性存疑，但在 HN 社群中已成为一种文化符号和文化传统。

4. **价格对比**：K3 的 $3/$15 定价意味着百万 token 的完整对话成本在人民币 20-100 元区间，在国内大模型定价中属于高端定位。作为对比，DeepSeek V4 Pro 的定价约为 K3 的 1/3 到 1/5。

5. **85 token 隐藏系统提示词**：Simon 通过 token 计数推测 Kimi K3 可能包含约 85 个 token 的不可见系统提示词，这种"隐藏系统提示"在主流模型中被称为"system fingerprint"或"hidden pre-prompt"，是各实验室常见的做法。

## 【延伸阅读】

- [arXiv 论文解读：大模型评估的困境与出路](/blog/ai-newsletter-2026-06-24/)
- [DeepSeek V4 Pro 发布与技术分析](/blog/ai-newsletter-2026-05-21/)
- [从 GPT-5.6 看模型家族化趋势](/blog/ai-newsletter-2026-07-09/)
- [Claude Fable 5 全解析：最强模型的前世今生](/blog/ai-newsletter-2026-06-09/)
- [Llama 4 开源之后：中国大模型生态走向何方](/blog/ai-newsletter-2026-04-15/)