事件与背景

10 月 25 日，伦敦 Guy’s 医院的皮肤科顾问医师、King’s College London 荣誉读者（相当于副教授）Magnus Lynch 在自己的实验室博客上发布了一组对照实验：从公开数据集 MILK10k 里随机抽 200 例全部经组织病理确诊的皮损——100 例不该被”放走”（30 例黑色素瘤、25 例基底细胞癌、25 例鳞状细胞癌含 Bowen 病、20 例光化性角化病），100 例可以安全排除（50 例痣、50 例脂溢性角化）——然后让两个前沿 LLM 和一个旧卷积网络从同样 6 个诊断里选一个。样本刻意选得难：连良性病灶也全部做过活检，也就是”临床上已经让医生不放心到要切下来看”的那种。

三个参赛者的待遇并不对等，这点作者写得很清楚。GPT-6 Astra 与 Claude Fable 5.1 各拿到临床照与皮肤镜两张图、同一个提示词、默认设置，被要求给出最可能诊断、置信度、第二选择，以及”能否不做活检或随访直接排除”；每例只跑一次。Inception v3 是 2015 年 Google 发表的卷积网络，用 ISIC Archive 的 68,011 张皮肤镜与临床图像做全参微调，单张 H100，作者称约 20 分钟；训练前剔除了同一病灶或同一患者的所有照片，也剔除了验证集，所以这 200 例它从没见过。

首诊正确率：CNN 125/200（62%），Claude 85/200（42%），GPT-6 84/200（42%）——6 分类的随机基线是 16.7%。放宽到”第一或第二选择”是 173 / 138 / 134。分病种看并非一边倒：CNN 在黑色素瘤（13/30）、痣（37/50）、脂溢性角化（26/50）上领先；GPT-6 在基底细胞癌上 25/25 全对（CNN 24/25）；光化性角化病反而是 Claude 最好（12/20，CNN 9/20）。

Hacker News 首页当天给了约 150 分、19 条顶层评论，主流反应是”这不奇怪”——最高票那条说”计算器在乘除法上也赢 LLM”，还有一位 MLE 直言”拿 200 例小数据集上微调的 CNN 比通用模型，信息量很低”。这个批评对”谁更聪明”成立，但它恰好说反了产品含义：正因为不奇怪，才说明多数团队把默认选型顺序搞反了。

来源（均已用 curl 验证返回 200）：

• A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis — Lynch Lab，2026-10-25
• 可复现包：200 例、提示词、每个 LLM 的原始回复与打分脚本（zip，562 KB）
• 浏览器内运行的 CNN 演示（WebGPU，本地推理、图片不上传）
• MILK10k 数据集 DOI ／ ISIC Archive
• Inception v3 原始论文（arXiv:1512.00567，2015）

（HN 讨论帖 news.ycombinator.com/item?id=50233779 本机直连 curl 返回 000，讨论内容改由 Algolia API 读取，故不列外链。）

为什么现在重要

1. 窄域判别任务上，前沿 LLM 不是默认上限，“先上 LLM”是个未经检验的假设。 62% 对 42% 换算成相对随机基线的倍数，是 3.7 倍对 2.5 倍——差距不在噪声里。影响：有标签的团队应该把小模型基线当 incumbent、把 LLM 当 challenger，而不是反过来先接 API 再想”要不要自研”。

2. LLM 的错是标签先验塌缩，不是”看不清图”。 GPT-6 把 75 例判成基底细胞癌，而真实只有 25 例，其中吞掉了 14/30 例黑色素瘤，还给到 95% 置信度；Claude 的”最爱答案”是光化性角化病（判了 53 次，真实 20 例）。这是把一个自然世界的类别先验套到人工平衡测试集上的典型症状。影响：任何把 LLM 接进分类路径的团队，上线前都该做一次”预测标签直方图”检查——看它有没有一个正在吞掉危险类的偏好答案。

3. 准确率是伪指标，操作点才是产品。 CNN 的 62% 是在它预设阈值下拿到的，而那个阈值放走了 18/30 例黑色素瘤；两个 LLM 只放走 3 例和 4 例，代价是 100 例良性里只放过 32 例和 22 例，其余全部建议处理——那是”安全但没用”的过滤器，会把门诊量直接打爆。作者把 CNN 的阈值调到与 LLM 相同的敏感度后，它保留 98–99/100 例该处理的病灶。同一个模型，换个阈值就是另一个产品。影响：分类器的验收标准必须写成”在选定操作点上的两类错误成本 × 发生频次”，一个 accuracy 数字不足以支撑上线决策。

4. 一张卡、约 20 分钟、能跑进手机浏览器——边际成本结构变了。 68,011 张图全参微调在一张 H100 上完成（作者自述约 20 分钟），成品小到用 WebGPU 在浏览器里本地推理、图片不出设备。影响：当”数据不出院/不出境”是硬约束时，自建小模型的总成本可能低于”API 调用 + 合规流程”，而这个选项过去两年被默认忽略了。

5. 作者主动拆掉了可复现性的防线，但结论强度仍然有限。 200 例、提示词、每个 LLM 的原始回复、打分脚本打成一个 562 KB 的 zip，任何人都能重算；污染风险对 LLM 有利（MILK10k 自 2025 年起公开，前沿模型很可能在预训练中见过），CNN 则被显式去污染。影响：这是一份可以自己跑一遍的证据，而不是又一张排行榜截图——但要拿它当选型依据，得先接受 n=200、每例单次运行、单一中心这三个限制。

工程师/产品人今天能做什么

1. 给你最像”分类器”的那条链路补一个小模型基线。 从日志里捞至少 2,000 条有真实标签的样本（有复核结论的工单、已判定的告警、已归档的质检图），微调一个开源小模型，或对 embedding 跑逻辑回归，产出混淆矩阵。这张表就是 LLM 必须打败的 incumbent，没有它，“LLM 效果好”只是感觉。
2. 把 accuracy 从看板上删掉，换成”操作点卡片”。 卡片上只写四件事：阈值、两类错误率、每类错误的单位成本、每周预计发生次数。然后用成本反解阈值，而不是沿用模型或库的默认 0.5。
3. 做一次”最爱答案”审计。 喂一个类别均衡的测试集，统计预测分布的直方图。如果某个类别被预测的次数远超真实占比（本文是 75 次对 25 例），说明模型在塌缩：先修提示词、加检索、做校准，再谈上线。
4. 把 LLM 挪到”建标签”而不是”下判定”的位置。 有标签但标注贵的环节，让 LLM 生成候选标签、边界案例和解释，人只做确认；确认完的数据拿去训小模型上线，成本随调用量下降而不是上升。
5. 受监管场景里，把”本地推理”当架构选项重新评估一遍。 本文的成品能在浏览器 WebGPU 内跑完，意味着数据不出设备，数据处理协议、跨境传输和外包审核的成本可以整块消掉——这经常比模型本身的差价更大。

待观察

• matched 阈值下的特异度没给。 作者只报了”敏感度对齐后保留 98 或 99/100 例该处理的病灶”，但同一阈值下能安全排除多少良性病灶没有写——而那正是分诊产品最核心的数字。要么等他补，要么用那个 zip 自己算。
• LLM 每例只跑一次，未报温度、seed 与具体版本号。 42% 这个数字的方差未知，6 个病种里 5 个百分点的差距可能落在运行间波动内。复现时至少要跑 3 次看分布，而不是取单次。
• 测试集来源单一且大概率已被污染。 200 例全部来自 2025 年起公开的 MILK10k，若 GPT-6 与 Claude 在预训练中见过这些图，其成绩应被高估——这只会让”CNN 赢”的结论更保守。真正的检验是在一个 2026 年之后采集、从未公开的私有集上重做。