在一项针对皮肤癌诊断的对比测试中，一个基于 2015 年架构的卷积神经网络（CNN）表现优于两款最新的前沿大语言模型（LLM）。该 CNN 经过微调后，在识别病变方面的准确率达到 62%，而 GPT-6 Astra 和 Claude Fable 5.1 的准确率仅为 42%。
测试向 GPT-6 Astra 和 Claude Fable 5.1 展示了上述临床照片和皮肤显微镜图像，两者均判断为无害生长物，建议患者出院。随后展示给经过 20 分钟微调的 Inception v3（Google 于 2015 年发布的 CNN 架构），该模型根据皮肤镜检查得出了正确结论。
这一案例来自一项包含 200 个经活检证实的病变测试集。最终结果显示，CNN 正确诊断了其中 125 例（62%），而两个 LLM 分别正确诊断了 84 例和 85 例（均为 42%）。尽管 LLM 代表了当前的技术前沿，但经过简单微调的老式 CNN 在特定医疗影像任务上展现了更高的准确性。
测试数据集与方法论
测试数据源自 MILK10k 公开数据集，该数据集由国际皮肤成像协作组织于 2025 年发布。每个病变均包含两张图像：一张临床近距离照片和一张通过皮肤科医生使用的照明放大镜拍摄的皮肤镜图像。
研究人员随机抽取了 200 个经组织病理学证实的病变，其中包括：
- 恶性或需干预病变：30 例黑色素瘤、25 例基底细胞癌、25 例鳞状细胞癌（包括 Bowen 病）以及 20 例行为性角质瘤。
- 良性或可安全排泄病变：50 例良性痣（naevus）和 50 例斑疹性角质瘤。
值得注意的是，所有病变均进行了活检，这意味着这些病例通常是临床医生认为存在风险并决定切除的情况，因此诊断难度较高。
图 2-A：一名 75 岁男性躯干上的基底细胞癌。三种模型均给出正确答案。
图 2-B：厚度小于 0.8 毫米且色素极少的侵袭性黑色素瘤。GPT-6 Astra 以 95% 的置信度将其误判为基底细胞癌；Claude Fable 5.1 和 CNN 则正确诊断为黑色素瘤。
图 2-C：腿部的斑疹性角质炎。三种模型均未能正确分类，但都建议保留观察而非直接出院。
对于 LLM 的测试，仅输入两张图像，并要求其扮演临床医生角色，提供前六个最可能的诊断（或“不确定”）、置信度、第二选择，以及判断病变是否可以在无需治疗、活检或随访的情况下安全出院。两种模型均在默认设置下运行，且未拒绝任何案例。
CNN 模型特意选择了非最先进的技术架构。使用的是预训练于日常照片的 Inception v3，随后利用 ISIC 档案库中的 68,011 张皮肤及临床图像进行微调。为确保测试公正性，这 200 个测试病变及其相关患者的其他照片在训练前已从数据集中移除（包括验证集），模型从未见过这些数据，也未用于模型选择或参数调整。该模型对每个病变的两张图像进行评分，主要依据皮肤镜图像权重，并从相同的六种诊断中进行选择。
该 CNN 模型足够轻量，可在支持 WebGPU 的手机浏览器中运行。
诊断结果对比：62% vs 42%
总体而言，CNN 在大多数诊断类别中表现更优。若允许考虑第一和第二选择，CNN 的正确率为 173/200，而 GPT-6 Astra 和 Claude Fable 5.1 分别为 134/200 和 138/200。
在 30 例黑色素瘤中，CNN 正确识别了 13 例，高于 GPT-6 Astra 的 8 例和 Claude Fable 5.1 的 11 例。差距最大之处在于良性病变的识别：CNN 正确识别了 50 例良性痣中的 37 例和 50 例斑疹性角质瘤中的 26 例；相比之下，GPT-6 Astra 分别识别了 16 例和 13 例，Claude Fable 5.1 分别识别了 33 例和 6 例。
CNN 在基底细胞癌上的表现略逊于 GPT-6 Astra（少一例），且在行动性角质瘤上的准确率低于两个 LLM。
不同模型的错误模式也存在差异。GPT-6 Astra 倾向于过度诊断基底细胞癌，在 25 次错误中有 75 次将病变判为基底细胞癌，其中包括 30 例黑色素瘤中的 14 例。Claude Fable 5.1 则倾向于诊断为行为性角质瘤，在 20 次错误中有 53 次如此判断。相反，CNN 对黑色素瘤的主要错误类型是将其他病变误判为黑色素瘤，此类错误共发生 17 次。
详细数据表
| GPT-6 Astra | Claude Fable 5.1 | CNN (Inception v3) | |
|---|---|---|---|
| 正确诊断数 (共 200 例) | 84 (42%) | 85 (42%) | 125 (62%) |
| 第一或第二选择正确数 | 134 | 138 | 173 |
| 首选诊断为黑色素瘤 (共 30 例) | 8 | 11 | 13 |
| 保留不安全病变 (共 100 例) | 97 | 96 | 预设阈值下为 77；匹配阈值下为 98 或 99 |
| 排放安全病变 (共 100 例) | 32 | 22 | 预设阈值下为 76 |
| 退院的黑色素瘤 (共 30 例) | 3 | 4 | 预设阈值下为 18；匹配阈值下为 2 或 1 |
局限性与注意事项
- 样本量有限： 30 例黑色素瘤的样本量较小，导致关键指标存在较大的不确定性区间。每个 LLM 仅运行了一次，且由于生成特性，每次运行的答案可能不同。
- 病例难度高： 所有测试病变均经过活检，属于临床高风险病例。在普通档案图像上，CNN 区分应保留与可出院病变的能力更强（ROC 曲线下面积为 0.96，而本测试中为 0.86）。
- 潜在数据污染： MILK10k 数据集自 2025 年起公开，LLM 可能在训练过程中接触过类似数据，这可能对其表现产生未知影响；而 CNN 明确未使用测试数据进行训练。
- 非最先进架构： Inception v3 仅作为基线模型。当前最先进的皮肤癌诊断 AI 通常采用在更大规模数据上训练的视觉转换器（Vision Transformers）组合。
临床视角下的安全性
从患者安全角度来看，两个 LLM 表现出极高的谨慎性。除了极少数例外，它们几乎在所有病例中都建议就医，包括那些被证明无害的病变。在另外 100 例经活检证实的黑色素瘤中，LLM 对 99 例和 98 例给出了需要进一步处理的建议。
结论
实验表明，一个架构过时、体积小巧且经过专门领域微调的专业卷积神经网络，在皮肤病变识别任务上的表现优于两个前沿的大语言模型。
复现资源
测试案例、提示词、每个 LLM 的回复以及评分代码均已开放下载，CNN 模型也可获取。
测试设计与临床裁决由作者完成。分析与初稿使用了 Anthropic 的编码工具 Claude Code（运行于 Claude 模型之上），而被测试的两个 LLM 之一也来自 Anthropic。评分过程通过脚本与组织病理学结果进行比对。
图片来源于 MILK10k 数据集（MILK 研究团队，国际皮肤成像协作组织），遵循 CC BY-NC 许可证。
作者简介：Magnus Lynch 博士是盖伊医院（Guy's Hospital）的皮肤科医生及莫氏手术专家，同时也是伦敦国王学院的荣誉讲师（相当于副教授）。其临床工作涵盖皮肤癌、莫氏显微描记手术及面部重建。研究领域涉及皮肤癌与疤痕的细胞生物学，以及人工智能在皮肤病学中的应用。
