鹈鹕测试是什么:从「骑自行车的鹈鹕」看模型空间与代码能力

新模型一上线,开发者社区里最快出圈的往往不是完整榜单,而是一个能截图传播的小实验。其中最有名的之一,是沿用多年的 「画一只骑自行车的鹈鹕」(pelican riding a bicycle)——通常要求模型输出 SVG,再把不同模型、不同推理档位的结果排成对比网格。

GPT-6 Astra 发布后,开发者 Simon Willison 用 low / medium / high / xhigh / max 等档位生成鹈鹕,并与 GPT-5.6 的 Sol、Terra、Luna 放在同一张图里。观感上的结论很直接:Astra 的鹈鹕明显更像「一只鸟在骑车」,而不只是抽象色块。国内也有人把任务升级成 3D/动画版,或发起「鹈鹕杯」投稿赛,用同一题材观察模型是否「降智」、结构是否稳定。

鹈鹕测试测的是什么

它不是 OpenAI 官方基准,而是社区压力测试。经典提示词大致是:

Generate an SVG of a pelican riding a bicycle
(生成一个骑自行车的鹈鹕的 SVG)

难点在于一次要同时做对几件事:

  1. 空间关系——鸟、车架、轮子、腿是否在合理位置,是「骑着」而不是「漂在旁边」
  2. 结构完整性——SVG 能否渲染、部件是否齐全、会不会自相交成乱码
  3. 概念组合——鹈鹕特征(大喙、喉囊)与自行车几何如何凑成一个场景
  4. 代码生成——在不可擦除的一笔生成里写出有效矢量,而不是只描述「我画好了」

因此它测的是 世界知识 + 空间约束 + 结构化输出,和只刷选择题的榜单互补。后续也有人扩展成带动画的 HTML、更苛刻的品种与零件描述,或用裁判模型给 SVG 打分;还有分析讨论实验室是否在「针对鹈鹕刷分」(pelicanmaxxing),目前公开实验并未给出明显刷榜证据。

Astra 网格里常见观察

综合 Willison 等人的公开对比与社区复测,大致有这些共识(定性、非官方分数):

观察 含义
Astra 各档鹈鹕整体强于 5.6 Sol 等 空间与构图能力代际可见
即便 low,也可能好过旧旗舰任意档 「地板」抬高,不只靠拉满推理
未到 max 时,腿与车轮左右关系仍可能不稳 细节结构仍随 effort 波动
max 档常出现最完整、最好认的一只 最难空间约束仍吃推理预算
同档 Token 与费用结构不同于旧模型 比标价更要看「这一档实际消耗」

也有横向对比指出:Claude、Gemini、Qwen、DeepSeek、Kimi、GLM 等在鹈鹕题上各有风格——有的更花时间修几何,有的更偏视觉装饰;一旦允许 Agent 多轮改自己的 SVG,测的就不再只是单次前向,而是工具闭环。鹈鹕适合当 烟雾弹测试,不适合单独决定采购合同。

和「降智」讨论的关系

统一提示词、固定输出格式之后,质量突然变成「鸟和车分家」或结构崩坏,社区常用来怀疑额度触顶、路由降档或服务波动。它的价值在于 可截图、可复现、和聊天体感相关;局限在于样本小、有随机性,且与真实仓库工程能力不完全等同。更稳妥的做法是:鹈鹕 + 一小段固定编码任务一起看,再下「今天是否异常」的结论。

如何自己复现

  1. 固定英文或中文提示,要求 只输出 SVG(或固定 HTML+SVG 模板)。
  2. 记录模型名、reasoning effort、日期与是否高峰时段。
  3. 浏览器打开渲染,看腿、轮、车架关系,而不是只看「像不像卡通」。
  4. 需要对比多家模型时,用同一提示打 API,避免网页套餐额度干扰结论。

用 DDS Hub 做多模型鹈鹕对照

若要在 GPT-6 Astra、GPT-5.6 与其它厂商之间并排试验,可为每家维护官方 Key,也可以用统一网关减少切换成本。

DDS Hub 通过 Model Group(模型分组) 管理模型:先选分组再创建 API Key,便于把旗舰与轻量模型分账,并用同一套鹈鹕提示做 A/B。适合在订阅额度波动时,仍用按量通道验证「是模型能力差,还是账号侧限流」。

结语

鹈鹕测试能火,是因为它把抽象的「空间推理」变成一张谁都能看懂的图。GPT-6 Astra 在公开网格里抬高了这类任务的下限,但 max 以下仍可能在细节结构上翻车;它说明代际进步,并不证明任何模型已经「懂物理」。把它当作发布日的快速体检,再配合真实业务任务与可计量的 API(含 DDS Hub 这类中转/网关),比只转发表情包式的鹈鹕截图,更接近工程师的用法。

本作品采用《CC 协议》,转载必须注明作者和本文链接
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!
未填写
文章
1
粉丝
0
喜欢
0
收藏
0
排名:3884
访问:0
私信
所有博文
社区赞助商