腾讯 Hy3 开源与 Anthropic J-Space 全局工作空间研究
腾讯 Hy3 开源与 Anthropic J-Space 全局工作空间研究
1. Anthropic 发现 Claude 内部"全局工作空间" J-Space
本周最引人深思的发布来自 Anthropic。他们发布了一项机制可解释性研究,声称在 Claude 内部发现了一个类似"全局工作空间"的结构——被称为 J-space 的一小部分激活子集。这个空间并非简单地提取链式思维,而是一个特权内部表征基底,可用于报告、调制和灵活推理。
New Anthropic research: A global workspace in language models.
Of everything happening in your brain right now, only a tiny fraction is consciously accessible—thoughts you can describe, hold in mind, and reason with.
We found a strikingly similar divide inside Claude.
— @AnthropicAIAnthropic 新研究:语言模型中的全局工作空间。你大脑中所有正在发生的活动中,只有极小部分能被意识访问——那些你可以描述、保持、推理的想法。我们在 Claude 内部发现了惊人相似的分裂。
DeepMind 机制可解释性负责人 Neel Nanda 给予高度评价:
I've long suspected that models have some kind of "working memory" to store intermediate variables during a forward pass and IMO this paper has the best evidence yet
— @NeelNanda5我一直怀疑模型在单次前向传播中拥有某种"工作记忆"来存储中间变量,我认为这篇论文给出了迄今最好的证据。
Anthropic 还同步发布了 Neuronpedia 演示,将类似分析应用于开源模型。研究社区普遍认为,这一发现的实际意义在于提供了一个新的干预点用于审计和引导模型——可以检测隐藏概念、识别提示注入、甚至在模型 verbalize 之前暴露内部破坏性特征。不过 Anthropic 的"意识"措辞引发了激烈辩论:支持者认为这更像是"访问意识"的功能类比而非现象意识,批评者则认为公司过度宣称了特权潜变量激活的意义。
2. 腾讯 Hy3 开源:295B MoE,Apache 2.0,首日即支持 vLLM
腾讯正式发布 Hy3,采用 Apache 2.0 许可,是继 Hy3 Preview 之后的全量版本。模型结构为 295B 总参数 MoE,21B 激活参数,192 个专家 / top-8 路由,GQA 注意力机制,256K 上下文窗口,以及一个 3.8B MTP 层用于推测解码。
new open (apache 2.0!) model from @TencentHunyuan, Hy3 is only 295B total 21B active and competitive with MUCH bigger model on benchmarks
— @eliebakouch来自腾讯混元的全新开源(Apache 2.0!)模型 Hy3,仅 295B 总参数/21B 激活参数,在 benchmark 上可与远超其规模的模型竞争。
推理生态的成熟度令人瞩目。vLLM 从发布首日即提供原生支持:
Hy3, the full release following the Hy3 Preview, runs natively in vLLM from day 0, with tool-call and reasoning parsers and MTP speculative decoding, verified on NVIDIA and AMD hardware.
— @vllm_projectHy3 从发布首日起即在 vLLM 中原生运行,支持工具调用和推理解析器以及 MTP 推测解码,已在 NVIDIA 和 AMD 硬件上验证。
腾讯还将生产级内核上游化至 vLLM 主线,包括负载均衡解码调度和融合 FP8 MoE 推理,报告在混合长度解码上最高 2.95 倍加速,TTFT 降低约 24%、TPOT 降低约 17%。社区反应热烈,Teknium 迅速在 Nous Portal 上提供两周免费使用。
横向对比中,Hy3 被直接拿来与 GLM-5.2 对标——部分人认为腾讯已跻身开源实验室最顶级梯队,另一些人仍坚持 GLM-5.2 是当前最佳可用开源模型。共识是:开源前沿正在快速压缩,竞争重心正从 benchmark 分数转向部署稳健性。
3. MIRA:可玩的多人世界模型,Rocket League 的"梦"
General Intuition 与 Kyutai 合作、联合 Epic Games 推出了 MIRA——一个可玩的多人世界模型,模拟 Rocket League。基于 10000 小时机器人采集数据训练,模型实时运行在 20fps。
Introducing MIRA. A playable, multiplayer world model. A dream of Rocket League.
Trained on 10k hours of data collected with publicly available bots, MIRA learns the dynamics of a four-player game. The model runs in real time at 20 fps, based on the keys you and the other players press.
— @gen_intuition介绍 MIRA:一个可玩的多人在线世界模型,一个 Rocket League 的梦。基于公开机器人采集的 10000 小时数据训练,MIRA 学习了四人游戏的动力学。模型实时运行于 20fps,完全基于你和其他玩家按键输入驱动。
更具体的技术细节:一个 5B 参数模型在单块 NVIDIA B200 上运行完整的 2v2 比赛,没有传统物理引擎或渲染管线。这是世界模型从玩具演示迈向交互式模拟器的最清晰信号之一。
4. AutomationBench-AA:Agent 评测新标杆,所有模型仍会违反业务规则
Artificial Analysis 联合 Zapier 发布了 AutomationBench-AA 独立排行榜,评估 AI Agent 在真实 SaaS 工作流中的表现。测试覆盖 657 个任务和 40 个模拟 SaaS 应用(包括 Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira、HubSpot),模型必须在不违反 guardrail 的前提下完成任务目标。
排名方面:Claude Fable 5 以 48.6% 领先,Opus 4.8 紧随其后(48.5%),Gemini 3.5 Flash(42.6%)和 GPT-5.5 xhigh(42.1%)分列三、四。开源模型差距明显,最好的 GLM-5.2 max 仅 27.8%。
更有趣的发现是:所有模型都会违反业务规则。Gemini 3.5 Flash 每任务 guardrail 违规最低(0.46 次),且目标/违规比率最高(15.0),在成本效率维度表现突出——$0.49/任务即匹配 GPT-5.5 xhigh 的 $1.32/任务。Finance 工作流是最难自动化的领域,Agent 在金融任务上的目标完成比例仅为 Support 和 Operations 任务的一半左右。
Artificial Analysis 还同时引入了六个领域专用指数(财务与会计、法律、医疗、战略与运营、工程、经济学),推动评测从单一分数走向多维能力画像。这与 François Chollet 的观点——不报告每任务成本的 benchmark 分数越来越无意义——相呼应。
5. LongCat 2.0 开源:1.6T 参数 MoE,MIT 许可
LongCat 2.0 发布权重,采用 MIT 许可。这个来自美团的超大规模 MoE 模型拥有 1.6T 总参数、约 48B 激活参数,BF16 权重占用约 3.55 TB,FP8 约 2.05 TB。
尤为引人注目的是,美团据报道 100% 使用国产芯片训练该模型,这在 AI 硬件供应链独立性方面具有地缘政治和市场双重意义。社区对 MIT 许可下的超大规模模型表现出浓厚兴趣,但多 TB 级的存储和推理需求使其本地部署门槛极高。
6. GigaChat 3.5:432B MoE,首日即支持 GGUF
俄罗斯 Sberbank/ai-sage 发布了 GigaChat3.5-432B-A28B,提供 instruct 和 base 两个变体,以及首日 GGUF 权重(llama.cpp PR 已提交但尚未合入主线)。架构上采用混合 MLA + GatedDeltaNet 线性注意力叠加双 MTP 头,据称比前代 GigaChat 3.1 Ultra 700B 缩小约 40%,但代码/数学/Agent 能力更强,KV 缓存仅原来的 1/4,吞吐量提升约 20%。
双 MTP 头在贪婪解码中分别带来约 1.5 倍和 2.2 倍加速。社区特别赞赏其开放程度——中间 checkpoint 和 base 模型均开源,为这个规模的模型前所未见。但需注意这是一个非推理模型,不应直接与推理型前沿模型横向对比。
7. Agent 记忆与检索:A-TMA、ReContext、BlockSearch 三连发
多篇论文聚焦于解决长期运行 Agent 的记忆瓶颈。A-TMA 针对"幽灵记忆"问题(旧事实与新事实被同时检索),在 LTP benchmark 上配合 Graphiti 将冲突准确率提升 +0.240 绝对值。ReContext 是一种无需训练的推理框架,在生成答案前重放模型内部的证据信息,在 8 个 128K 数据集上改善证据利用率。BlockSearch 则实现了百万 token 级别的上下文内检索。
三篇论文的共同主题是:更好的记忆行为正越来越多地通过推理时工程实现,而非单纯依靠训练。
8. 前沿模型跑在消费硬件上?趋势预测引发热议
r/LocalLLaMA 上一张趋势图引发广泛讨论,数据显示开源、能在笔记本上运行的模型历来落后前沿模型平均 24.8 个月。GPT-3 → Llama 2 70B(37 个月)、ChatGPT → Llama 3 70B(17 个月)、GPT-4 → Gemma 3/Qwen3 级别(24 个月)。按此趋势外推,GPT-5/Claude 4 级别的能力有望在 2027 年中到达高端消费硬件,Fable/Mythos 级别则在 2028 年 7 月左右。
社区对此半信半疑:既有人质疑"消费硬件"届时是否还能负担得起,也有人分享实际体验——Gemma 4 26B A4B 在 RTX 5080 上经过配置调优后可达约 100 tok/s。与此同时,有开发者用纯 C 实现了 GLM-5.2 744B MoE 在 25GB 内存笔记本上"运行"——虽然吞吐量仅约 0.05-0.1 tok/s,被称为"秒每 token"而非"token 每秒"的新时代。
9. 语音 AI 白热化:Speechify Simba 3.2 TTS 夺冠,AssemblyAI 发布实时 STT
语音赛道竞争激烈。TTS 方面,Speechify Simba 3.2 以 1233 Elo 登上 Artificial Analysis Speech Arena 榜首,领先 Gemini 3.1 Flash TTS、Sonic 3.5 和 Inworld Realtime TTS 1.5 Max,且是排名靠前模型中最便宜的。
STT 方面,AssemblyAI 发布 Universal-3.5 Pro Realtime,流式语音识别模型,AA-WER Streaming 指标达 4.1% 词错率,支持上下文引导且可在通话中途更新无需重连,对实时通话场景意义重大。
10. 推理效率成为战略核心:DSpark、GPT-Realtime-2.1-mini 与基础设施
LMSYS 为 SGLang 添加了 DSpark——一种置信度驱动的可变长度推测解码验证方法,在高负载下避免验证每个草稿 token,改善吞吐/延迟权衡。DeepSeek-V4-Pro 在 B300 上 batch=1 达到 383.7 tok/s。
OpenAI 发布 GPT-Realtime-2.1-mini,将推理和工具使用能力引入 mini 实时语音产品线,价格与前代 mini 持平,同时通过缓存改进实现 25%+ p95 延迟降低。
Cloudflare 推出 Workers Cache 区域分层缓存。John Carmack 则从硬件角度切入,论证推理硬件可利用确定性访问模式和远低于 HBM 成本的存储层级服务大模型。
这些进展共同指向一个趋势:推理而非训练正成为"整个游戏"——每条数据流水线、每个 RL 循环、每个 Agent 运行时,最终都折算为测试时计算。
本作品采用《CC 协议》,转载必须注明作者和本文链接
关于 LearnKu