在新标签页中打开
茉莉花
新闻网
2026-11-22 · 星期日近12小时收录 79 条最近更新 02:31

快讯米哈游公布游戏AI模型Gamer,用键鼠操作《崩坏:星穹铁道》

腾讯混元称Hy4-mini已列入开发计划,将推出面向24GB显存的模型

茉莉花综合报道

腾讯标识(界面新闻配图)

11月21日凌晨,腾讯首席AI科学家姚顺雨和混元团队研究员在Reddit回答开发者提问时,确认小模型Hy4-mini已列入开发计划。混元团队还说,未来会推出面向24GB显存设备的模型。这场问答没有给出小模型的发布时间。

一名想在自己电脑上运行Hy4 flash的用户问,他手上的显卡有96GB显存,电脑有128GB内存,能不能带动这个模型。混元团队回答说可以,把主要权重和注意力计算留在显卡上,由系统内存存放部分专家层和Engram查表模块。

混元还预告更轻的Flash-Lite

有开发者想用更轻的版本解析文档、做分类,或把简单的工作自动化,团队在回应这条提问时预告了Flash-Lite。团队也在考虑推出参数规模较小的稠密模型。谈到端侧设备时,混元团队说,过于稀疏的混合专家模型会占用大量显存,同时可能闲置一部分GPU算力。给这类设备做模型时,团队打算从设备本身的硬件条件出发设计架构。谈到在本地运行模型,团队说正在适配llama.cpp,也在与vLLM和SGLang社区合作。

混元11月4日发布旗舰Hy4。11月16日推出的Hy4 flash面向日常办公,两款模型均已公开权重。

按腾讯公开的模型卡,旗舰Hy4的语言主干有7700亿个参数,处理每个词元时调用490亿个。Hy4 flash计入Engram模块后约有2200亿个参数,每个词元调用约120亿个。按模型卡的说明,Flash支持图像和文字输入,一次可以处理最长约100万个词元的上下文。

Hy4与Hy4 flash的参数规模(亿个)
型号及总参数口径总参数(亿个)每词元调用(亿个)
Hy4语言主干7700490
Hy4 flash(含Engram)约2200约120

数据:腾讯混元Hy4及Hy4 flash模型卡的简介

模型卡显示,Flash有一部分参数存储的是两个或三个词元连在一起的表示,模型遇到这样的组合时可以查表读取。在问答中,混元团队还提到,选择滑动窗口注意力是为了少存一些处理长文时要用的缓存,降低提供模型服务的成本。

下一代Hy模型仍会扩大规模

混元团队说,下一代Hy模型的规模会显著扩大。团队同时认为,现有Hy4还有改进空间,尤其是基础训练完成后用来改善模型表现的后训练阶段。混元团队说,Hy4的推理链偏长,团队将Hy4蒸馏成Hy4 flash,再用强化学习缩短后者的推理链。

茉莉花观察

这一节是茉莉花的看法,依据是上文的事实。

按混元给这名用户的方案,把部分专家层放进系统内存可以腾出显存。对手头已有24GB显卡的人,小模型真正能省下一笔硬件开支的地方,可能是让整台电脑沿用原来的配置。

综合量子位、界面新闻报道
数据:腾讯混元

相关报道

在 Telegram 关注茉莉花

更正与撤稿0 条记录

本文暂无更正或撤稿记录。若本文发布更正、澄清或被撤稿,相关说明将按时间顺序列于此处。版权异议或撤稿请求:见 版权与撤稿,或致函 [email protected]。