Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

3210亿参数塞进单张显卡,26 token每秒跑起来了内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

3210亿参数塞进单张显卡,26 token每秒跑起来了

本篇内容由胜天国际整理:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

about image

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

本文内容由胜天国际整理。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
价格大跳水,行业巨头接连破产!又一高端奢华生意割不动中产了?
价格大跳水,行业巨头接连破产!又一高端奢华生意割不动中产了?

作者 | 曾有为 来源 | 品牌观察官(ID:pinpaigcguan) 引言:同行疯狂甩卖,离2026年结束还剩2个月,手里压着的产品仍无人问津!曾创造超20万元“天价船票”的高端奢华旅行细分赛道,也迎来了价格崩盘时刻。 每年的11月到第二年的3月, 各大社交平台上几乎都会限定般出现不少人奔赴南极旅行的体验分享贴。 而对于主打南极游的商家来说,当年的11月到次年3月那就是实打实的做几个月就能赚一

55岁中超最佳主帅告别河南!球迷喂饺子惹他落泪,上百名球迷送别
55岁中超最佳主帅告别河南!球迷喂饺子惹他落泪,上百名球迷送别

天下没有不散的筵席,河南球迷心里都挺不是滋,这位 55 岁的中超最佳主帅,到了和球队告别的时刻。 送行现场特别暖心,球迷特意准备饺子喂给他,他当场感动落泪。 上百名球迷自发赶来,专程送他一程,热闹又伤感的一幕,刷了不少球迷的朋友圈。 朝夕相处的日子画上句号,这碗饱含心意的饺子,到底藏着多少双向奔赴的故事? 11月10日的郑州新郑国际机场,秋风刮在脸上已经有些刺骨。 出发大厅的角落里,上百名穿着红色

52分0失误后,帕金斯称坎宁安是詹皇东契奇合体,球迷不买账
52分0失误后,帕金斯称坎宁安是詹皇东契奇合体,球迷不买账

底特律活塞在周四晚经过双加时以 144比140 击败华盛顿奇才,拿到本赛季第8场胜利。坎宁安是这场比赛的主角,前NBA冠军肯德里克·帕金斯看完之后,在《First Take》节目上抛出了一个引爆评论区的比较。 帕金斯把坎宁安与勒布朗·詹姆斯、卢卡·东契奇放在一起讨论。他说:“坎宁安是NBA前十的球员。如果卢卡和勒布朗有个孩子,你得到的就是坎宁安。在身材、在控卫或控球前锋这个位置上,能得分、能抢篮板

美媒假想第三次"世界大战",美国险胜中国后解体,世界经济崩溃
美媒假想第三次"世界大战",美国险胜中国后解体,世界经济崩溃

打赢了,却输掉了整个国家,这事儿听着怎么都像天方夜谭。 来看看是怎么一本正经地推演出了这么个结局的。 有推演者把中美之间可能发生的大仗从头到尾在脑子里过了一遍,越推演越冒冷汗,最后发现一个让自己都不敢相信的事情——哪怕美国最后侥幸赢了,这个"赢"字也得打上一个大大的问号。 因为赢家回到家一看,国库空了,老百姓怒了,社会裂了,盟友跑了,手里就剩下一张写着胜利两个字的奖状。 本意,大概不是吓唬别人,而

3210亿参数塞进单张显卡,26 token每秒跑起来了
3210亿参数塞进单张显卡,26 token每秒跑起来了

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。 它支持的模型清单不止一个:GLM-5.3(744B)、GLM-5.3-Flash(321B)、DeepSeek-V4.1-Flash(748B)、MiniMax-