Strata 0.2.18 新增 220B 开源大模型 Hy4-Flash,门槛上涨至 64GB 内存

原始链接在: Strata 0.2.18 新增 220B 开源大模型 Hy4-Flash,门槛上涨至 64GB 内存 - 小众软件

本地大模型运行工具 Strata 更新到了 0.2.18,新增了对腾讯混元 Hy4-Flash 的原生支持。不过,入门内存已经增加至 64GB。@Appinn

Strata 是一个可以让普通家用电脑也能比较快速的运行开源大模型的工具,主要支持 Qwen3.8-Fl1sh-Next、Qwen3.6-35B-A3B,也支持 1 比特 DeepSeek。

Hy4-Flash 是一款总参数 224B、每个 Token 激活约 12B 参数的 MoE 大模型。支持图像理解和最高 100 万 Token 的上下文。

Strata 为它准备了专用推理引擎、三档量化和内置推测解码。

那么问题来了:

  1. Hy4-Flash 比 Qwen3.8-Flash-Next 强吗?
  2. 如果你的电脑已经能跑 Qwen3.8-Flash-Next,还能换成 Hy4-Flash 吗?

Strata 0.2.18 更新了什么?

Strata 0.2.18 于北京时间 11 月 22 日发布,桌面版与命令行版本均升级到 0.2.18,推理引擎和负责安装更新的 Control 升级到 0.1.64。

主要更新:

  • 原生支持 Hy4-Flash。新增独立的 strata-hy4 推理引擎,选择 Hy4-Flash 量化包时会按需下载。
  • 三档量化。SQ-64、SQ-96、SQ-128 分别面向不同的内存配置。
  • 内置 DFly2 推测解码,用于加快生成。桌面版与 strata launch 都支持。
  • 图像理解。可加载单独的 Vision 组件,文件大小为 0.93 GB。
  • 跨平台运行。支持 Windows、Linux、搭载 Apple 芯片的 Mac 以及 DGX Spark。可用的显卡后端因系统而异。

升级后,原有的 Qwen、DeepSeek 模型以及聊天记录和设置都会保留。

另外,现在的 API 可以使用原始模型名称了:

Hy4-Flash 与 Qwen3.8-Flash-Next 有什么区别?

两款模型都采用 MoE(混合专家)架构。模型拥有大量参数,每次生成一个 Token 时只调用其中一部分参与计算。Hy4-Flash 的总参数含约 64B Engram 查找参数,每个 Token 激活约 12B 参数。

Hy4-Flash 支持百万级上下文,腾讯将它用于 Agent、文档处理和电脑操作。Qwen3.8-Flash-Next 在 Strata 里已有多种适合消费级硬件的低比特量化方案。

谁的实际能力更强?

以下对比数据来自腾讯 Hy4-Flash 官方模型卡附录的评测结果,分数越高越好。腾讯对每款模型采用各自可用的最高推理档位。

Agent 与电脑操作

在选取的三项 Agent 测试里,Hy4-Flash 得分都更高。以衡量图形界面操作的 OSWorld 2.1 为例,完整测试集的部分得分(partial score)是 68.1 对 58.8,相差 9.3 分。

编程与终端

这三项测试里,Qwen3.8-Flash-Next 得分更高。两者在 DeepSWE v1.1 上只差 0.5 分,差距最大的是使用 Claude Code 测试框架的 Terminal-Bench 4.0,Qwen 得分 29.5,Hy4-Flash 为 19.2。

门槛以升,本地运行需要多少内存?

Strata 为 Hy4-Flash 提供三档量化。以下是官方更新日志列出的磁盘占用和目标内存配置。

量化 磁盘占用 官方内存配置
SQ-64 129.61 GB 64 GiB 起
SQ-96 157.16 GB 面向 96 GiB 系统
SQ-128 181.23 GB 128 GiB 起

官方列出的 SQ-64 起步配置是 64 GiB 系统内存,搭配 8、12 或 16 GiB 显存。即便手里有一张 24GB 显存的 RTX 3090,48GB 系统内存也低于这一档的官方起步要求。

也就是说,运行 Hy4-Flash 至少需要 64GB 内存才可以,青小蛙表示已经无力测试了。

已经在用 Strata,需要升级吗?

内存足够的情况下,当然升级啊 😂

下图是青小蛙最近一段时间以来,使用 RTX3090 + 48GB 内存,运行 Qwen-Flash-Next IQ3_S 的测速情况,基于 llm-bench:

仅代表此电脑,建议都可以测试一下,我的 llm-bench 命令行:

C:\llm-benchmark.exe benchmark --endpoint http://127.0.0.1:47831 --tool Strata --tool-key KEYKEY

对于小于 64GB 内存的配置,现阶段继续用 Qwen 更实际。如果已经有 96 GiB 或 128 GiB 内存,可以按自己的任务试试 Hy4-Flash。

获取


原文:https://www.appinn.com/strata-0-2-18/

1 个赞

我的配置是

  • 48G DDR4 2133内存
  • 双1060 6G

跑Qwen3.8-Flash-Next IQ2_XS,上下文极限开到221K,实际运行的时候开到192K。速度是17t/s到22t/s。算是勉强可用的状态。给本地的Goose接上之后,作为背景任务,扫一些文档,或者老项目什么的,感觉还挺顺手的

虽然认真干活还是得Codex+GPT 5.6 SOL就是了

还是内存不够。如果加到64会好很多

是的,但是我翻箱倒柜,公司也没有另外的单条16G的内存了,就只能双8G,双16G混着用。反正2133的速度混用也不会有什么更恶劣的影响了。

双1060的配置,不论是芯片速度还是PICE3 X4的接口,亦或者是2133的速度,额,感觉这个硬件配置处处是瓶颈。不过,完全“能”跑,所以,已经很满足了。反正是公司的闲置零件再利用,能干点什么就已经值回票价了。

如果真的认真想做点什么,我会推荐公司买M5 Pro Mac Mini 128G,但是AU$5000的价格,公司接受不接受,就是另一个话题了