因为要打美亚杯，听说其他学校师傅们都打算带上很多的Spark打比赛，所以撺掇着也弄了台今天也是对师傅们推荐的Strata和TensorFold架构都进行了测试模型感觉也只推荐qwen3.8 flash next了，其他在单机上表现都不太好 dgx给我最惊艳的是这么小的一个东西，也不太发热，能跑这么强劲的模型，果然时代发展的好快呀

速度对比

指标	Strata IQ3_S	TensorFold MLX 4-bit
单流解码·代码	42–55 tok/s	50–76 tok/s
单流解码·散文	42–50	27–31
单流解码·高可预测（JSON）	~50	113
预填充	700–1,700 tok/s（3K/63K prompt）	~2,100 tok/s（30K prompt 14 s）
并发聚合	4 槽 32 客户端约 47 tok/s	16 流 160–215 tok/s
长上下文	128K 实测可用（63K 召回通过）	256K 实测可用（30K 召回通过），文档支持 1M（YaRN）
内存占用	128K 时 100 G 用 / 21 G 余	128K+5 流时 76 G 用 / 28 G 余
TensorFold 快的核心原因是 MTP 草稿接受率高（0.5→58 t/s，1.0→113 t/s），高并发还能叠加上去；Strata 是纯目标模型解码，速度稳定但不随并发增长。

比较

Strata

优点

完整的“产品”体验：strata launch 引导式装模型、自动选量化、strata connect 一键生成 Claude Code / Codex / OpenCode 配置、预设、开机级 API key 管理。
有 Web 聊天页、TUI 监控（strata monitor）、桌面快捷方式、模型目录与显存适配计算。
OpenAI + Anthropic 双协议、局域网/tailscale/cloudflare 访问模式。
签名更新源、断点续传、模型校验；文档极其完整（含 DGX Spark 专页）。
模型选择多（Qwen 各量化、DeepSeek V4.1、Qwen3.6 等），NVFP4/GGUF 等格式支持成熟。

缺点

慢：解码 42–55 tok/s，差不多是 TensorFold 的 60–70%。
128K 就顶到实测上限，再大没验证；并发只有 4–8 槽，聚合吞吐低。
ARM/Spark 上只能用 Terminal，没有桌面 App；模型准备阶段还依赖 GitHub（被墙时要手动预置 llama.cpp）。
内存更吃紧（128K 只剩 21 G）。
模型是 IQ3_S（约 3-bit）或 NVFP4，格式由它决定。

TensorFold

优点

快：单流最高 113 tok/s，16 并发 215 tok/s，是这台机器上目前最快的方案。
内存效率高：128K + 5 流还能剩 28 G；32K 能开 16 流。
内置实时监控面板（--dashboard，解码/预填充/内存/草稿接受率，5 分钟曲线）。
单二进制 48 MB，无 Python 依赖；pull 断点续传 + SHA 校验，复用 HF 缓存；Prometheus /metrics。
模型家族覆盖广（qwen4、GLM、Nemotron、Gemma、LFM 等），支持多卡 TP、结构化输出、工具调用。
原生支持 256K，文档给出 1M 的 YaRN 路径。

缺点

开发者工具：没有 connect、没有模型目录/适配建议、没有预设和服务管理，装模型要自己选仓库和参数。
没有聊天网页，/dashboard 只是监控页，还要过 API key（为此写了 8090 反代）。
CUDA 上的 Flash Next 路径较新：只认 MLX 4-bit g32 检查点、不支持 fp8 KV、对模型结构校验很严（不匹配直接拒绝加载）。
模型 113 GB，比 Strata 的 84 GB 大；依赖 HuggingFace（国内要镜像，且镜像不稳定）。
文档偏“研发/复现”风格，普通用户上手成本高。

简单来说做美亚杯的话TensorFold更好，速度快一些，5并发基本没什么压力

上下文有个参考，目前来看128K是最好的

档位	上下文	并发	典型单流	典型聚合
长上下文（当前）	256K	1	56–113	—
平衡	128K	5	50–75	75–95
吞吐	32K	16	68–113	160–215

安装

许愿式即可

应用

dsh上就不说了，非常丝滑接下来打算用苍穹测试一下（2025美亚杯个人赛），刚刚3分钟完成了题目分组开了5并发（其实还是有点大了，导致大多数时间一直在prefill）

所以全分析就比较吃力了，先让他跑一晚上，明天看看效果（这是做了一个半小时的）