AI 硬件实战

8000 元组一台本地大模型机
Qwen3.6-27B 越狱版部署实操全记录

发布于比武季 · 适用离线 / 参赛 / 日常工作场景

最近又来到了比武季，也会有不少的实际工作需求。主要是这两个应用场景大多数的情况下是不能够联网的，加上最近有不少大佬咨询要能跑本地大模型最低最低的设备需求是什么。

实际工作中的本地模型需求场景

刚刚好端午节的时候实地部署了一台，总的成本花费在 8000 多块钱。跑的是 Qwen3.6-27B 越狱版，配合 CodeBuddy 进行本地做题，配置成品图如下：

装机成品图

一、硬件配置清单

显卡：AMD 蓝宝石 RX 7900 XTX 24G（超白金版本，自带电源）

内存条：金士顿 DDR4 16G

固态硬盘：雷克沙 512G（7000M/s）

主板：技嘉 H610M-K

主板散热器：影驰风影 412C

机箱：便携式小机箱，有把手可以直接提着走

CPU：INTEL CORE i5-12400F

二、硬件配置成本

显卡是 618 活动在京东购置，含电源 5000 多块（但现在我搜了下价格好像就要 8k 多了），其他配件都是直接在厦门百脑汇当场配置的，成本将近 3000 块，总的成本在 8000 多块钱。

硬件配置上图：

硬件配置清单实拍

三、软件配置清单

本地大模型（网盘链接获取方式在文末）：
Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf
mmproj-Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-f16.gguf

两个模型文件：主模型 + 多模态

本地大模型部署的方式：llama.cpp

操作系统：Ubuntu 24.04

Agent：Hermes Agent

四、本地大模型详细配置实操

1. 前期准备

Rufus 软件——制作 Linux 启动盘的工具（文末有资源）

Ubuntu 24.04.iso 镜像文件（文末有资源）

硬盘或者 U 盘一个，作为启动盘

一根网线，用于部署大模型的机子和你自己用 AI 的机子通信，也方便直接让 AI 帮你部署本地大模型

2. 实操步骤

（1）先下载好大模型。你可以自己到 LM Studio 上的大模型应用商店进行下载，上面的资源也是基于 HuggingFace 上的，也可以用我网盘的资源，一样的出处。可以在模型商店搜索 qwen3.6-27B，选择下载越狱版，可能会突破一些限制。

这边的 Q4 是大模型的能力量化档位，数字越高能力越强，但一般来说 24G 显存跑 Q4，36G 显存跑 Q6。

量化档位与显存对应关系

（2）使用 Rufus 工具对 Ubuntu 24.04 系统文件写入 U 盘启动项。在一台能正常使用的电脑上插上 U 盘，运行 Rufus 工具，以下是详细的制作步骤：

完成：

点击关闭就可以拔出 U 盘。

（3）制作完成后再到组装好的电脑进行开机启动。因为电脑城的师傅不会安装 Linux 系统，所以最好还是让他装个 Windows 系统测试各项硬件是否正常，虽然人家有专门的设备测试，但看不懂啊。开机启动项不同的主板进入的方式不一样，可以百度下。选择 U 盘启动，就一路安装操作系统了。

（4）Ubuntu 的操作系统安装完成之后，需要用网线连接两台机子的通信（一台是部署本地大模型的机子，也就是刚刚组装的这台机子；另外一台是你要调用大模型服务的机子）。

首先需要在 Ubuntu 系统上查看网卡所分配的 IP 地址，可以直接在桌面右上角查看，也可以直接右键-打开终端，输入命令 ip a 进行查看。

其次，再到你自己的 Windows 电脑（要调用大模型服务的机子）将你当前的网卡设为静态 IP，网段必须跟部署本地大模型的机子一致。如下（根据你自己的情况而定）：

静态 IP 设置示例

你自己的 Windows 电脑最好有个无线网卡，能够访问网络，因为待会接入 AI，让 AI 帮你部署需要用到。

（5）重头戏来了，让 AI 直接帮你干活部署。这边用的是 WorkBuddy（下载链接：https://www.workbuddy.cn/events/invite?inviteCode=hv5d57bxd5u），用这个下载链接，你我都可以白嫖积分哈哈。

首先是先把大模型文件放到硬盘上，再把这个硬盘接入到组装好的机子上，也就是部署本地大模型的机子。

这里有两个文件：一个是主模型文件，一个是用于多模态的文件

其次，在 WorkBuddy 上新建一个任务直接输入提示词（最开始不懂用最传统的手工编译部署累半天，AI 几分钟搞定）：先直接使用 ssh-mcp 帮你进行连接（关于这个 MCP 工具之前有文章）。

ssh-mcp 连接服务器

问 AI 能不能看到你接入含有大模型文件的硬盘：

直接开始让 AI 进行部署：这边可以要求它部署在 Docker 当中，这样环境不容易被破坏，只要启动 Docker 就可以，还要求它只能使用国内网络。

AI 自动部署过程

最后配置清单：

最后可以让 AI 将这个大模型的服务帮你设为开机自启动，只要按下电源键，这个大模型的服务就起来了。也可以直接接入 WorkBuddy。

至于前面提到的 Hermes 是直接部署在大模型的机子上，可以让 AI 直接帮你部署，你的这台 Windows 机子通过 SSH 连接就可以控制它了。

五、Q&A 答疑

Q1：当前主流的部署方式有哪些？

以下是主流的几种部署方式对比：

主流部署方式对比

总结：vLLM 的部署方式当前比较稳定，擅长并发，就是需要对 .gguf 文件进行处理稍微麻烦了点，但这个也可以交给 AI。

llama.cpp 的好处是不需要转换，直接使用 .gguf 文件。如果是 Windows 系统自己玩的 8G 运行内存那些，用 LM Studio 或者 Ollama。

Q2：当前能够用于打比赛或者用于实际工作的数据分析，需要什么样的配置和什么样的大模型？

以 Qwen3.6 为例，只需要 27B 的 Q4，或者 35B。本文的硬件配置和大模型配置能够用于打比赛或者用于实际工作的数据分析。但如果是统一内存需要 128G，跑不了 27B，只能跑 35B，因为 27B 是稠密模型需要显存。它能不能用于打比赛或者用于实际工作的数据分析呢？当然可以，只不过打比赛用 27B 的效果会好些。

Q3：除了 Qwen3.6 的 27B 和 35B，有其他大模型推荐吗？

有。Deepseek-v4 Flash 但有点贵。看下图，最好就是 GPU 的方式，但都是金钱的味道。