当前即使AI时代更新迭代很快，但即使这样可能也很多小伙伴由于工作繁忙原因没有用上AI或是没有很好用上AI。例如：不知本地大模型如何部署和应用。又因为大多数的办公环境是在不能够上网的计算机。这期就带来一期使用美亚柏科的Qiko 3.0AI引擎部署本地大模型并应用日常工作的实操教学。（文末给出Qiko3.0取证智能体的内测资格。Qiko3.0取证智能体的使用可以看AI取证实战第23期：Qiko3.0取证智能体赋能电子数据取证初体验）
文里会反复出现三个模型名字，先把它们分清楚，后面选模型就不会乱。
三个都是开源权重，可以完整下载到本地，这也是能在离线机器上跑起来的前提。选模型的思路也就一句话：内存富裕往 MoE 上挑，显存富裕往稠密模型上挑。
话不多说，直接进入实操。
在Qiko3.0 AI引擎的软件界面首页处点击“模型管理”
可以开启“适合本机”的按钮可以过滤“仅显示本地适配较好的模型”进行模型筛选。
如果是内存足够高的方案，这里的内存高，指的是内存需要在64G及以上可以考虑跑Qwen3.6 35B-A3B。
如果内存更大些，如128G可以考虑跑Qwen3.8 Flash-Next，但可能还会有点卡，所以要两张128G内存跑Qwen3.8 Flash-Next会好点。
如果是显存足够高的方案就可以跑稠密模型，如24G显存可以考虑跑Qwen3.8 27B
当然，有条件的话使用36G显存的可以跑到Qwen3.8 27B的Q6版本。
我自己电脑本地的环境是12G的显存，64G内存，这种配置的情况下优先考虑跑预加载的模型。
所以我下载Qwen3.6 35B-A3B:
点击下载后可以在右上角查看下载进度。
除了在Qiko3.0下载大模型之外，如果要实现完全不联网，可以点击“模型管理”还可以导入本地大模型。
这边选择主模型的.gguf文件即可。
点击打开后即可导入成功：
接下来回到首页来应用一下：
这样就可以实现完全离线部署在本地来赋能不能上网的计算机的一些日常工作。
可进行文本处理生成。
不到10s生成完成：
也可以完成翻译工作：
支持的语种：
完成：
初次之外亦可创建知识库，可以将历史的讲话稿喂给它，让它延续历史的讲话稿生成。
可以应对一些做假章的AJ，检材数据不好在外网进行处理，直接离线进行OCR识别：
选择好文件夹后，点击开始处理：
OCR识别成功：
点击下载大模型即可使用。
点击开始分类：
完成：
即输入关键词可以匹配到哪张图片的内容上有这个“关键词”。
选择对应的文件夹：
这一期做的事其实很简单：在一台 12G 显存、64G 内存的机器上，把 Qwen3.6-35B-A3B 装进 Qiko 3.0，然后断网跑通了文本对话、离线 OCR、语音转写、内容分类和图文检索。
对技术室来说，门槛从来不是模型够不够聪明，而是检材能不能出内网。做假章的案子、涉案手机的截图、需要脱敏的材料，只要数据不能上外网，云端模型再好也用不上。本地部署慢一点、笨一点，但它是真能用的那一个。
边界也要说清楚：离线模型没有联网检索，知识停在训练截止的那一刻；这个量级的模型做文书润色、信息提取、翻译、OCR 校对足够，但遇到需要长链条推理的任务，还是会明显不如云端旗舰。选它是因为数据不出本机，不是因为它比云端强。
如果准备上手，三条建议。先看机器：内存富裕往 MoE 上挑，显存富裕往稠密模型上挑。先跑通再升级：拿小一点的量化版本把流程走一遍，别一上来就下最大的权重。最后按任务配模型：OCR、语音转写这类活对模型要求不高，没必要为了它们上最大的那个。
敬请各位大佬关注：小谢取证
扫取二维码获取
更多精彩
小谢取证
