在使用workbuddy的5.5.4版本突然发现设置的地方多了一个本地大模型,于是就想测评下效果。于是有了这篇文章。直接通过workbuddy下载安装的好处是一键下载安装。就可以直接用了。

这期就带来一期实际测评在workbuddy上下载的本地大模型:qwen3.6 35B-A3B。测评的题目是2024年数证杯团体赛服务器的题目。由最开始跑完全部题目花了2个小时到调教优化后跑完全部题目只花了7分钟。且先不说正确率,直接看效果:
在没优化前离线大模型的耗时:

优化后的耗时:

在上一期小谢给大家介绍了在线大模型的做题的方法:AI取证第08期:如何使用在线AI进行做题?。所以这期的主题就是,如何优化本地离线大模型进行做题。
一、前期环境准备:
1.硬件配置,workbuddy的官方推荐配置:

我的一看我的显存明显是不够,但我的内存有64G,必须得试一试。配置如下:

2.workbuddy软件:国内版和国际版都有这个功能且是共通的,也就是在国内版下载好离线大模型,再打开国际版也直接有这个大模型(国内版下载链接:https://www.workbuddy.cn/events/invite?inviteCode=0o0u4unrv2q2)(国际版下载链接(国际版现在有deepseekv4.1flash限制免费使用:https://workbuddy.ai/invite?code=TPGQD2Z7))
二、 接下来直接进入实操:
1.在workbuddy软件界面的左下角设置处:

2.点击模型,再选择Qwen3.6 35B-A3B进行下载

3.下载当中。注意不可关闭对话框,但好处是即使关闭了再打开可以继续下载。如果你还想用workbuddy,你可以让国内版的下载,用国际版继续干活。两个版本同时打开不冲突。我就是这么干的。

4.下载完成。并自动会配置好到自定义的本地大模型。

5.接下来直接上服务器镜像。这个服务器镜像由于设定了静态IP,所以可以有两种方法可以解决,一种是直接将虚拟网卡设定该静态IP的网段,再设定特定的静态IP。这种方法虽然比较麻烦但好处是服务器当中可能有些服务的配置文件就是直接写死所设定的静态IP。另外一种更为简便的方式是可以直接在虚拟机设置新增一个虚拟网卡:

点击确定添加后系统会重启。这时就可以直接看到新增网卡的IP:

6.网卡的问题解决后,切换到workbuddy测试,输入提示词:

ssh的MCP工具安装可以看教程:电子数据取证的常用MCP 工具搭建及应用
ssh连接成功最终花费时间:

接下来直接上题目:

有些环境需要用到你本地的环境且你要有,所以为什么说可以先用在线大模型打磨你本地的环境和工具。再用离线大模型进行磨合。


碰到了问题(这个问题我们待会让在线大模型解决,所以说要不断磨合):


最后只完成了10道题目,用了33分钟。没跑完。


由于离线大模型没跑完所有题目,所以我们需要进行优化。
现在可以切换在线的大模型把剩下的题目跑完,如果需要在线安装的环境一次性安装好,不要再出现在离线的大模型下SSH 连接有问题而又没有sshpass工具这样的情况发生,待会我要用离线大模型一次性跑通这些题目


通过在线大模型解决离线大模型解决不了的问题:

切换好在线大模型之后8分钟跑通。

18题的全部答案:

我们再让离线大模型跑一下:
要求你再用这个离线的大模型跑一遍题目,要求不能够偷看上面的答案和解题思路,重头开始做


又遇到了问题:

在没有任何规则的限定下,最后耗时2小时完成:

主要的几个问题:

有问题没有关系,可以输入提示词:整出一个列表出来并告诉优化方案,还有是需要靠本地离线大模型优化还是在线大模型优化

再根据优化方案再输入提示词:根据取证效率优化方案沉淀为skill

创建成功:

用法:

接下来打开思考模式再让离线AI跑一遍:


因为重新仿真了,所以变一下IP:

自己调用了skill解决了问题:


但是在开启思考模式会遇到一个问题:一直循环思考:

最后花了25分钟。
思考模式关闭掉再重跑一遍:
关闭思考模式后只用了7分钟:
这时候跑的速度跟在线大模型跑的速度,所花费的时间一样了。至此调试完成。所以离线大模型不是有了设备就可以,还要跟agent跟你本地的环境磨合,适合自己的才是最好的。
刚刚码好文章,最后竟碰到了一个BUG:
敬请各位大佬关注:小谢取证
扫取二维码获取
更多精彩
小谢取证