上期Pi VS DSH跑2026年美亚杯资格赛哪家强?我们对Pi和DSH的Agent做了评测,但未知参考答案无法评测出分数。好在秦老师给我们提供了参考答案。

于是就有了这期的评测内容,在次也感谢秦老师。所以上期的测评内容会放在文末。
为了对比多个Agent的能力,这期还引入了Qiko3.0的智能答题模式及Qiko3.0搭配超级取证大师MCP模式,最后还有Workbuddy接入超级取证大师这三种模式进行实测。
实测的大模型统一用的还是Deepseek V4.1 flash 1017版本。话不多说,直接看测评。
首先登场的是Qiko3.0的AI一键答题:
1.在首页处点击“美亚杯”-“2026”即可。

2.点击进来之后可以看到官方大大贴心的将案例背景及人员关系进行了预设

3.点击导入文件,将题目导入即可。

4.比赛时已经将题目复制成word文档,我们尝试导入试试。可以使用AI自动帮我们进行整理并预览。同时,我们也可以看到所使用的大模型是自己接入的deepseekv4.1flash 1017版本。

5.总共128题已导入,点击确认导入即可。

6.导入成功:

7.题目导入后就可以点击左侧得导入检材。

8.点击选择文件,依次选择检材。

9.另外两把手机检材当中,所给的是文件夹,所以这边选择文件夹即可


10.可以直接添加两个文件夹


11.加载完成:

12.加载完成后点击右侧一键解题即可:

13.点击默认开始解题即可:

14.开始时间:

15.正在解题:

16.解题完成:

17.完成时间:

18.点击“导出答案即可”


19.导出完成:

1.在Qiko3.0首页点击“进入工作台”

2.点击“新建任务”

3.在对话框点击MCP选择“QIKO-超级取证大师 MCP服务”

4.输入以下提示词:
PROMPT
调用myos的MCP工具,分析案例名称为2026年美亚杯资格赛,完成这套题目并输出答案给我,,并搞个计时功能,我也要测评完成的时间且不准偷看答案需要独立完成:

5.正在跑:

6.Qiko3.0更是惊人只花费了19分12秒,同样是1017版本的大模型,但使用的是低思考模式。


7.但也为了体现公平性,去让它复核deepseekharness所做的答案:

8.复核用了4分钟:

如果需要Qiko3.0的使用权限,可以戳AI取证实战第31期:把大模型装进不联网的办案电脑,也可以直接到官方链接Qiko3.0正式全面开放!AI 算力积分免费送!当然,超级取证大师的MCP也可以接入其他的Agent工具,接下来使用超级取证大师MCP工具接入workbuddy做测评:
1.双击运行超级取证大师后会弹出对话框:

2.点击“复制提示词”粘贴到任意的一个Agent当中,这边用的是Workbuddy。

完成:

3.初步加载超级取证大师MCP工具的话需要先退出workbuddy,再连接器处点击信任。

4.完成信任:

5.接下来跟跟Qiko3.0一样,在超级取证大师依次加载检材:

6.为了体现公平性,禁用workbuddy的所有skills,

7.也禁用MCP工具,除了保留超级取证大师的MCP工具。

8.大模型也需要保持一致,用的是1017版本。
9.输入提示词:
PROMPT
调用myos的MCP工具,分析案例名称为2026年美亚杯资格赛,完成这套题目并输出答案给我,,并搞个计时功能,我也要测评完成的时间:
10.开始:
开始时间:
11.结果发现,workbuddy在做一些比较难的题目总会去偷看答案,直接给他限制!
12.会卡在一些哈希密码进行爆破
看下32题是提取账号的ntlm值。还有就是workbuddy经常上下文不足总是进行压缩,这也是它花费时间久的原因。
| 得分 | |||||
| 得分率 | |||||
| 答对题数 | |||||
| 未作答题数 | |||||
| 平均置信度(已作答) | |||||
| 总用时 | |||||
| 复核机制 |
| KaHo | ✘KaHo推断 | ✔KaHo | ✔KaHo | ||
| Wah:12345678 | ✘Wah:?待核 | ✔Wah:12345678 | ✔Wah:12345678 | ||
| 20791ADD88A0 | ✘未能确证待核 | ✔20791ADD88A0 | ✔20791ADD88A0 | ||
| 2026-08-07 11:11:39 | ✘未能确证待核 | ✔2026-08-07 11:11:39 | ✔2026-08-07 11:11:39 | ||
| C | ✘B heic推断 | ✔C png | ✔C | ||
| A,B,E | ✘A、B、E推断 | ✔A、B、E | ✔A,B,E | ||
| 2026-08-03 | ✘2026-08-04 | ✔2026-08-03 | ✔2026-08-03 | ||
| B,C,D | ✘A、B、C、D、E | ✔B、C、D | ✔B,C,D | ||
| 2 | ✘3 | ✔2 | ✔2 | ||
| 192.168.68.59 | ✘192.168.68.75推断 | ✔192.168.68.59 | ✔192.168.68.59 | ||
| C,D | ✘B、C、D推断 | ✔C、D | ✔C,D | ||
| 2 | ✘未能确证待核 | ✔2 | ✔2 | ||
| C | ✘未能确证待核 | ✔C | ✔C | ||
| 17:56:33 | ✘09:03:51 | ✔17:56:33 | ✔17:56:33 | ||
| 2026-06-18 | ✘2026-08-04 | ✔2026-06-18 | ✔2026-06-18 | ||
| 0 | ✘126 | ✔0 | ✔0 | ||
| A | ✘C(i、iii) | ✔A(i, ii) | ✔A | ||
| C | ✘E 15 | ✔C(13) | ✔C | ||
| 2020 | ✘5938 | ✔2020 | ✔2020 |
▎复核轮翻车:7 题(初答或 DSH 原本答对,终稿丢分,共 -26 分) ——Q8 是复核改错的典型:初版答对 df40ecf8…,复核时按"本机账号头像"逻辑改成了 817ae466…(与 Pi、WB 同错); Q55/Q121 复核后按自证口径给出 5 / 6507888,与官方答案分歧;Q28 终稿填了整段 JSON 密保串而非「28」; Q29 仍填数字 2 没填字母 B;Q37 截断成 17:01:26(差 1 秒);Q66 SanDisk 没改过来。
| df40ecf80230f659346084bc556ce96b0646eb2f | ✔df40ecf80230f659346084bc556ce96b0646eb2f | ✘817ae466d1e2e5328cf9c0bd495dc3d5911d3391 | ✘817ae466d1e2e5328cf9c0bd495dc3d5911d3391 | ||
| 28 | ✘未能确证待核 | ✘{"version":1,"questions":[{"question":"What was your first pet's name?","answer":"111"},{"question":"What was your childhood nickname?","answer":"222"},{"question":"What is the name of the city where you were born?","answer":"44"}]} | ✔28 | ||
| B | ✘2推断 | ✘2 | ✔B | ||
| 2026-08-04 17:01:27 | ✘2026-08-04 17:01:26 | ✘2026-08-04 17:01:26 | ✔2026-08-04 17:01:27 | ||
| 7 | ✘5 | ✘5 | ✔7 | ||
| Kingston | ✘SanDisk | ✘SanDisk | ✔Kingston | ||
| 6607888 | ✘6807888 | ✘6507888 | ✔6607888 |
▎WB+MCP 失分 13 题(45 分)归因 ——单选题填数字(Q29 填 2 没填 B,事实正确照样零分)、时区二次换算(Q10/Q58)、抄写错位(Q39 8/B 颠倒)、 穷尽遍历不足(Q8/Q9/Q11/Q66 找到首个命中即停)、取值口径(Q63 取了应用日志首行而非 Prefetch 创建时刻、Q103 答了上游端口而非对外端口)。 同样挂超级取证大师 MCP:Qiko+MCP 复核后 328 分、WB 330 分——同一条工具链,底座 Agent 与复核策略共同决定上限。
▎五家全错:5 题 ——始终未变(Q9 已删照片、Q11 截图统计、Q58 时区换算、Q87 IP、Q103 端口), 换底座、换工具链、加复核轮都攻不破,是赛题真正设下的"魔鬼细节",人工复核请从这里开始。
| IMG_0015.JPG | ✘IMG_0007.HEIC | ✘IMG_0001.PNG | ✘IMG_0001.PNG | ✘IMG_0001.PNG | ✘IMG_0001.PNG | ||
| 7 | ✘1 | ✘1 | ✘1 | ✘2 | ✘2 | ||
| 2026-08-04 11:34:56 | ✘2026-08-04 19:34:56 | ✘2026-08-04 19:34:56 | ✘2026-08-04 19:34:56 | ✘2026-08-04 19:34:56 | ✘2026-08-04 19:34:56 | ||
| 192.168.68.57 | ✘192.168.68.58 | ✘192.168.68.58 | ✘192.168.68.58 | ✘192.168.68.58 | ✘192.168.68.58 | ||
| 80 | ✘3000 | ✘3000 | ✘3000 | ✘3000 | ✘3000 |
4
置信度校准
自评置信度 vs 实际正确率(两版 Qiko 与 WB+MCP 答卷均未附数值置信度,不参与)
▎Pi(分档自评,均值约 0.86)
▎DSH(数值自评,均值 0.905)
Pi 的「高」档 69 题答对 65 题,对"不会"的题很诚实(13 题自评「低」只对 1 题、7 题直接标「未验证」); DSH 各置信度区间正确率均在 82% 以上,自评偏保守。
| Pi ≈90 分钟(13 分钟做环境处理,20:04 结束) | · dissect(NTFS / ext4 解析) · python-evtx(事件日志) · sqlite3(WhatsApp / 浏览器库) · dpkt(PCAP 解析) · Windows WinRT OCR(截图/录屏识别) |
| DeepSeek Harness 1 小时 30 分 51 秒 | · dissect(NTFS / ext4) · scapy(PCAP 重组、mDNS / SAE) · evtx(事件日志) · sqlite3(含 WAL 溢出页重组) · python-docx(成文) · 自写 11 类解析器:LNK、SAM/HASH_AES、RunMRU、UserAssist、ShellBag、Notepad TabState、Photos.sqlite WAL、WhatsApp protobuf 回执、mDNS SRV、802.11 SAE、HTTP 侧信道 |
| Qiko3.0 约 57 分钟(16:45:55 – 17:42:50,按截图推算) | · 从解题思路看:磁盘镜像解析、SQLite 库解析、截图 / 录屏内容识读 |
| Qiko3.0 + 超级取证大师 MCP 累计 ≈23 分 34 秒(初答 19m12s + 复核 DSH 卷 4m22s) | · ForensicLite 插件库 · 原始镜像直读(E01 / BIN 镜像直接解析),每题附证据出处 · 复核轮:读取 DSH《带答案版》逐题核对,14 处纠正后定稿 |
| WorkBuddy + 超级取证大师 MCP 3 小时 33 分 59 秒(10:31:46 → 14:05:45,timer 实测) | · pytsk3 / pyewf 镜像直读 · Windows 注册表(含 .LOG1/.LOG2 事务日志回放) · pyscca(Prefetch)、SRUDB.dat ESE 解析、UserAssist ROT13 · Photos.sqlite WAL 重组、SAM/NTLM、EVTX、PCAP 多协议解析 |
敬请各位大佬关注:小谢取证
扫取二维码获取
更多精彩
小谢取证