Pi VS DSH跑2026年美亚杯资格赛哪家强?
今日“美亚杯”第十二届中国电子数据取证大赛圆满闭幕,本届新增的智能体赛道是一大特色亮点。是在电子数据取证比赛当中的开创性新赛道。那么,AI是否可以取代人工完成电子数据取证的工作或是取证的比赛呢?当前的通用Agent与在线的大模型又该怎么选?
所以这期就以主流通用的Agent使用在线的大模型来对2026年美亚杯资格赛的题目进行一次评测。
环境:
测评AGENT: Pi VS Deepseek harness
测评大模型:deepseek v4.1 flash VS deepseek v4.1 flash(1017)
测评条件:为了公平起见,在不调用任何的skills和MCP的情况下,独立完成这套题目。也就是说在同等条件且是裸Agent的情况下,测试通用Agent的能力。
测评策略:Pi所使用的是deepseek v4.1 flash,而Deepseek harness使用的是deepseek v4.1 flash(1017),因为Deepseek harness还多了一项要去核对Pi所做出的结果进行复核,所以用上个月更新的1017版本。
接下来直接开始评测:
一、PI:
(1)直接在检材目录的CMD界面让它进行分析。检材目录当中有检材和题目。

(2)开始时间

(3)根据提示照做即可:

(4)开始工作了:


(5)大概经过了13分钟后,Pi完成了环境的初步处理,开始做题了。


(6)Pi自己对题目进行了分类:


(7)又过了27分钟左右

(8)已经达到了第81题。所以

(9)最后结束时间于2026年11月15日 20点04分:

(10)总计耗时约90分钟,得出的结果如下:

(11)此次在没有skill和MCP情况下,使用到的自建工具有:







测试完Pi之后,我们打开deepseekharness,进行测试。前面Pi agent我们调用的是阿里云百炼的Deepseek v4.1的大模型,这回我们将deepseek harness使用Deepseek v4.1(1017版本)进行尝试:
测试前先简单说下Deepseek harness的安装:
(1)直接打开官网链接进行下载:
https://www.deepseek.com/harness/?utm_source=web-note.cn

(2)选择安装位置,一键安装即可


(3)安装完成后,先新建个工作区域,将工作区域选择美亚杯检材所在的文件夹下:


(4)选择设置如下:

(5)设置如下提示词:在不调用任何的skills和MCP的情况下,独立完成这套题目,题目和检材都在这个文件夹下,并给每道打上置信度,最后生成一份带答案 的版本给我,也要求你不看Pi跑的结果,还有就是你先做,最后你得出的答案和Pi做一个核对,如果是答案不相同你再自己核对一遍,再总结汇总文档出来

要求是它自己先独立完成,但多了一个任务,需要去核对Pi做出来的结果。然后再复核。
这时候时间点是:

Pi跑到了126题,花费了1小时。

(6)这边也开始了:

(7)在此期间碰到了输出token上限,有可以是我版本的问题


(8)紧接着我们给他再附加一个条件:

除此之外,DeepseekHarness还自己创建了子智能体:

(9)在界面的正上方就可以看到5个子Agent的进度:

(10)从上图可以看到检材名称为WKH-02 72到92题,共20题耗费20分钟。
点击这个子Agent还可以进去:

(11)它还自己给子Agent一个时间限定:

(12)这个都是AI自己给自己的,完全没有人工的干预,接下来看下它得出的结果:


(13)五个子Agent并行,总花费了35分钟:

(14)除此之外,还可以开启“启动智能体团队协作”,但为了体现公平性,这个按钮我们暂时就不开启。
(15)主Agent还继续跑着:
(16)也可以看到后台任务。
(17)完成:总共用时约90分钟也是跟Pi跑得一样,但Deepseekharness多了复核Pi的答案,且做出了Pi没做出内存的10道题目:
(18)结果展示:
(19)最后还输出两份word文档:
(20)最终答案汇总:
(21)运行过程中使用到的工具:
*
实测结果总结对比:Pi VS DeepSeek Harness
一张表看懂两个裸 Agent 的成色
注:Pi 采用分档置信度(高 ≥85%、中 60–85%、低 <60%,另有中高/低中过渡档),其 118 道已作答题目分档为高 69、中高 19、中 15、低 13、低中 2,按各档区间中值折算平均约 0.84;DSH 为逐题数值置信度取均值,两者口径不同,仅作横向参考。
📌 四个关键看点
⏱ 耗时打平:两个裸 Agent 都在 90 分钟左右完成全套题目,但 DeepSeek Harness 在做题之外还多了「核对 Pi + 自我复核」两道工序,同样的时间多干了两件事。
🎯 结果互证:两者独立作答完全一致 102/128(79.7%),16 处分歧经复核仅改判 1 题(Q126 TeamViewer 端口 1947→2020),其余分歧均附上检材证据——这些分歧题正是人工复核时最该重点看的地方。
🧩 补盲能力:Pi 未做出的 10 道内存题由 DeepSeek Harness 全部补齐,128 题全部给出结论,平均置信度 0.905;Pi 这边 118 道已作答题目中,高置信(高 + 中高)88 题、占 74.6%,低置信 15 题。
🛠 工程能力:碰到环境缺失的工具直接自写解析器顶上,还自己给子 Agent 设定时间限定,全程零人工干预。
由上可见缺失的工具,它自行写了解析器自行构造,所以将确实的工具转换成CLI可调用的形式将可以节省它自写工具的时间,直接进行调用。
因为美亚杯官网未公布资格赛的答案,故无法评估分数的多少,但我们可以看到的是AI可以让一个之前没有接触过取证的人利用提示词给AI下达指令就可以完成取证专家级别的工作,其正确率逼近一个经过多年学习和训练的取证高手。大模型、智能体、提示词、Skills、工具集、知识库,将渗透到各个领域,既是福音又是挑战。
因为美亚杯官网未公布资格赛的答案,故无法评估分数的多少,但我们可以看到的是AI可以让一个之前没有接触过取证的人利用提示词给AI下达指令就可以完成取证专家级别的工作,其正确率逼近一个经过多年学习和训练的取证高手。大模型、智能体、提示词、Skills、工具集、知识库,将渗透到各个领域,既是福音又是挑战。
敬请各位大佬关注:小谢取证
扫取二维码获取
更多精彩
小谢取证