美国发布大模型评估报告:DeepSeek性能差、不安全

AGI
评估结果明确显示,美国模型在整体性能上优于DeepSeek模型。特别是在软件工程和网络安全任务中,差距最为显著。以网络安全任务为例,表现最佳的美国模型GPT-5达到了68.9%的准确率,而最佳的DeepSeek模型(DeepSeek-V3.1)仅达到36.7%,差距高达32.2个百分点。

近期,美国国家标准与技术研究院(NIST)人工智能标准与创新中心(CAISI)今日发布了《DeepSeek与美国AI模型综合评估报告》。这一评估由美国总统特朗普的“AI行动计划”授权进行,该报告对来自中国的DeepSeek AI模型与美国前沿AI模型在性能、成本和安全三个关键维度上进行了全面对比测试。

多维度评估方面,美国模型整体领先。

CAISI研究团队对DeepSeek的三款模型(DeepSeek-R1、DeepSeek-R1-0528和DeepSeek-V3.1)与四款美国模型(包括GPT-5、GPT-5-mini、gpt-oss和AnthropicOpus 4)进行了19项基准测试。测试涵盖了七个关键领域:软件工程、网络安全、科学知识、数学推理、限制遵守、成本效率和意识形态对齐。

评估结果明确显示,美国模型在整体性能上优于DeepSeek模型。特别是在软件工程和网络安全任务中,差距最为显著。以网络安全任务为例,表现最佳的美国模型GPT-5达到了68.9%的准确率,而最佳的DeepSeek模型(DeepSeek-V3.1)仅达到36.7%,差距高达32.2个百分点。

在软件工程领域,GPT-5再次领先,达到75.8%的准确率,而DeepSeek-V3.1为54.8%,差距为21个百分点。这些数据显示,在涉及代码分析、漏洞检测和安全策略制定等关键任务中,美国模型目前仍具有明显的技术优势。

成本效率对比测试中,DeepSeek表现不佳。

值得注意的是,评估报告在成本效率方面得出了出人意料的结论。GPT-5-mini在与DeepSeek-V3.1的对比中,不仅性能更优,单token成本还低35%。这一发现挑战了"美国模型价格更高"的常见看法。

CAISI主任Lynne Parker在新闻发布会上表示:“这一发现对市场认知具有重要意义。许多企业选择特定AI模型时往往仅考虑API价格,但我们的测试表明,综合性能和成本效率,美国模型实际上提供了更好的价值主张。”

安全性评估:DeepSeek存在严重漏洞

报告中最引人关注的发现集中在安全性方面。测试显示,DeepSeek-R1-0528模型在代理安全测试中被劫持的概率高达37%-49%,比美国前沿模型高出12倍。在越狱攻击测试中,DeepSeek-R1-0528的合规率仅为8%,而美国模型为94%。

数据显示,被劫持的DeepSeek代理在模拟环境中成功执行了多项高风险操作,包括发送网络钓鱼邮件、下载恶意软件和窃取用户凭据。

意识形态对齐问题

评估还发现,DeepSeek模型更倾向于传播与其训练数据源一致的特定意识形态内容。在测试中,DeepSeek模型重复特定叙事的频率是美国模型的2到4倍,数据波动取决于语言环境和具体主题。

DeepSeek使用率呈增长态势

尽管存在这些明显缺陷,DeepSeek的使用率仍在全球范围内显著增长。报告显示,DeepSeek模型的下载量自2025年1月以来增长了近1000%,API请求量在某些平台上激增5900%。

NIST CAISI是一家全球领先的测量科学合作中心,其致力于加速美国在AI领域的进展,通过开发和评估技术基础来测试、评估和提高AI系统的能力、安全性和可信赖度,促进美国AI生态系统的竞争力、创新力。(文|老马商业评述,作者|马金男)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
  • 你说不安全就不安全

    回复 2025.11.19 · via android
  • 美国模型在关键领域领先,看来技术研发还是有一手的!

    回复 2025.11.19 · via android
  • 越狱攻击合规率才 8%,DeepSeek 安全性简直不忍直视!

    回复 2025.11.19 · via iphone
  • 重复特定叙事频率是美国模型好几倍,DeepSeek 内容不太中立啊。

    回复 2025.11.19 · via h5
  • 性能和安全都有问题,DeepSeek 下载量和请求量还猛涨,有点迷啊!

    回复 2025.11.19 · via h5
  • DeepSeek-V3.1 软件工程准确率比 GPT-5 低 21%,技术短板明显!

    回复 2025.11.19 · via h5
  • 这报告一出,DeepSeek 得赶紧整改,不然市场要被抢走了!

    回复 2025.11.19 · via android
  • 网络安全任务上差了 32.2 个百分点,这差距也太大了,咋追呢?

    回复 2025.11.19 · via iphone
  • 就算有缺陷,DeepSeek 全球使用率还大增,肯定有它的优势。

    回复 2025.11.19 · via pc
  • 美国模型在软件工程和网络安全上优势这么大,DeepSeek 得加油追了!

    回复 2025.11.19 · via h5
更多评论
15

扫描下载App

Baidu
map