OWASP 公布的 LLM 十大安全风险榜单

OWASP最新LLM十大安全风险榜单指出:提示词注入、敏感信息泄露、供应链污染、数据/模型投毒、输出滥用、权限失控等是当前最突出威胁。这些风险并非理论问题,已在真实AI应用中频繁出现。应对需回归系统安全思维,通过AI网关、数据验证、权限隔离与持续测试构建防御体系。

发布于2026年3月17日 14:37
编辑零重力瓦力
评论0
阅读98

最近 OpenClaw 真的太火了,各家大厂几乎都推出了自己的 Claw 产品。这些新的 AI 助手看起来越来越 “聪明”,能主动帮我们写代码、查资料、处理文档,但在真正把它们用到日常工作之前,我们也有必要了解它们可能带来的安全风险。

事实上,大模型一旦进入真实环境,风险往往比想象中更多。OWASP(开放式 Web 应用安全项目)每年都会发布一份 “LLM 十大安全风险” 榜单,梳理当前最常见的威胁。了解这些问题,能帮助我们在使用这些工具时做到心中有数。

最常见的一类风险是提示词注入。为了规范模型行为,系统通常会设置一段系统提示词,例如要求模型不要泄露敏感信息、不要提供危险内容。但攻击者只需要换一种表达方式,就可能绕过这些限制。比如不直接询问危险问题,而是通过看似合理的上下文一步步引导模型给出答案。更隐蔽的情况是,攻击甚至可能被藏在文档里,用户只是让模型总结一篇文章,但文章中早已埋好了指令,模型在阅读后就可能执行这些隐藏的命令。

第二个越来越受到关注的问题是敏感信息泄露。很多企业会用内部数据来训练或微调模型,例如客户资料、医疗记录或商业数据。如果缺乏严格的访问控制,攻击者就可能通过不断提问逐步“抽取”模型中的信息。理论上,只要查询次数足够多,就可能拼出原本不应该公开的企业知识,这种方式也常被称为模型逆向或数据抽取。

第三类风险来自供应链。现实中很少有团队从零开始训练完整的大模型,更多时候是基于开源模型或现成组件进行开发。但这些模型和依赖往往规模庞大,很难逐一审查。无论是训练数据来源、模型权重、插件扩展,还是底层基础设施,每一个环节都可能成为潜在的攻击入口。

还有一个容易被忽视的问题是数据和模型投毒。如果训练数据在过程中被悄悄篡改,模型就可能学到错误甚至恶意的信息。随着时间推移,这些偏差会被不断放大,最终影响系统决策。即使采用 RAG(检索增强生成)这样的技术,如果外部知识库被污染,同样会把错误信息带进系统。

在实际应用中,另一个常见隐患是对模型输出的过度信任。有些系统会直接把模型生成的内容用于代码执行或网页渲染。如果输出中混入恶意内容,就可能触发跨站脚本、SQL 注入,甚至远程代码执行等传统安全问题。

随着智能体和自动化工具越来越多,权限问题也逐渐显现。如果一个模型既能调用 API,又能操作外部系统,一旦被攻击者利用,影响就不再局限于软件系统本身,甚至可能波及真实世界的业务流程。

此外,还有一些风险并不那么显眼,比如系统提示词泄露、向量数据库被污染、错误信息的大规模扩散,以及通过大量请求拖垮系统的资源消耗攻击。表面上看只是一个聊天机器人,但背后其实是一个复杂的软件系统。

应对这些问题的思路并不神秘,但需要系统化的工程实践。例如在模型前后部署 AI 网关,对输入和输出进行安全检测。对训练数据和 RAG 数据进行来源验证。限制模型权限,明确谁可以访问模型和数据。同时定期进行安全测试,用攻击者的视角主动发现问题。

归根结底,大模型安全和传统安全并没有本质区别,它依然是一个系统安全问题。模型只是新的入口,而安全依旧取决于整个系统的设计与治理。

相关文章

Jev 实操指南,用概率闸门重构智能体决策流
AI 新闻资讯
2026年9月18日
0 条评论
小创

Jev 实操指南,用概率闸门重构智能体决策流

TypeSafe AI 推出系统一模型 Jev,作为智能体概率决策闸门,仅返回带校准概率的结构化结果而不生成文本。该模型具备低成本、低延迟及零输出错误率特性,支持 Choice、Score、Noul 三种提问原语。文章详解了其 API 调用、SDK 集成及推测式并行、置信度路由等五种落地模式,并指出其本质是强类型函数调用而非廉价 LLM。建议在生产环境中锁定版本、规避算术任务,并通过影子模式实测校准效果。

#智能体#AI 编程#提示词工程
阅读全文
Anthropic 开源知识工作插件库,111 个无代码技能包重塑智能体工作流
AI 教程知识
2026年9月18日
0 条评论
小创

Anthropic 开源知识工作插件库,111 个无代码技能包重塑智能体工作流

Anthropic 开源 knowledge-work-plugins 项目,提供 111 个无代码智能体技能包。该体系基于 Markdown 和 JSON 构建标准化模块,支持渐进式披露与 MCP 工具集成,标志提示词工程向软件工程化转型。内置 marketing 与 productivity 等插件展示了结构化输入及分层记忆范式,支持语义路由与轻量化定制。尽管存在多插件上下文竞争及云端连接器限制内网访问等问题,仍为智能体工作流提供了可复用的模块化规范。

#智能体#AI工具#提示词工程
阅读全文
把 LLM 当文字编辑而非代写枪手:两条铁律与改稿提示词
智能体工程
2026年9月18日
0 条评论
小创

把 LLM 当文字编辑而非代写枪手:两条铁律与改稿提示词

使用 LLM 辅助写作应将其定位为文字编辑而非代写枪手。核心原则包括绝不采纳模型生成的具体词汇及禁止其提供夸奖,以避免内容同质化。推荐采用“诊断-重写-比对”三阶段改稿流程,利用模型查找语法与逻辑硬伤,但由作者亲自重写。实践中可借助专用提示词库或本地工具提升效率。此外,需警惕长上下文压缩摘要可能引发的指令注入风险。AI 仅是批判性审视的效率放大器,人类创作者必须始终掌握写作主导权。

#AI写作#提示词工程#AI工具
阅读全文
互动讨论

评论区

围绕《OWASP 公布的 LLM 十大安全风险榜单》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。