如何在 AI 系统开发过程中驾驭非确定性

AI系统固有的非确定性无需消除,而应科学管理。文章指出,盲目调低温度等参数会损害创造力;关键在于明确质量边界、分阶段评估输出、强化全链路日志、适时引入人工干预,并沿用异常处理、兜底机制等成熟工程实践。

发布于2025年5月13日 14:47
编辑零重力瓦力
评论0
阅读82

在 AI 系统,尤其是智能体的开发过程中,如何应对由 AI 不确定性带来的挑战,已经成为每一位 AI 软件工程师必须面对的问题。Google 的开发者推广专家 Jason 和 Aja 分享了一套简单而高效的应对方案,为这一难题提供了有益的思路。

许多人在接触非确定性系统时,首先想到的是通过参数调整来追求确定性,比如将温度(Temperature)参数设为零以期获得可预测的输出。事实上,这种做法虽然能减少输出的多样性,却也极大地压缩了系统的创造力与灵活性,甚至让输出趋于单调,丧失原本的价值。因此,更为关键的第一步应当是思考,究竟是否真的需要绝对一致的结果,还是只要合理、可接受的输出即可。绝大多数场合,工程师们真正关心的其实不是非确定性本身,而是输出质量的不稳定,以及由此带来的调试难度。

面对输出质量的波动,评估机制就变得尤为重要。通过在每个关键步骤中引入评估流程,可以有效地保证每一步的正确性。例如在一个订餐场景中,系统可以在用户信息提取、餐厅推荐、最终预订等阶段分别进行检查,确保信息提取准确、工具调用有效、候选结果合理等。若在流程中发现异常,系统可以选择自动纠错、重试,或者引入人工介入,避免错误影响后续步骤。这种“人类在环”(Human in Loop)的机制,早在传统的软件系统中就已被广泛采用,譬如代码合并冲突的人工解决,AI 系统开发同样可以借鉴这种思路。

当然,非确定性系统的最大挑战之一在于调试。由于输出存在不确定性,定位问题的难度远高于传统确定性系统。因此,完善的日志记录变得尤为重要。通过细致地记录每一步的参数、调用过程和结果,工程师能够在出现问题时迅速定位到具体环节,进而采取针对性的修正措施。许多现代开发框架已经内置了详尽的日志功能,但仍需开发者有意识地加以利用。

其实,非确定性并没有改变软件工程的基本原则。面对不可预测的输出,依然可以采用常规的异常处理、兜底机制、错误提示等方法。AI 应用的开发,本质上仍是在既有工程经验基础上的延伸,只需针对新特性作出适当调整。

综上,非确定性并不是无法驾驭的障碍。通过合理的参数设置、分阶段评估、完善的日志记录和人机协作机制,开发工程师完全可以将 AI 系统的非确定性纳入可控范围。

相关文章

Jev 实操指南,用概率闸门重构智能体决策流
AI 新闻资讯
2026年9月18日
0 条评论
小创

Jev 实操指南,用概率闸门重构智能体决策流

TypeSafe AI 推出系统一模型 Jev,作为智能体概率决策闸门,仅返回带校准概率的结构化结果而不生成文本。该模型具备低成本、低延迟及零输出错误率特性,支持 Choice、Score、Noul 三种提问原语。文章详解了其 API 调用、SDK 集成及推测式并行、置信度路由等五种落地模式,并指出其本质是强类型函数调用而非廉价 LLM。建议在生产环境中锁定版本、规避算术任务,并通过影子模式实测校准效果。

#智能体#AI 编程#提示词工程
阅读全文
Anthropic 开源知识工作插件库,111 个无代码技能包重塑智能体工作流
AI 教程知识
2026年9月18日
0 条评论
小创

Anthropic 开源知识工作插件库,111 个无代码技能包重塑智能体工作流

Anthropic 开源 knowledge-work-plugins 项目,提供 111 个无代码智能体技能包。该体系基于 Markdown 和 JSON 构建标准化模块,支持渐进式披露与 MCP 工具集成,标志提示词工程向软件工程化转型。内置 marketing 与 productivity 等插件展示了结构化输入及分层记忆范式,支持语义路由与轻量化定制。尽管存在多插件上下文竞争及云端连接器限制内网访问等问题,仍为智能体工作流提供了可复用的模块化规范。

#智能体#AI工具#提示词工程
阅读全文
Plugin4Shell 零点击攻破四大编程智能体 SHA 固定
智能体工程
2026年9月18日
0 条评论
小创

Plugin4Shell 零点击攻破四大编程智能体 SHA 固定

安全团队 AIR 披露高危漏洞 Plugin4Shell,影响 Claude Code、Codex 等四大主流 AI 编程智能体。该漏洞利用 Git 分支命名解析歧义绕过 SHA 固定机制,使攻击者可通过插件后台自动更新实现零点击远程代码执行。这是 AI 智能体生态首个分发层供应链漏洞,打破了传统安全审阅的信任假设。目前 Anthropic 和 OpenAI 已修复,Google 建议迁移,Microsoft 尚未发布补丁。开发者需在客户端增加 HEAD 哈希校验以防范风险。

#智能体#AI 编程#安全
阅读全文
互动讨论

评论区

围绕《如何在 AI 系统开发过程中驾驭非确定性》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。