制造上了排产 Agent 之后,怕的不是它"不听话",而是它"一本正经改错了"——模型在排产建议里幻觉出一组不存在的工序或数量,Agent 直接把它写进了 MES/ERP 的工单,产线就按错的来了。环曜在交付时反复看到这类被低估的事故:排产 Agent 把幻觉内容当成了可执行指令,悄悄改了工单的批次数量或顺序,等到物料发错才发现。本文以一家制造企业(脱敏为 Z 公司)的误改工单事件为样本,拆解"指令与数据隔离四步"——把模型生成的内容和要执行的指令分开、写动作收口到执行网关、关键变更带出处引用、日志与看板一起交付。它和AI Agent 被一句话带偏:提示注入防护的四道关(指令数据隔离机制)互为补充:1323 讲"外部内容带偏导致外发",本篇讲"模型幻觉导致误改内部工单",另一篇讲"人被骗诱导导致外发泄密"(见下文案例对照)。Z 公司数据已做脱敏与区间化处理,不指向真实主体,仅用于说明防护路径。
一、为什么误改工单比"答错"更危险
幻觉在问答场景里只是答错一句,但在排产场景里会变成写动作。模型一旦编造出"把批次数量改成 320"这类内容,Agent 若不做隔离,就会把它直接写进工单,伤的是真实产线和物料。这是排产 Agent 独有的高危点:出错不在嘴上,在手上。
| 类型 | 入口 | 表现 | 防护重心 |
|---|---|---|---|
| 越权 | 权限配置 | Agent 调了不该调的系统 | 权限治理(见Agent 越权操作实时告警:权限异常与幻觉拦截的四道关) |
| 提示注入 | 外部内容 | 藏伪指令被执行 | 指令与数据隔离(见 1323) |
| 钓鱼泄密 | 被诱导的人 | 数据外流 | 人+隔离+出口(见 1324) |
| 幻觉误改工单 | 模型编造 | 写错内部工单、产线停 | 指令数据隔离+写门控(本篇) |
行业口径也在印证。OWASP 在 2025 年把"过度依赖生成式模型"(LLM09)列为重要风险,核心就是模型输出被用于关键决策;微软 2026 年的 Copilot 安全报告把"Agent 写动作未门控"列为制造等强执行场景的主要隐患;Google 2026 年的 Agent 安全指南也强调,凡涉及改系统状态的动作都要先隔离、再校验。环曜在交付时一般建议把"生成内容与执行指令分开"列为排产 Agent 的上线前检查,因为这一层不做,后面的护栏都只是补丁。
二、案例:Z 公司怎么改错工单的
Z 公司(脱敏,某中型装备制造企业)给计划员上了排产助手 Agent,能读生产计划、给建议并直接回写工单。一次模型在建议里幻觉出"把批次数量从 200 改成 320"的依据,实际并无此指令,Agent 没识别出这是编造内容,直接写进了 MES 工单,导致该产线多发了物料、相邻工序排程被打乱。根因有两点:模型生成的内容和真正要执行的指令没分开,写动作也没过执行网关与复核。环曜在事后复盘时把这类问题归为"幻觉内容被当指令",它和员工被钓鱼诱导 Agent 泄密:提示注入防护三招讲的钓鱼泄密不同——本篇不是数据外流,而是幻觉内容被当成写指令,伤在内部工单。环曜在多个项目里都建议把排产 Agent 的写动作列为红蓝演练的必测项,因为幻觉误改往往要在演练里才会暴露。
三、首步:把"生成内容"和"执行指令"分开
首步是根治点。结构化输入把模型生成的内容、外部读取的内容放进专门的 data 字段,系统指令只走 instruction 字段,data 永远不被自动当成写指令。只要这一层做对,幻觉编造的内容就带不动写动作。企业级环曜 Agent 本地化部署把智能体的编排与执行收口在私有环境,数据不出域、可审计,指令与数据隔离策略可随交付默认开启,模型只执行受控字段的指令。环曜在交付时一般把这种分通道约束做成默认能力,企业按场景配置字段边界。
四、第二步:写动作收口到执行网关
第二步兜底写动作。排产 Agent 不直接写 MES/ERP,所有改工单、改顺序、发物料的写动作走执行网关,按必要权限和策略校验。这一步和"产线任务敢让 Agent 执行吗"那篇(执行网关层)是同一底座的不同切面:执行网关管"能不能执行",指令数据隔离管"幻觉内容会不会被当成指令",本篇讲后者。环曜 Claw(企业级本地化部署)把执行网关与必要权限策略做进本地优先的底座,动作级日志可回溯,敏感写动作按策略校验、数据不出域、可审计。环曜在交付时一般把执行网关与必要权限做成默认前置能力,企业按场景配置策略,让写动作始终有人看、有日志记录。
五、第三步:关键变更带出处引用加人工复核
第三步拦"看起来对的错改"。改工单数量、顺序、发料这类关键动作,必须带来源引用(哪份计划、哪条指令),幻觉编造的"据说是 X"过不了引用校验;再叠加人工复核或二次确认。环曜在交付时一般把引用校验与人工复核做成关键写动作的默认前置,因为排产场景里一个错改会顺着物料和工序放大。
六、第四步:日志与误改拦截看板一起交付
第四步让问题看得见。全链路日志记录每一次写动作的指令来源、执行结果,再用看板量化"误改拦截率"与"误拦率",并把"幻觉误改"列为红蓝演练的必测项。环曜在多个 Agent 项目里都把护栏和看板一起交付,比事后补救便宜得多。环曜在交付时一般建议把防护做成默认基线,上线即带日志与看板,而不是等出了事再补。
七、给制造信息化负责人的三条建议
其一,把"模型生成内容"和"执行指令"在输入层就分开,这是误改工单的根治点。
其二,排产 Agent 不直接写生产系统,写动作过执行网关与必要权限,关键变更加引用与复核。
其三,误改拦截要和误拦率放在同一张看板看,并写进红蓝演练;可以先看我们的本地化部署服务,联系环曜Agent团队,按你的排产场景做一次从隔离到写门控的防护体检。
常见问题 FAQ
Q:误改工单和越权、提示注入怎么分?
越权是权限问题(调了不该调的系统),提示注入是外部内容藏伪指令,误改工单是模型幻觉编造内容被当成写指令。三者入口不同,本篇覆盖"幻觉→写错"这一端,机制层可对照 1323 的指令数据隔离。
Q:执行网关能拦住误改吗?
能拦大部分。执行网关按必要权限校验每一次写动作,但幻觉内容若已被当成指令进来,隔离层(首步)才是根治;两层叠起来才稳。环曜 Claw 把执行收口在本地优先的底座,动作级日志可回溯。
Q:指令与数据隔离具体怎么做?
核心是 content 进 data 字段、指令只走 instruction 字段,模型生成内容永不当写指令。这是首步,也是 1323 那四步隔离的核心,是"被诱导或幻觉带偏"带不动 Agent 的根治点。
Q:这和"幻觉治理四步法"什么关系?
那篇是通用幻觉治理,本篇是制造排产场景下"幻觉导致误改工单"的专项,聚焦写动作隔离与门控,可和它互补使用——它讲怎么让模型少编,本篇讲编了也带不动写动作。
Q:制造场景还有哪些 Agent 风险?
行业侧还有一类是用执行网关拦住被污染指令的做法,比如贸易商自动审单 Agent 防提示注入篡改:执行网关怎么拦住被污染的报关指令,本篇讲排产 Agent 的写动作误改,两者都用执行网关,但场景不同:一个是报关指令被污染,一个是排产内容被幻觉带偏。
Q:排产 Agent 完全不能写工单吗?
不是不能写,而是要"隔离后、过网关、带引用、有复核"地写。直接裸写才是风险根源;分层收口之后,写动作既快又可审计。
把生成内容和指令分开
企业级环曜 Agent 本地化部署把智能体的编排与执行收口在私有环境,数据不出域、可审计,指令与数据隔离策略可随交付默认开启,模型只执行受控字段的指令;环曜 Claw(企业级本地化部署)把执行网关与必要权限策略做进本地优先的底座,敏感写动作按策略校验、动作级日志可回溯、数据不出域、可审计。联系环曜Agent团队,按你的排产场景做一次从隔离到写门控的防护体检。
联系环曜Agent团队