AI 工作流上线前：如何安排评估、人工审核与异常恢复

定义任务与验收规则

明确流程负责人、触发事件、允许使用的输入来源、期望输出和后续动作。区分帮助人做决定的草稿，与修改记录或向外发送信息的执行行为。

用任务语言写验收规则。信息提取可能要求指定字段与来源引用；起草工具可能要求可审核的建议，且不能作出无依据承诺。明确哪些情况必须拒绝或补充信息。

建立小规模、可检查的评估样例集

在获得使用许可的前提下收集代表性样例，覆盖正常情况、信息缺失、长输入、证据冲突，以及应拒绝或交给人工的请求。为每个样例记录期望决策或审核标准。

提示词、检索、模型或流程规则变化时，重新运行同一组样例。记录版本、审核决定、失败类型和修改成本。汇总指标有助于比较版本，但严重的单个失败仍需单独检查。

不要只用一个平均分决定上线。与业务负责人约定哪些错误会阻止发布，哪些可通过审核发现，哪些需要修改产品。同一任务下同时评估质量、耗时与持续运行成本。

把人工审核设计成明确步骤

按角色指定审核人，提供判断建议所需的原始材料、变更内容、不确定性和影响范围。只有一个“批准”按钮，并不意味着审核充分。

明确何时必须批准、审核人能否编辑或拒绝，以及无人可用时怎样处理。对于影响外部系统的动作，应使用一条本不该执行的建议，实际测试批准边界。

• 展示具体会被修改的记录、消息或成果。
• 批准应绑定实际审核过的版本。
• 为模糊或不支持的请求安排人工处理路径。
• 说明待审核时，流程仍可以执行哪些步骤。

在第一次线上故障前设计恢复路径

任务可能在供应商响应前、结果保存后，或更新下游系统时失败。保存持久的任务状态，明确哪些操作可以安全重试。重复产生外部影响，有时比请求失败更严重。

向操作人员提供易懂的状态和下一步。超时任务可能需要重试，来源无法访问需要修正权限，质量不足需要编辑或人工路径。不要让用户重复无法解决根因的操作。

测试供应商中断、重复通知、访问过期和下游服务不可用，与交付团队约定取消、重试上限和结果不明时的核对方式。

带着负责人和退出路径逐步发布

从边界清晰的参与人员和任务开始。指定谁查看失败、谁可以暂停执行，以及运营人员在哪里反馈问题。保留原来的人工流程，确保自动化路径不可用时仍能继续工作。

交接应包含运行手册、评估样例、已知限制、环境访问和明确维护安排。根据真实完成情况、修改成本、异常数量和运行费用，判断试点是否适合扩大。

KIMEO 项目公开的交付范围包括测试、上线与维护，但未披露内部评估流程。这里的清单是用于约定新工作流要求的建议，不能视作对其内部实践的描述。