先限定助手负责的任务
AI回答正确率应该怎样统计才有意义？建议先覆盖真实频率。本题围绕客服助手验收，主要要防止只挑容易演示的成功问题。把允许自动完成的结果与必须交人工的情况分开，才能判断助手有没有越过任务边界；生成了答案、建议或文本，不等于真实业务已经正确完成。
自动化验收应以业务结果为准，不能只比较回答看起来是否自然。测试集需要包含常见样本、难例和明确不应回答的情况。
建立能核对的输入与输出
准备固定测试集、标准答案和错误类型作为对照，样本既要包括常见情况，也要包含“十个熟悉问题全部成功”这类容易出错的输入。保留脱敏原文或原记录、助手输出和最终处理结果，标明哪部分是提取事实、哪部分是建议。这样纠错时不必凭印象判断，也能知道错误来自资料、理解还是实际执行。
固定样本和判分口径，保留系统版本与输出；把错答案、漏处理和多处理分别统计，再决定是否扩大使用。
把处理规则落到三个动作
第一步，覆盖真实频率，不确定的信息先显式保留。第二步，单列难例，让处理结果能够与固定测试集、标准答案和错误类型对照。第三步，记录判分规则，确认最终符合“结论来自可重复完整样本”。若某个步骤依赖外部系统，应显示真实等待或失败状态，并保存关联编号；不能为让流程看起来顺畅而提前宣布成功。
用一个失败例子检验边界
固定样本包括常见问题和明显不应回答的问题。准确率还需说明评分标准、样本数量和适用范围。
例如：十个熟悉问题全部成功。先写出人工处理该样本时会依据什么证据，再比较自动化结果。发现差异时，保留原样本并纠正具体规则，而不是只让助手重新生成一次更像正确答案的文本。将该样本加入下一版本的检查，才能判断修正是否稳定。
模型和资料更新后仍需复测。一次演示成功不能证明长期稳定，具体准确率必须有实际测试记录支持。
试用达到什么条件再扩大
本题的验收结果是结论来自可重复完整样本。统计错误要区分漏处理、错处理和不该执行却执行，不能把它们混成一个好看的成功率。由实际使用岗位核对样本，并记录需要人工接管的情况。只有证据表明客服助手验收的约定任务可稳定完成，才考虑扩大数量或自动执行范围；模型、资料或连接方式变化后应重新检查。
执行与验收清单
- 明确客服助手验收的正确结果：结论来自可重复完整样本。
- 准备并脱敏核对资料：固定测试集、标准答案和错误类型。
- 执行覆盖真实频率，保留对应结果。
- 完成单列难例与记录判分规则，核对实际产物。
- 使用“十个熟悉问题全部成功”复查问题，并记录未解决事项。