FM-10 已复核 · v1.0
用评分标准和人工抽样给工单分类
把类别定义写清楚，保留明确的“不确定”选项转给人工，每周再抽查一个随机样本。
最终产出
工单被打上类别或“不确定”标签，不确定项有固定分流规则，并有一份每周的模型与复核者一致率。
- 难度
- 熟练
- 耗时
- 首次约 1 小时 20 分钟
- 适用环境
- 模型 API 与脚本，完全支持
- 无代码自动化，完全支持
- 电子表格，部分支持
这条技能适合你吗？
适用场景
- 工单量大，而且类别相对稳定。
- 已经有团队在人工分流，也能抽出样本做抽查。
不适用场景
- 类别会决定退款、销户或任何具有法律效力的事。
- 你的类别每隔几周就要变一次。
开始之前
- 一份带负责人的类别清单。
- 五十条以上由人工标注过的历史工单。
步骤
检查点没过，就不要往下走。
-
写出评分标准
为每个类别写一条定义、两个例子，以及一个其实应归到别处的近似案例。
检查点 两位团队成员用同一份标准标注二十条历史工单，结论大体一致。
-
保留“不确定”
要求模型在没有任何定义明显匹配时回答“不确定”，并把这类工单转进现有的人工队列。
检查点 模棱两可的测试工单返回“不确定”，而不是被硬塞进某个类别。
-
用带标注的历史数据测试
用评分标准跑历史工单，再与人工标注比对。
检查点 一致率按类别分别统计，而不只看总体。
-
每周抽查
每周由复核者在看不到模型标签的情况下，随机标注已分类工单的 5%。
检查点 一致率被记录下来，并与上周对比。
可能出问题的地方
- 对人的影响 分流错了就是求助变慢。盯住“不确定”比例和分类别的一致率。
- 隐私 工单里有客户数据。确认分类服务商把输入存在哪里。
修订记录
| 版本 | 日期 | 变更 |
|---|---|---|
| v1.0 | 首次发布。 |