FM-04 已复核 · v1.1
改动提示词之前，先建一套小规模评测集
保存 20 到 50 个带预期特征的用例，每次改动前后都跑一遍，让改进被测量出来而不是凭感觉。
最终产出
一份纳入版本管理的用例文件、当前提示词的基线得分，以及每次改动的逐例对比。
- 难度
- 熟练
- 耗时
- 首次约 1 小时 45 分钟
- 适用环境
- 模型 API 与脚本，完全支持
- 仓库中的编码智能体，完全支持
- 电子表格，部分支持
- 对话助手，部分支持
这条技能适合你吗？
适用场景
- 这个提示词已经用在某个产品或固定工作流里。
- 几个人各自提出改动方案，需要你来拍板。
不适用场景
- 这个提示词只用于一次性任务；直接看输出更省事。
开始之前
- 可以取到形态真实的输入，并且去掉个人信息后允许保存。
- 一个能存放用例的地方，最好与提示词放在一起并纳入版本管理。
步骤
检查点没过，就不要往下走。
-
收集用例
收集 20 到 50 条输入：典型的、已知会失败的，以及空输入、超长输入这类边界情况。去掉个人信息。
检查点 至少四分之一的用例是困难样本。
-
写出预期特征
为每个用例写明必须出现什么、必须不出现什么，以及任何格式要求。不要写死期望文本，措辞本来就会变。
检查点 换两个人评同一份输出，结论一致。
-
记录基线
用当前提示词跑全部用例并评分，把输出、评分与提示词版本一起保存。
检查点 你得到一个基线总分和逐例结果。
-
一次只改一处，然后重跑
每次只改一处，重跑全部用例，并逐例对比，而不是只看总分。
检查点 你能列出哪些用例变好、哪些变差。
-
让评测集持续生长
实际使用中出现新的失败，先把它加成用例，再动手修。
检查点 用例数量随时间增长，且每个用例都有来源说明。
可能出问题的地方
- 隐私 被保存的用例比产生它的对话活得更久。保存前先去除个人信息。
- 准确性 评分者会偏向自己偏好的版本。评分时不要让自己知道输出出自哪个版本。
修订记录
| 版本 | 日期 | 变更 |
|---|---|---|
| v1.1 | 新增规则：先把手上的失败加成用例，再动手修复。 | |
| v1.0 | 首次发布。 |