FM-05 已复核 · v1.0
在自己的任务上盲测两个模型或两个提示词
并排输出、隐藏标签，按一份简短的评分标准打分，让选择依据你的实际工作而不是名气。
最终产出
按标准统计的胜、负、平计数，以及在开始之前就写下平局规则的最终决定。
- 难度
- 熟练
- 耗时
- 首次约 1 小时 10 分钟
- 适用环境
- 模型 API 与脚本，完全支持
- 电子表格，完全支持
- 对话助手，部分支持
这条技能适合你吗？
适用场景
- 你要为一项长期重复的工作，在工具、模型或提示词版本之间做选择。
- 团队里意见不一，你需要证据。
不适用场景
- 成本或政策规定已经决定了选择。
- 你手头真实形态的输入不足十条。
开始之前
- 十条以上真实形态的输入。
- 一位在看不到哪个选项产出哪份结果的情况下也能评分的同事。
步骤
检查点没过，就不要往下走。
-
先写评分标准
选两到四条标准，例如正确性、完整性和语气，每条附一句“好答案长什么样”。
检查点 评分标准和平局规则在看到任何输出之前就已写好。
-
生成并打乱顺序
两个选项都在每条输入上跑一遍。随机把每一对分到左和右，并单独记录对照表。
检查点 评分者看到的表格里只有“左”和“右”。
-
盲评
评分者针对每条标准和每个用例，选左、选右或平局。
检查点 每个格子都填了，允许平局。
-
揭盲并统计
对照密钥，按选项、按标准统计胜场。
检查点 最终决定遵循事先写好的规则，包括平局怎么算。
可能出问题的地方
- 准确性 样本太小时结论会误导。十条用例上的微弱优势，应当视为平局。
- 成本 试用期间跑两个选项，用量翻倍。
修订记录
| 版本 | 日期 | 变更 |
|---|---|---|
| v1.0 | 首次发布。 |