模型对比小测报告：同一提示词，不同模型到底差在哪
这次不做“谁是第一”的排名，只做一次可复查的小测。任务是：根据一份包含背景、限制和三个例外条件的产品说明，输出一份给新用户看的操作指南。
测试条件
- 同一份输入材料；
- 同一条提示词；
- 同一输出结构：摘要、步骤、注意事项、未知信息；
- 不允许联网补充资料；
- 人工只在最后评分，不中途修改回答。
我记录了四个维度
| 维度 | 关注点 | 常见问题 |
|---|---|---|
| 事实 | 有没有漏掉限制和例外 | 把“部分支持”写成“全部支持” |
| 格式 | 有没有按要求组织 | 标题很漂亮，但缺少步骤 |
| 推理 | 能否说明假设和不确定性 | 没有依据就给出确定结论 |
| 可执行性 | 用户能否照着完成 | 只讲概念，没有下一步动作 |
观察结果
模型之间的差异，往往不只是“知道多少”，而是处理边界的方式不同。有的回答很流畅，但会为了让文章完整而补出材料中没有的细节；有的回答比较保守，虽然不够漂亮，却会把未知信息明确写出来。
我还发现，单次测试很容易受到随机性、上下文长度和版本变化影响。要做更可靠的比较，至少应该准备多道不同难度的题目，并保留原始输出，不要只截取最满意的一段。
公开评测社区给我的启发（中文译述）
LMSYS Chatbot Arena 这类公开比较让人看到：模型评价需要统一任务和比较条件，也要承认不同用户偏好会得到不同结论。排行榜适合发现线索，不等于替你做最终选择。
下一轮我准备加入代码修改和图像理解任务，并把“人工复核需要几分钟”也算进结果。对于普通用户来说，能否稳定完成任务，通常比一次偶然的高分更重要。