ContextualJudgeBench

ContextualJudgeBench 是 Salesforce AI Research 于 2025 年 3 月发布的一个成对评测基准，专为检验大模型在“上下文问答”和“摘要”两种场景下充当评判者的能力而构建。数据集包含 2,000 组高难度响应对，覆盖 8 个评测维度（拒绝回答、忠实度、完整性、简洁性等），并采用“先忠实后简洁”的分层成对比较方式，以更贴近真实 A/B 测试需求；所有样本均基于 1,500 余个不同上下文（长度从数词到近 1 万词不等）构建，结合人工标注与前沿模型扰动技术生成，旨在系统衡量评判模型在长上下文场景中的可靠性与一致性