价格
免费
下载次数
0
点赞数
0
JudgeBench 是首个面向“LLM 当裁判”能力的客观评测基准。它把 MMLU-Pro、LiveBench、数学竞赛和编程题库等原始高难度任务改写成 620 对“一正一误”且含微妙陷阱的回答对，并给出基于客观正确性的标签；支持 GPT-4o、Claude-3.5-Sonnet 等主流模型产出双盲对比，配合交换顺序的双重打分消除位置偏差。
| 来源类型 | API 接入 |
| 开源状态 | ✅ 开源 |
| 授权协议 | mit |
| 数据语言 | - |
| 数据量级 | - |
| 交付格式 | - |
| 仓库路径 | University_of_Washington/JudgeBench |
| 公开状态 | 公开 |
该数据集为开源数据集，可通过 Git 方式免费下载
git lfs install && git clone https://aihub.caict.ac.cn/datasets/University_of_Washington/JudgeBench.git