LLM-Uncertainty-Bench

LLM-Uncertainty-Bench（ErikYip/LLM-Uncertainty-Bench）是面向大模型不确定性量化与评估的首个综合基准数据集，共 5 万条多选样本，平均分布于问答、阅读理解、常识推理、对话响应选择与文档摘要 5 大核心 NLP 任务，每条样本均附带 16 个主流开源/闭源模型（Qwen、Llama、Yi、Mistral 等）的预测概率与置信度标签，并引入“我不知道 / 以上皆非”两种拒识选项，为研究者在模型置信度校准、路由策略与风险敏感场景下的可靠性评估提供统一、可复现的实验平台。