POPE

POPE 是由 RUCAIBox 构建、LMMs-Lab 整理并发布的“对象幻觉”评测基准，用于衡量大规模视觉-语言模型（LMM）是否会在答案中“捏造”图像里并不存在的物体。数据集包含 9 000 条二元问答，覆盖 COCO 2017 的 500 张图片，采用三种策略（随机、流行、对抗）构造误导性问题，并提供精确 F1 指标。借助 lmms-eval 评测框架，一行命令即可对 GPT-4V、LLaVA 等主流模型进行一键测试，已成为检测 LMM 幻觉水平的通用基准之一 。