blink

BLINK 是多模态语言模型 (LLM) 的新基准，侧重于其他评估中未发现的核心视觉感知能力。大多数 BLINK 任务都可以由人类“在眨眼之间”解决（例如，相对深度估计、视觉对应、取证检测和多视角推理）。然而，这些对感知要求高的任务给当前的多模态 LLM 带来了重大挑战，因为它们无法通过自然语言进行调解。BLINK 将 14 个经典计算机视觉任务重新格式化为 3,807 个多项选择题，搭配一个或多个图像和视觉提示。虽然人类的平均准确率为 95.70%，但 BLINK 对现有的多模态 LLM 来说却极具挑战性：即使是表现最好的 GPT-4V 和 Gemini 也实现了 51.26% 和 45.72% 的准确率，仅比随机猜测高 13.17% 和 7.63%，这表明这种感知能力尚未在最近的多模态 LLM 中“出现”。