BABILong

BABILong是一个用于评估NLP模型处理长文档中分布式事实能力的基准。数据集包含9种配置，对应不同的序列长度（0k, 1k, 2k, 4k, 8k, 16k, 32k, 64k, 128k）。数据集使用bAbI作为事实数据，PG19作为背景文本，模拟了在大量无关细节中寻找重要信息的行为。此外，数据集包含10个任务，用于评估基本推理能力。