bigcodebench

bigcodebench 是一个面向大语言模型（LLM）的代码生成基准，由 BigCode 项目开源，共 1 140 个真实且复杂的编程任务，涵盖 139 个常用库、7 大领域，需模型组合调用多种函数完成数据分析、Web 开发等综合性任务；每任务平均 5.6 个单元测试、分支覆盖率 99%，并提供 “Complete” 与 “Instruct” 两种模式，用于精确评估模型在复杂指令理解与工具调用上的能力。