评测体系

大模型基准测试体系

建立领先的大模型基准测试体系,覆盖语言、多模态、代码、服务性能等多维度评测能力,为AI发展贡献中国力量。

270个数据集|680万条测试数据|四大测试体系
4
测试体系
270+
评测数据集
680万
测试数据
100+
监测服务

体系概览

四大评测体系,全方位覆盖大模型能力评估

大语言模型

覆盖通用、应用、行业三大维度

通用能力应用能力行业能力

多模态大模型

理解、生成、全模态交互能力评估

视觉理解多模态生成全模态交互

代码大模型

端到端、全栈式代码能力评估

代码生成代码补全代码审查

服务性能

全天候不间断真实场景模拟测试

性能监测稳定性测试压力测试

大语言模型评测

覆盖通用、应用、行业三大维度,建立全面的评测体系

高难度

挑战前沿极限能力

非静态

动态更新评估体系

开放式

开放域问题求解

场景化

真实业务场景模拟

理解
生成
推理
数学
知识
学科
代码
多语言
长文本

多模态大模型评测

理解、生成、全模态交互能力的全面评估

一体化评估框架

统一评测标准,实现跨模态对比

MMBenchScreenQAMME-U

高阶推理能力

深度推理与复杂任务处理评估

TiViBenchVSIBench

动态实战环境

分层评估体系 L1-L4 四级能力

实时场景动态交互

代码大模型评测

端到端、全栈式代码能力评估体系

测试任务

代码补全
代码生成
代码解释
代码注释
单测生成
代码转换
代码检查
Issue解决

支持语言

PythonJavaGolangC/C++TypeScriptJavaScript

评测指标

pass@kROUGECodeBLEU覆盖率检出率

大模型服务性能评测

全天候不间断真实场景模拟测试

20+
MaaS平台监测
4地
服务器部署
北京、上海、深圳、成都
5个
时间点测试
6项
核心指标

核心监测指标

调用成功率
TTFT
TPS
上下文
价格
并发量

四大核心要素

构建完整的大模型评测基础设施

指标体系

建立科学、全面、可量化的评测指标体系

测试数据集

覆盖多场景、多领域的高质量测试数据

测试方法

标准化评测流程与方法论体系

测试工具

FactTesting 自动化评测平台

开启您的模型评测之旅

专业的评测团队、完善的评测体系、丰富的测试数据,为您提供全方位的模型评测服务