评估多模态 AI 模子的那些复杂测试黄色小说，可能有一半王人是"重复办事"！

来自上海 AI Lab、上海交大以及浙江大学最新推断打算涌现：当卑劣行的多模态大模子基准测试中渊博存在大王人冗余。

△图表 1 Quick Look

他们在跳跃 20 个主流多模态基准和 100 多个模子作念了系统性扫描，限定有一些特真理的发现。

比着实例分析中，很多基准测试将实例数目减少一半，也不会显贵影响被测试 MLLMs 的排名。

而在具体任务中，像图像心境和社会关系这两大任务，他们评估才能存在显贵的叠加。

而像名东说念主识别这种基于知识的任务，与其他维度的任务保持相对零丁。

推断打算方法

训诫好的多模态大模子时常需要通过芜乱的基准测试才能让推断打算东说念主员评估出其具体的性能。

然而在很多测试设施中，团队发现似乎多模态基准本人存在着较着的冗余性。

举例某些基准内的评测维度天然名字叫法不同，然而测试的才能相称相似；

举例某些基准的评测实例不错视作"自我滋生"，不同实例之间彼此高度相似，莫得提供相当的评价信息；

举例某些垂类规模的多个不同的评测基准似乎彼此之间也较为访佛。

于是，他们便运转尝试想索忽视一个估量多模态基准冗余度的框架。

最初，团队界说了三类冗余度：

1、基准内的子维度之间的冗余度；

2、基准内的测试实例的冗余度；

3、单个垂类规模内不同基准的冗余度。

从一个先验启航，当在测试访佛的多模态大模子才能时，其性能排序应该存在较强的联系性；反之，如若其性能排序联系性较低，这也就意味着测试的性能具备较强的零丁性。

基于上述先验，针对性给出了对应的冗余度框架。

△图表 2 冗余度计较框架暗示图

基准内的子维度之间的冗余度。

假定咱们在领有 m 个子维度的基准上评测了一定数目的多模态大模子性能，而况咱们记这些性能在这 m 个子维度上的排序为 R1-Rm。那么轻易两个维度之间的排序相似性就不错陋劣理会为这两个维度的冗余性。将整个的排序相似性遍历乞降也就得到了此基准的平均冗余度。

基准内的测试实例冗余度。

假定某个基准共有着 n 个测试实例，而况在这个竣工的基准上了咱们评测了一定数目的多模态大模子并取得了最终的性能排序 RGT，然后，咱们立地抽取实例的一个子集，占总和的 A%，并计较相应的 MLLM 性能排序，记为 RA%。为了量化在 A% 抽样比率下基准测试的冗余，咱们计较 RA% 与 RGT 之间的相联整个。这一联系性反应了抽步地集对整个这个词基准测试的代表性。为了减少立地性的影响，抽样经由重复进行 T=100 次，并记载平均联系性限定。

单一垂类规模内的跨基准冗余

假定某个垂类规模内（举例专注作念数学才能评测）有 l 个基准，咱们在这些基准上测试了一定数目的多模态大模子性能，并取得了这些大模子在各个基准上的排序。那么针关于某个特定基准，其性能排序与其余基准排序的相联整个即可代表此基准在这个垂类规模内的冗余度，也可也理会为此基准对此垂类规模的代表进程。

联系性计算

在这项使命中，咱们罗致了多种计算来描述两组性能数字之间的联系性，包括斯皮尔曼排名相联整个（SRCC）、皮尔逊线性相联整个（PLCC）和 R2 分数。

SRCC 是一种评推断划，测量排名的相似性，捕捉两个排名之间相对规矩的一致进程。

PLCC 量化线性相似性，评估排名之间的线性关系考究进程。

R2 分数 则评估排名关系证实的方差比例，行为拟合优度的估量步骤。

Top-K 分析

磋商到顶级 MLLMs 的性能在基准测试中时常更受关心，咱们不错通过仅关心给定基准测试中总体性能最高的 Top-K MLLMs 来简化冗余分析，而不是将整个 MLLMs 纳入计较。通过选择 Top-K 模子，咱们不错更好地针对不同性能层级的基准测试冗余进行分析。

现实限定及分析探索维度冗余

为了全面展示咱们冗余框架在 MLLM 基准测试中的应用，咱们使用日常罗致且维度各样的 MMBench 基准测试（v1.1）。其测试限定如图所示，咱们不错得到一些道理的限定。

△  图表 3 MMBench Top-50 SRCC 子维度热图

凭据图表 3（Top-50 指总排名正数 50 的 MLLMs 性能排序），咱们不错快速分析哪些维度推崇出高联系性。

举例，任务图像心境和社会关系涌现出热烈的冗余（0.59），标明它们评估的才能存在显贵叠加。

通常，结构化图像 - 文智力略与多个其他维度（如空间关系物理属性推理（0.69）、OCR（0.56）和天然关系（0.49））推崇出较着的冗余，这反应出膨大结构化理会需要空洞控制视觉领会、标志识别、知识推理等多重才能。

另一个道理的观点来自名东说念主识别，这是一个基于知识的任务，与主要测量感知才能的其他维度保持相对零丁。因此，它推崇出显贵较低的冗余。

△  图表 4 MMBench Bottom-50 SRCC 子维度热图

图表 4（Bottom-50 指总排名倒数 50 的 MLLMs 性能排序）则揭示了迥乎不同的分散模式。

与 Top-50 模子平均维度冗余度比较，Bottom-50 模子的平均维度冗余度显贵增高，其中跳跃 80% 的维度对 SRCC 值跳跃 0.6。这种系统性高冗余风光源于 Bottom-50 模子基础才能的全体薄弱性——当模子处于低级发展阶段时，各维度的性能检阅呈现强同步性，导致维度区分度显贵裁汰。

反不雅 Top-50 模子，由于已树立较完备的基础才能体系，其在不同复杂任务中的专项优化会激发维度推崇的各异性增长，从而造成更明晰的维度区分特征。

探索实例冗余

△  图表 5 Top-50 实例平均冗余度

△图表 6 Bottom-50 实例平均冗余度

在现实中他们纳入了 VLMEvalKit 中 18 个公开可用的基准测试的评估限定，并展示了立地采样实例得到的性能排序与罗致一说念实例排序的平均冗余度限定。

团队罗致 0.95 的相似性阈值进行永别（SRCC 和 PLCC 整个跳跃 0.95 的排名被合计险些疏导，仅在少量数情况下存在微弱各异），这得出一个论断：大多数现存 MLLM 基准测试在对 Top-50 和 Bottom-50 MLLMs 进行排名时，其实例推崇出显贵冗余，至少 50% 的实例是冗余的。  这意味着很多基准测试不错将实例数目减少一半，而不会显贵影响被测试 MLLMs 的排名。团队还比较了 Top-50 和 Bottom-50 MLLMs 之间的冗余趋势。

值得珍贵的是，在 SRCC 和 PLCC 的疏导 0.95 阈值下，Bottom-50 MLLMs 所需的实例数目显贵少于 Top-50 MLLMs。这意味着准确排名高性能 MLLMs（Top-50）需要更多实例，而排名低性能 MLLMs（Bottom-50）不错用更少的实例终了。

因此，基准测试实例的冗余与被评估 MLLMs 的才能密切联系： MLLMs 才能越强，基准测试实例的冗余越低。

探索跨基准冗余

为了分析跨基准冗余，聚焦于数学规模，具体检修了几个流行的数学基准测试：MathVista、MathVision、MathVerse 和 DynaMath。

利用 OpenCompass 推理排名榜上列出的 37 个 MLLMs 的可用评估限定来进行分析。

△图表 7 数学规模内的跨基准冗余度热图

限定涌现，尽管这四个基准测试王人旨在评估 MLLMs 的数学才能，但它们之间的联系性并不算尽头强。其中，MathVista 推崇出最少的冗余，与其他基准测试的联系性最低。比较之下，MathVerse 和 MathVision 涌现出高冗余，与其他基准测试推崇出强联系性。这些各异标明它们的评估重心规模存在不同进程的叠加。

为了更好地理会基准测试之间的各异，团队分析了它们任务的分散。

限定发现 MathVista 包含 30%-40% 的非传统数学问题，举例与科学图表理会、通用 VQA 和图表 / 表格 / 图形问答联系的任务（示例见图表 8）。

△图表 8 基准内偏离中枢数学才能的样例

团队合计低冗余可动力于特定规模的特有元素或无关任务，并将后者视为数据中的"噪声"。

举例，通用 VQA 任务天然日常适用，但其与评估数学才能的关系有限，不错归类为这种噪声。

为了量化其影响，他们从 MathVista 中移除通用 VQA 任务，并再行计较其与其他基准测试的冗余。经过这一报复后，MathVista 与其他数学基准测试之间的冗余显贵增多，与它们任务特征的契合度更高。

此外，咱们还摒除了 MathVista 平分类数学处所 VQA的CLEVR养殖问题，这些问题与数学才能的关系也有限（示例见图表 8）。

经过处理，MathVista 与其余基准的冗余度得到了进一步提高，也意味着处理后的 MathVista 愈加专注在了"数学"才能的评测上。

因此，他们忽视以下规模内基准设想的原则：

旨在代表某一垂类规模中枢才能的基准应与其他规模内基准推崇出相对高的冗余，反应对规模内中枢才能的把捏。

专注于特有的才能以填补垂类规模空白的基准应与其他基准涌现较低的冗余，从而为规模内特定主题提供特有视角。

回来

本文重心探索了 MLLM 基准测试中渊博存在的冗余问题，探索了三个层面识别了冗余：维度冗余、实例冗余和跨基准冗余。

通过忽视的冗余度框架，不错为社区带来以下检阅：

优化基准设想： 

1 ) . 细目基准内的某些维度是否需要单独评估，简略不错消释；

2 ) . 识别准确评估所需的最小且充足的实例数目；

3 ) . 评估在特定规模内引入新基准的必要性。

升迁 MLLM 评估恶果：

1 ) . 细目某一基准是否偏离了规模的分散；

2 ) . 识别评估规模内模子性能所需的锚定基准。

通过系统性地科罚冗余问题，不仅不错升迁基准设想的原则，还能舒缓 MLLM 评估的资源需求，创造一个更精简有用的评估生态系统。

论文流畅：

https://arxiv.org/abs/2501.13953

Github 流畅：https://github.com/zzc-1998/Benchmark-Redundancy

* 本文系量子位获授权刊载，不雅点仅为原作家整个。

一键三连「点赞」「转发」「阻挠心」

接待在驳倒区留住你的主义！

—  完  —

一键关心 � � 点亮星标

科技前沿进展逐日见黄色小说