Glance-4B-preview 的真实输出,事先跑好,页面上只做筛选。
agent 看屏幕、看视频的时候,问的从来不是一个问题,而是一串:保存对话框开着吗?“导出”按钮在哪?点“全部删除”危险吗?这一段里有没有那只蝴蝶?更要紧的是,东西不在的时候,它得敢说不在,而且这个“不在”有多确定,要靠得住。
Glance 是我们在 Qwen3.5-4B[1] 上训练的一个“看一眼”模型。熟悉 TypeSafe 的 Jev[2] 的话,可以把它看成专为看画面做的 Jev:它的框会说“不在”,也会说自己框得准不准。它不生成文字,只读一次图,就对任意多个问题各给出一个概率分布:框在哪里、是还是否、选哪一项、打几分,以及“它不在这里”。上面每个数字都是它的真实输出。两个阈值只管框问题:P(present) 低于第一个,它就回答“不在”;P(IoU ≥ 0.5) 低于第二个,框就标成“不准”。指一指问题、拖一拖阈值,有几处值得多看一眼:
- “一只狗”“生日蛋糕”不是没框出来,而是回答了“不在”,并且给出了概率。中文和英文的问题落在同一个框上。
- “番茄酱”在(0.976),可框准的概率只有 0.386:它知道桌上有番茄酱,却不确定是哪一块。东西在不在、框准不准,是两个分开的旋钮。
- “点‘全部删除’有多危险”四档的概率差不多,这就是它在说“我不知道”。一个分布比一个答案多给出的,正是这个。
- 动画那一页,“一只飞鼠”(0.661)和“一只鸟”(0.347)都指向左上角半空中那只红松鼠:拖动阈值,拿不准的答案会先出现、先消失。
它解决什么问题,新在哪里
今天的 agent 拿一个生成式视觉语言模型当眼睛。这只眼睛有三个毛病,每一个都会直接变成 agent 的事故:
- 一次只看一个问题。 对同一屏问 8 件事,就要解码 8 遍,agent 每一步都在等。
- “没有”说不准。 目标不在时,它常常照样画一个框,agent 就去点一个不存在的按钮。在 GUI 上“目标不在屏幕上”的题里,同一个底座用常见的写法几乎从不拒答(不到 4%),换遍我们试过的提示词也最多四成多。
- 旋钮被锁住了。 它说不说“不在”,由解码规则替它定好,用的人没法按场景调;它也不知道自己框得准不准。
示意,P 值是举例。
Glance 对这三个毛病的回答是三件事:
- 一次前向,回答任意多个带类型的问题。 图像只算一次,每个问题从图像的状态分出去各自读出,答案直接是概率分布。在 Qwen3.5 这种线性注意力和注意力混合的模型上,常用的 mask 写法会让问题之间悄悄串题;我们的前向和逐个单独运行在数学上等价。一张图问 8 个框问题 45 ms,我们能配出的最强生成式方案要 134 ms。
- 把“在不在”和“框准不准”做成两个校准过的旋钮。 判断框对不对,Glance 的 AUROC 是 91.6,生成式的做法最多 79.7。两个概率配一条按代价选阈值的规则,部署时按场景调,不用重训。
- 一个可以复用的发现:生成式模型会不会给不存在的东西画框,是一个设置,不是模型的性质。 在四个现成的 VLM 上,只换提示词、坐标格式和解码器,不在的目标被画上框的比例从 17% 到 92%,同一个 Qwen 模型内部就能差 50–60 个点。受控实验告诉我们为什么:“不在”只有一种写法,“在”有成千上万种,谁赢取决于怎么计票。而 Glance 的“不在”是一个概率,可以连续地拧,不挑提示词。
做的路上还撞见两件和预想不一样的事:让“不在”变可信的是数据,不是更大的底座(而且我们自己的数据教会了模型一条捷径);视频 agent 答错,多半是看错了,而不是想错了。
落到 agent 身上:GUI agent 点击之前多了一道闸。在同样误拒两成在场按钮的设置下,Glance 能拦下五成多根本不在屏幕上的目标,同一个底座换遍提示词最多四成多;GUI 上的误拒还偏高,后面会讲。agent 对着同一个画面追问时,每次只要十几毫秒;同一个 4B 模型,换个阈值就能从谨慎切到激进,按业务设风险,而不是接受解码器替它选好的那一个点。
和 Jev 比,差别在框上。Jev 是 System One 决策模型:给一段状态和一组问题,一次查询并行给出每个答案的概率;从 1.14 起,它也实验性地支持了图片和 box 题型[3]。但它的框没有“不在”这个答案(文档建议另问一个是否题),框上也只有一个 confidence。Glance 把两件事做进了框本身。后面有一节是我们在同一批题上实测的对比。
一次前向,问任意多个问题
一条输入是一张图加上很多个问题。图像部分只算一次;每个问题是接在后面的一小段 token,读出它最后一个位置的隐状态,交给对应的输出头:
- 框:一个存在门控给出 P(present);在图像的视觉 token 里选框中心所在的 patch;四条边各是一个 64 档的分布;再估计这个框和真值 IoU ≥ 0.5 的概率。
- 选项、是否、打分:直接读底座语言模型头里对应标签 token(A…Z、Yes/No)的 logit,再加一个零初始化的修正。刚初始化时,它们的输出和底座下一个 token 的分布一模一样,训练只是在这个基础上微调。
每个视觉 token 对应 32×32 像素。中心 patch 的训练目标,按真值框盖住每个 patch 的面积来分配,这是 GUI-Actor[4] 的做法;四条边建模成分布来自 GFL[5],用 Cramér 距离(两个分布 CDF 之差的平方和)训练,最后的框是各条边分布的期望;用一个 presence 量判断概念在不在,SAM 3[6] 也这么做。零件都不新,新的是把它们放进一次前向,对一张图上的很多个问题同时给出框和校准过的“不在”。IoU 头读的是选中那个 patch 上的特征,框的置信度是 P(present) × P(IoU ≥ 0.5)。目标不在时,只训练存在门控。训练时冻结视觉塔,在语言模型的线性层上加 LoRA(r=64)。每种问题的温度在训练分布里留出的校准集上拟合,从不碰评测集。
混合模型上,mask 挡不住串题
“图像只算一次,问题接在后面”,最直接的写法是把图像和 8 个问题拼成一条序列,在注意力里加一个 block mask,让每个问题只看见图像和它自己。在普通 Transformer 上这就够了。
可 Qwen3.5 是混合架构:每 4 层里 3 层是 Gated DeltaNet(GDN,一种带递归状态的线性注意力),只有 1 层是注意力。GDN 没有注意力矩阵可遮,它的状态顺着序列往后传,问题 1 写进状态的东西,问题 2 照样读得到。这种串题不会报错,也不会让分数崩掉,只会让每个答案悄悄依赖于排在它前面的问题。
27B 上的对照实验。
我们在 27B 上量了一下串了多少:938 个 token 的前缀后面接 8 个问题块,每块 25 个 token,看第 4 块的隐状态和它单独运行时差多少(‖拼接 − 单独‖ / ‖单独‖)。不加 mask 差 44.1%,加了 mask 还差 39.8%,换成 flex attention 的 BlockMask 也还差 38.7%。三种写法几乎一样糟。
所以我们自己写了前向:前缀照常算一次,记下每个 GDN 层最后的递归状态和最后 3 个 conv 输入,每个问题块都从这份状态重新开始;注意力层里每个块只看前缀和自己。数学上,这等于把每个“前缀 + 问题”分开跑,只是前缀只算一次。在随机初始化的小 Qwen3.5 配置上逐块对比参考实现,fp32 下的相对误差约 1e-7;换成真实的 4B 权重,余弦相似度不低于 0.99999。
前三条在 27B 上测,最后一条在小配置 fp32 上测。对数轴。
有多快,快在哪里
速度要和最强的对手比。我们能配出的最强生成式方案,是 Qwen3.5-4B 跑在 vLLM 0.34 上,打开前缀缓存、CUDA graph、MTP 投机解码,权重用 FP8。同一张 RTX PRO 6000,同一批 RefCOCO 照片(不超过 640 个视觉 token),一张图问 1、8、32 个框问题:Glance 是 43、45、61 ms,它是 99、134、229 ms,Glance 快 2.3、3.0、3.8 倍;和同样设置下 bf16 的 vLLM 比,是 2.7、3.6、4.6 倍。两边都从缩放好的图算到拿到全部答案,图像预处理也算在内。Glance 这边是 bf16,和 fp32 的参考前向比,“在不在”的判断 99.78% 一致。
RTX PRO 6000,50 次调用的中位数。
快在哪里?我们把 vLLM 也改成每个问题只读一个 token、不解码(这样它只能答“在不在”,给不出框):一个问题时它也降到 39 ms,和 Glance 一样快。所以优势来自不解码,而不是我们的引擎更快;Glance 做到的,是不解码也能给出框。问题一多,vLLM 那条线仍然涨得更快,因为每个问题在它那里都是一个单独的请求。
agent 最常见的用法,是对已经看过的画面接着追问。图像的状态已经在缓存里,再问 1、8、32 个问题只要 11、14、28 ms,最强的对手要 78、113、212 ms,快 7–8 倍。换到更便宜的 L4 上差距更大:一张图问 1、8、32 个问题快 2.6、3.2、5.4 倍,追问快 10–12 倍。
它也有不快的时候。一次调用的时间主要花在 prefill 上时,不解码省下的那点时间就不够用了:一张 4,096 个视觉 token 的大截图只问一个问题,或者 32–64 帧视频每帧只问一个问题,Glance 和对手持平甚至更慢(0.5–1.0 倍)。输的原因是我们研究用的引擎做长序列和多张图的 prefill 比 vLLM 慢,不是读出方式。
| 用法 | 倍数 | Glance | 对手 |
|---|---|---|---|
| 问 8 个框 | 3.0× | 45 | 134 |
| 问 32 个框 | 3.8× | 61 | 229 |
| 追问 8 个 | 8.3× | 14 | 113 |
| L4,问 32 个 | 5.4× | 354 | 1,909 |
| 四种题型 8 个 | 2.3× | 54 | 122 |
| 2K 截图问 32 个 | 2.7× | 155 | 419 |
| 4K 截图问 1 个 | 0.88× | 299 | 262 |
| 64 帧各问 1 个 | 0.52× | 1,161 | 609 |
意外一:会不会画出不存在的框,是一个设置
我们原本想证明的是:自回归地生成坐标,天生不擅长说“没有”,一个显式的存在门控更好。结果不是这样。生成式模型其实知道东西在不在;它说不说出来,取决于你用什么规则把它的概率变成一个答案。下面先讲机制,再看它在现成模型上是什么样子:同一个模型,换提示词、坐标格式和解码器,对不存在的东西画框的比例能差五六十个点。
一个独立候选人,和一个分了票的大党
生成式模型回答“框出 X”,是写出一串文字:要么写 none,要么写四个坐标,比如 412,088,601,733。“不在”只有一种写法。“在”却有成千上万种:412,088,601,733 和 413,088,601,733 几乎是同一个框,但对模型来说是两串不同的答案,各分走一小份概率。
举个数字:模型认为 30% 是 none,70% 是“在”,而这 70% 平均摊在 100 种差不多的坐标写法上,每种 0.7%。
- 规则 A:挑单个概率最高的完整答案。 这叫最大后验(MAP),beam search 想逼近的就是它。
none的 30% 比任何一种 0.7% 都大,于是回答“不在”。 - 规则 B:先看“在”的总概率。 P(none) 只有 30%,不到 0.5,于是回答“在”,再挑一个框。
同一组概率,两个相反的答案。这和选举一样:一个独立候选人拿 30% 的票,一个党拿 70%,但党内有 100 个候选人在分票。数单个候选人的票,独立候选人赢;数党的总票,党赢。贪心解码介于两者之间:它在第一步比较 none 和“第一个数字是 4”,后者已经把所有以 4 开头的框合在一起了,所以它更像规则 B。
示意,数字是举例。
这个解释给出一个可以检验的预测:坐标写法把票分得越散,规则 A 越爱说“不在”;规则 B 不受影响。
受控实验:只换输出头
为了检验,我们做了一组受控实验:同一个 4B 底座、同样的 LoRA、同样的数据和顺序、同样 3,058 步,只换输出头。
- 门控:上面的框头,P(present) 是一个数。
- 数字:生成
x1,y1,x2,y2,0–1000,每位数字一个 token;不在就生成none。 - 层级:每个坐标两个新 token,先粗后细,共 32×32 = 1,024 级[7]。
- 原子 100 / 原子 1000:每个坐标值一个新 token,100 级或 1,000 级。
下面这张图,横轴是目标明明在、模型却说“不在”的比例(RefCOCO val,10,834 个表达式),纵轴是目标真的不在时说对“不在”的比例(gRefCOCO val 的无目标表达式,8,905 个)。每条曲线是一个头在自己的“不在”概率上取遍所有阈值:门控用 1 − P(present),生成式头用 P(none)。曲线上的点,是某个解码规则落在哪里。选一个头、一个规则,看看会发生什么:
单个 seed。
生成式头其实知道东西在不在。 五条曲线几乎重合:把阈值调到恰好拒答 1% 的在场目标时,四种坐标写法的头都能拒掉 81–82% 的无目标表达式,门控是 81.3%;AUROC 都在 96.2–96.7 之间。门控在“不在”上并没有赢。
说不说出来,是计票方式决定的。 在 RefCOCO 的 21,586 个在场目标上,数字头按 P(none) ≥ 0.5 只把 0.47% 说成“不在”,贪心解码是 0.60%。上图的规则 A 用的是近似:拿贪心解出的那串坐标和 none 比整串概率。为了确认它没有夸大,我们在抽样的一批目标上用精确的最优优先搜索去找概率最高的整串答案,数字头是 34–41%(有一部分题在搜索预算内没有定论,所以是区间),和近似值几乎一致。四种写法排成一列:
| 输出头 | 精确 MAP | beam | 贪心 | 阈值 |
|---|---|---|---|---|
| 数字 | 34–41 | 39.2 | 0.6 | 0.4 |
| 层级 | 23–25 | 22.6 | 0.7 | 0.4 |
| 原子 1000 | 12.3 | 10.4 | 1.9 | 0.6 |
| 原子 100 | 4.6 | 3.9 | 0.8 | 0.4 |
抽样子集;beam:宽度 4,把 none 留作候选。
阈值和贪心几乎不随写法变(都在 2% 以下);规则 A 从原子 100 的 4.6% 一路涨到数字头的 34–41%,跟着“最可能的那一串坐标能拿到多少概率”走:一个框要写的 token 越多、每一步越拿不准,单串的概率就越小,none 越容易赢。被规则 A 说成“不在”的在场目标,其实大多知道在哪:数字头贪心解出的框,88% 是对的。
甚至不用换词表,换一种 beam search 就够了。我们第一次用标准实现跑宽度为 4 的 beam search,在一批 191 个目标上只有 4.7% 被说成“不在”。后来发现,是 none 在第一步就排不进前几名、被直接剪掉了(宽度 4 时,72% 的在场目标上 none 落在第一步的候选之外)。把 none 当成一个随时可以结束的完整候选留下来,宽度从 4 到 16 都回到 38–39%,和精确搜索一致;而 Hugging Face 默认的长度归一化(按长度平均对数概率),又把它压回 1–3%。三个都叫 beam search,答案差了 40 倍。这就是表面形式竞争[8],只不过它决定的是一个 agent 会不会把在场的按钮当成不存在。
原子 1000 还有一个更隐蔽的版本:表面形式竞争也发生在框的内部。一个坐标值被摊在 1,000 个相邻的 token 上,在场目标的第一个 token 上,除 none 以外最可能的那个只拿到平均 0.19 的概率(数字头是 0.78),于是不加约束地贪心解码时,24.2% 的输出连格式都不对,RefCOCO 只有 73.1;用语法约束把每一步限制在合法 token 上,同一个模型回到 93.8。
不重新训练,只把坐标切碎
最干净的检验,是一个模型都不动。拿训练好的原子 100 头,把每个坐标 token 拆成 k 个等价的“同义写法”,每个分到原来 1/k 的概率。模型认为“在”还是“不在”的总概率一分没变,变的只是票被分成了几份。
原子 100 头,RefCOCO val 抽样 1,362 个在场目标,精确 MAP。
k 从 1 到 10,规则 A 的拒答从 4.6% 涨到 29.4%,涨了 6 倍;阈值规则一直是 0.7%。同时,无目标表达式上说对“不在”的比例也从 85.4% 涨到 96.6%:规则 A 不是变“准”了,只是整体往“不在”那边挪了。
在现成的模型上:幻觉是一个设置
受控实验是为了看清机制,四种坐标写法是我们自己造的。现成的 VLM 上是什么样子?我们拿四个常用的开源模型(Qwen3.5-4B、Qwen3-VL-4B、Qwen2.5-VL-7B、InternVL3.5-8B),在 1,993 个问题上(RefCOCO val 的 1,000 个在场目标,gRefCOCO val 的 993 个无目标表达式)换着设置跑:三种都明确允许说“没有”的提示词(不在就答 none;JSON 里填 null;点坐标答 [-1, -1]),三种坐标格式(0–1000 整数、0–1 小数、像素),六种解码方式:贪心(vLLM 和 Hugging Face 各一种,最多差 1.3 个点)、采样、beam、按长度归一的 beam、思考模式(Qwen2.5-VL-7B 和 InternVL3.5-8B 只跑了贪心和采样)。0–1 小数,以及除 Qwen2.5-VL-7B 以外的像素坐标,输出大多不合规,没有画。下图是剩下 49 个输出合规的设置,每个点是一个设置:
每个点是一个模型 × 提示词 × 坐标格式 × 解码器,误拒为 0 的画在 0.1%;Glance 的线是同一批题上的全部阈值。Glance 训练时见过 gRefCOCO train 的无目标表达式,其他模型没有。
三个 Qwen 模型的点几乎都是上下散开的:在场的目标几乎没人拒(都在 5% 以内,InternVL 是例外),差别全在“不在的东西被画上框”。49 个设置里,这个比例从 16.9% 到 92.2%,同一个 Qwen 模型内部就差 50–60 个点。两个例子:Qwen3-VL-4B 贪心解码,提示词说“不在就答 none”时画框 58.0%,换成点坐标 85.1%,换成 JSON 86.5%;Qwen3.5-4B 用 JSON 提示词,贪心解码画框 84.1%,beam-4 降到 30.1%(代价是在场目标的误拒从 0 升到 4.7%)。
解码器那一半,就是上面那场选举:beam 搜的是整串概率最高的答案,把 Qwen3.5-4B 的画框从 84% 压到 30%。提示词那一半是另一件事:它改变的是模型在决策那一步把多少概率给“不在”。Qwen3.5-4B 和 Qwen2.5-VL-7B 用 JSON 时,这一步的概率几乎不再区分在不在(见下一段);Qwen3-VL-4B 仍分得开(AUROC 0.89–0.91),但“不在”整体拿到的概率太低,贪心照样画了 86.5% 的框。两件事都和模型“看没看见”无关。一个模型“会不会幻觉”,在这里不是它的性质,而是你选的那一档设置。
公平地说,生成式模型自己也有一个不错的旋钮,前提有两个:你拿得到决策那一步的 token 概率,并且提示词没有把它搅乱。这时读这一步“拒答”的概率当分数,三个 Qwen 模型在“不在就答 none”的提示词下 AUROC 有 0.93–0.95。可换成 JSON 提示词,Qwen3.5-4B 和 Qwen2.5-VL-7B 的这个分数只剩 0.62–0.69。Glance 在同一批题上是 0.985(它在训练时见过这类负样本):误拒 1% 的在场目标时,它只给 18% 的不在目标画框,生成式模型最好的旋钮是 34%。所以 Glance 的优势不只在于概率更好,还在于三件事:不怕提示词怎么写,不需要读 logprob,框和概率在同一次前向里一起出来。
为什么要在意
- 对 agent: 用生成式模型当眼睛时,它会不会去点一个不存在的按钮,是你的配置的性质:提示词怎么写、坐标用什么格式、beam 开多宽、要不要长度归一化。换一个提示词模板,或者推理库默认的解码参数,幻觉率可能差五六十个点,而模型一个参数都没变。拿不到 logprob 时,设置只能一档一档地换;Glance 的概率可以连续地拧,而且不挑提示词。
- 对评测: 两个模型在“不在”类题目上比幻觉率或拒答率,如果没有把提示词、坐标格式和解码规则固定住,比的其实是设置。别人的评测里也能看到这一点:RefBench-PRO[9] 里,生成式模型对属性对不上的描述只拒掉 3–25%,把同样的题改成是否题问,拒答升到约 47–64%。
- 对 Glance: 门控给出的就是一个数,阈值由用的人定。下一节讲怎么定。
两个旋钮,一条决策规则
受控实验里,同底座、同数据训练的生成式头在“在不在”上和门控一样准,所以门控的价值不在“看得更准”。它的价值在于把两件事都交成了校准过的概率:在不在,和框准不准。有了这两个数,就能按代价算出该不该回答。
先看第二个旋钮。框头还给出 P(IoU ≥ 0.5),它在在场目标上分辨“框对了”和“框错了”的 AUROC 是 91.6;生成式头不管用哪种分数(整串概率、按长度归一的概率、none 和最佳框的差),最多 79.7。生成式模型很确定一个框“在”,却说不清这个框画得对不对。
再看规则。假设拒答一个在场目标的代价是 1,画出一个根本不存在的框也是 1,画了框但框错了是 c_W。期望代价最小的做法是:
c_W 越大,“框准”的要求越高。c_W = 5 时,P(框准) 低于 0.8,再确定东西在也应该拒答;只看“在不在”的规则(下图的水平虚线)做不到这一点。
阴影是 c_W = 5 时应当回答的区域。
在受控实验的模型上(gRefCOCO val 加 RefCOCO val,45% 的表达式“不在”),Glance 和数字头用同样的方法校准、套同一条规则,不在评测集上调任何阈值:
代价 ×100,拒答和幻觉的代价都是 1;受控实验的门控模型和数字头,同样校准。
框错不要钱的时候(c_W = 0),三者打平,生成式头还略好一点(6.95 对 7.06,置信区间包含 0)。框错的代价越高,第二个旋钮省得越多:c_W = 5 时,Glance 每题的期望代价是 14.06,只看“在不在”是 18.38,少付 24%;同样校准过、同样用两个分数的生成式头是 18.74,少付 25%。生成式头的第二个分数几乎帮不上忙(18.74 对只用一个分数的 19.51),因为它的“框准不准”本来就分不清。换一个更接近训练分布的场景(25% 的问题“不在”),阈值在训练分布的校准集上调,两个旋钮相对只看“在不在”在 c_W = 1、2、5 时少付 4%、13%、33%。
让概率说实话:一个不用训练的修补
两个旋钮要直接当阈值用,概率得是准的。v1 出厂时,框置信度在 RefCOCO 系列 8 个划分上的 ECE 是 1.8–5.0%。一个原因是先验变了:训练时自然图像的问题里近三成“不在”,RefCOCO 里一个都没有,模型总是把“不在”估得偏多。
修补不需要重训。先用训练分布里留出的数据做 Platt 缩放;再用 EM,从没有标注的模型输出里估计部署时“在”的比例(RefCOCO 上估出 0.999),按它把 logit 平移回来。8 个划分上的 ECE 都降到 0.6–1.6%。gRefCOCO val 本来就有三分之一以上的表达式“不在”,先验离训练时不远,收获小一些(3.8% → 3.2%)。
把概率变成保证
校准好的分数可以变成一个带统计保证的开关:在一半图上定阈值,保证在另一半图上,回答了的题里错答率不超过 5%(置信度 90%)。能回答多少题,叫覆盖率。错答包括框了不存在的东西、框错和点错。只用 P(在) 当分数,和乘上 P(框准) 之后比:
v1;在一半图上校准阈值,另一半图上统计,重复多次取平均;名义置信度 90%。
在 gRefCOCO 和 ScreenSpot-v2 上,只靠“在不在”几乎认证不出能放心回答的题:框错的那部分错误,P(在) 看不见。加上第二个旋钮,同样 5% 的错答率下能回答四成到五成(更难的 gRefCOCO testB 上仍认证不出)。在 VenusBench 这样的难 GUI 集上,两种分数都还认证不出任何覆盖率,GUI 上的“不在”还不够准,后面会讲。
意外二:让“不在”可信的,是数据,不是规模
上面的受控实验还给了一个顺带的结论:幻觉主要由训练数据里负样本的比例决定,和输出头关系不大。 把训练时“不在”的问题从 25% 降到 5%,三种读法在无目标表达式上画出框的比例都升了 11 个点左右,门控也一样。
空心点:5% 的模型按训练先验平移 logit 之后。
先验变了,可以事后平移 logit 修正(图里的空心点):门控从 35.7% 修到 27.3%,数字头用 P(none) 的阈值做同样的修正是 24.6%,门控并没有更好;贪心解码没有阈值可平移。这把我们推回到了数据。
第一版(v0)只在 COCO 系列上训练:RefCOCO、RefCOCO+、RefCOCOg,gRefCOCO[10] 里的无目标表达式,再从别的图里借来一些描述当负样本。24,462 张图、355,385 个问题。框很准,8 个 RefCOCO 评测集平均 Acc@0.5 是 92.8。可它对真正难的负样本过于自信:gRefCOCO 的无目标表达式是“图里有狗,但没有‘左边那只白狗’”这种,v0 能说对“不在”的只有 77.0%。
同样的数据换到 Qwen3.8-27B 上再训一遍,框更准了(平均 94.1),“不在”几乎没动。让它动起来的是 v1 换的数据:加入 GUI 截图、PixMo 的指点和计数,并刻意构造难负样本,也就是同一张图里存在、但不符合描述的东西(GUI 里是同一类软件里、这一屏上没有的按钮名字)。
| 模型 | N-acc | AUROC | ECE |
|---|---|---|---|
| v0 4B | 77.0 | 0.964 | 0.075 |
| v0 27B | 77.5 | 0.968 | 0.074 |
| v1 4B | 87.4 | 0.979 | 0.024 |
N-acc 是 gRefCOCO val 无目标表达式上说对“不在”的比例;AUROC 和 ECE 衡量存在门控,算在 gRefCOCO val 加 RefCOCO val 共 25,063 个表达式上。27B 换的是 Qwen3.8-27B,规模和底座版本是同时变的。
GUI 上也是同一个故事。v0 在 COCO 上训完,拿去测 ScreenSpot-v2[11] 只有 28.6,生成式底座是 93.4。一开始我们怀疑是分辨率:v0 最多用 640 个视觉 token。可在 ScreenSpot-Pro[12] 上把 v0 的视觉 token 提到 4,000,它也只从 0.9% 升到 1.8%。新加的头只见过自然图像里的物体,分辨率不是主因。v1 加了 GUI 截图之后,ScreenSpot-v2 回到 89.4。
我们不小心教会了它一条捷径
v1 在标准评测上很好看,问题出在人换一种说法的时候。我们给验证集里的每个目标写了好几种说法:原句、中文、改写、只说用途(“能盛热饮的东西”)、只说上位词(“那个电器”),每种说法都配一个核实过“不在”的版本。原句、中文和改写都没问题;只说用途和只说上位词时,v1 把 19% 的在场目标说成“不在”,生成式底座只有 3–8%。在另一套独立写的说法上,靠关系来描述的模糊说法(“桌子旁边那个”)被误判的更多,达到 40%。
原因在 v1 的负样本里。“简单负样本”是从别的图借来的描述,借的条件是它的类别不在这张图里;难负样本多是同一个类别改了颜色。两种负样本都只差一个词:一个类别名,或者一个颜色词。模型学到的是一条捷径:句子里只要有一个关键词在画面上找不到对应,就说不在。一句不提类别名的话,在它看来恰好有一处对不上:找不到那个名词。
例子取自 v1 的两种负样本。
一个旁证:同一个 v1,对核实过“不在”的用途描述,99.2% 都说对了。它不是在判断东西在不在,而是在判断句子里有没有它认识的名词。
修法就是把这条捷径堵上:训练时加入用途说法和上位词说法,每一种都配一个核实过的“不在”的版本,没有名词这件事就不再泄露答案;再加一个一致性损失,把同一个目标的几种说法的门控和框拉到一起。
Acc@0.5,P(在) ≥ 0.5 才算;“新句”只统计训练里从未出现过的原句。
只说用途时,框对的比例从 59.2% 升到 83.3%,被误说“不在”从 19.2% 降到 3.0%;只说上位词时从 43.5% 升到 69.8%,误说“不在”从 19.0% 降到 2.2%。同一个目标的所有说法全答对的比例,从 24.3% 升到 63.0%。修复后的模型超过了生成式底座。这不是白来的:“不在”上少了 2–4 个点(gRefCOCO 的 N-acc 从 87.3 降到 85.2),但对“不在”的用途描述仍然 98.7% 说对,而生成式底座对“不在”的描述只说对 63.5%。在训练里从没见过的句子上,提升几乎一样大。RefCOCO、GUI 和 OpenDecisions 上的成绩和对照组持平。只训输出头、冻住 LoRA,只能修回一部分(只说用途 65.0%),捷径长在底座的表示里,不只在头上。
一份 183 万题的体检
修好一条捷径,自然要问还有几条。组里的同学做了一份大得多的数据,Glance-Data:24,406 张 COCO 图,183 万个问题。每个答案都由规则从标注里算出来(框、数量、在不在都是精确的),大模型只负责把句子写得像人说的话;人工抽检 112 题,101 题无误。它附带一个 300 张图、23,578 题的诊断集,中英文各一半,正好给 v1 做一次全面体检:
英文题;“唯一物体+方位”是我们补的题(中英各 382 题)。目标在的题是 Acc@0.5(P(在) ≥ 0.5 才算);标“不在”的是说对“不在”的比例。
日常的说法,短的、长的、口语的,都在 78–82%。三处明显的短板:只说用途(44.9%,就是上一节那条捷径);关系对不上的“不在”只说对 40.7%(中文 30.1%);最奇怪的是唯一物体加方位词,只有 24.6%。
最后这一条,我们在 COCO 的图上单独验证过:图里只有一只猫,问“最左边的猫”,86.5% 被说成“不在”,可框其实落在那只猫上;连“左边那只猫”这种方位正确的说法,也有 64% 被拒。原因还是数据:RefCOCO 里,方位词只在有同类干扰物时才出现,于是模型学到“说了‘最左边’,就意味着不止一只”。Glance-Data 里也缺这一类题。我们用规则补了 63,190 个“唯一物体 + 方位词”的正例,和 63,198 个“方位不对”的负例按 1:1 配平,让方位词本身不再偏向任何一个答案。
和 Jev 1.14 实测对比
Jev 的框没有公开评测,我们就自己测了一遍:通过 OpenRouter 调 Jev 1.14,题目和 Glance 完全相同,Jev 的每个框问题都按它文档的建议并行加一个是否题。约 2.2 万个请求,没有一个失败,花了 11 美元。
| 同一批题 | Jev 1.14 | Glance v1 |
|---|---|---|
| 框准不准:RefCOCO 系列 8 个划分平均 Acc@0.5 | 73.0 | 90.8 |
| 目标不在时说对“不在”(gRefCOCO,8,905 题) | 87.4 | 87.4 |
| 只误伤 1% 在场目标时,还能说对多少“不在” | 72.5 | 84.5 |
| “在不在”的概率准不准(ECE,越低越好) | 15.5 | 2.4 |
| 自己知不知道框错了(AUROC,RefCOCO val) | 75.7 | 90.1 |
| GUI 上“在不在”分得开吗(VenusBench AUROC) | 90.2 | 73.8 |
| 描述里的数量不对时,误接受的比例 | 1.3% | 14.1% |
| 只有一个物体时,“最左边的 X”被说成不在 | 38% | 86% |
| GUI 点击:ScreenSpot-v2 | 89.7 | 89.4 |
| 文本决策:OpenDecisions capability | 80.9 | 67.7 |
| 延迟:一张图问 1 / 8 / 32 个问题 | 180 / 212 / 380 ms | 43 / 45 / 61 ms |
在自然图像上,能说出“不在”的比例两边一样,差别在代价:要让“不在”几乎不误伤在场的东西,Jev 只剩七成,Glance 还有八成半;Jev 给的概率偏差较大(ECE 15.5),拿来设阈值前得先自己校准。框本身准了 18 个点,并且 Glance 知道自己什么时候框错了。反过来,Jev 有三处明显更强:GUI 截图上的“在不在”、描述里的数量、单个物体上的方位词,后两处正是 Glance-Data 体检出来、v1.2 在补的地方;文本决策更是它的主场。Jev 问得越多越慢,Glance 几乎不变;Jev 的延迟经 OpenRouter 的公网 API 测得,含网络开销(一个几乎空的请求就要 127 ms),Glance 是本地 GPU 上的纯前向,所以这一行只看趋势。
按官方协议:GREC 和 VenusBench
前面的数字多是我们自己的评测脚本。两个有官方计分规则、又专门考“不在”的基准,我们按官方协议重测了一遍。
GREC[13] 是 gRefCOCO 的检测版。规则很严:模型输出所有分数不低于 0.7 的框,一道题只有在这些框和全部目标一一对上时才算对(Pr@F1=1);没有目标的题,一个框都不能留(N-acc)。v1 的 N-acc 在 val、testA、testB 上是 91.4、85.4、81.9。val 上这比我们查到的所有已发表结果都高;testA 和 testB 上只低于 CRS(87.3、84.0),而 CRS 的 Pr 比 Glance 低得多(val 上 56.3 对 71.6)。
Glance 之外的数字取自 GREC 技术报告和 RC-GRPO 论文。
Glance 的 Pr(71.6)略低于最好的几个,原因很单纯:它每题只出一个框。单目标的题它对了 90.4%,多目标的题它一道也对不了,因为一个框永远凑不齐 F1 = 1。这是多框头要解决的事。
VenusBench-GD[14] 是一个跨手机、网页、桌面的 GUI 定位基准,其中 899 道题的目标根本不在屏幕上。按官方脚本忠实计分(说了“不在”就不再给点击),v1 的拒答题说对 81.8%,比论文表里的所有模型都高,但低于我们实测的 Jev(87.5%);可整体分只有 40.1:
| 模型 | 基础题 | 拒答题 | 整体 |
|---|---|---|---|
| Glance v1 | 42.4 | 81.8 | 40.1 |
| Glance v1.1 | 40.7 | 83.8 | 40.7 |
| Qwen3-VL-4B | 72.5 | 31.6 | 56.2 |
| Qwen3-VL-8B | 77.0 | 63.8 | 62.3 |
| UI-Venus-Ground-7B | 68.7 | 0.0 | 49.0 |
| UI-Venus-1.5-2B | 81.4 | 76.3 | 67.3 |
差距几乎都在在场题上,而且一大块是门控自己造成的:同样的点击如果不经过门控,在场题的基础分是 60.4,过了门控只剩 42.4。也就是说,在 GUI 上,Glance 太容易把在场的按钮说成“不在”。它在 GUI 上分辨“在不在”的 AUROC 是 73.8,自然图像上是 97.9。这是它眼下最大的 GUI 短板,原因和前面一样在数据:v1 的 GUI 负样本只是“同一领域里、这一屏上没有的别的按钮名字”,太容易了。作为对照,同一个底座在 GUI 上读决策 token 的拒答概率(“不在就答 none”的提示词),AUROC 是 0.73–0.78,并不比 Glance 的 0.75 差;Glance 在 GUI 上剩下的优势,是不挑提示词、不需要 logprob。
v1.1
v1.1 用同一套方法、81 万题的训练数据,重点补 GUI:
| 评测 | v1 | v1.1 |
|---|---|---|
| RefCOCO 系列 8 个划分平均 | 90.8 | 92.8 |
| gRefCOCO val N-acc | 87.4 | 86.0 |
| ScreenSpot-v2 | 89.4 | 89.2 |
| ScreenSpot-Pro 读一遍 | 29.3 | 46.8 |
| ScreenSpot-Pro 放大再看 | – | 59.9 |
| VenusBench 在场题点击(自评) | 47.3 | 55.2 |
| VenusBench 拒答题(自评) | 81.5 | 82.2 |
| VenusBench 整体(官方) | 40.1 | 40.7 |
框更准了,专业软件的截图好了很多。ScreenSpot-Pro 的两个数不能直接比:v1 读截图最多用 2,048 个视觉 token,v1.1 最多 4,096;“放大再看”是先框一次,再把框周围 40% 的区域重新读一遍。可 VenusBench 的官方整体分几乎没动:在场题点得更准了,门控还是把太多在场的按钮挡在外面。Glance-Data 的体检还发现,v1.1 在“数量不对”的题上倒退了(说对“不在”从 69.0% 降到 49.1%)。
v1.2 在做什么
v1.2 要补的,正是上面体检和这一节暴露的地方。它换用转换后的 Glance-Data(189 万题,多目标的题给出每一个目标的框),加上补的方位词正例,配一个能输出多个框的头。我们给它定的目标:唯一物体加方位词被误拒的比例从 64% 降到 10% 以下,方位真的不对时误接受仍低于 5%;用途和关系说法要稳;数量对不上时要敢说“不在”。
拿到视频上
一个会说“不在”的框,放到视频上就是一条时间曲线:每隔几秒取一帧,问“兔子在不在”“有没有蝴蝶”,P(t) 越过阈值的地方就是它出现的时间段,连起来的段数就是次数。下面是 Big Buck Bunny 的前 8 分钟(0–476 秒),每 4 秒一帧,共 120 帧。每帧在一次前向里同时问 5 个问题,4 个框问题、1 个是否问题,图里画出 4 个框问题。“飞鼠”指片中的飞鼠 Frank,不含另外两只啮齿动物。曲线下的灰条是我们逐帧看图标出的“在”。拖动曲线看任意一帧:
视频 © 2008 Blender Foundation,www.bigbuckbunny.org,CC BY 3.0(https://creativecommons.org/licenses/by/3.0/),帧经过缩放。
在 0.5 的阈值上,它和人工标注的一致率是兔子 111/113、飞鼠 111/115、蝴蝶 115/118,“红色汽车”在 120 帧里一次都没有说在。看不清的帧没有计入;标注时我们看得到模型的输出,所以这个一致率偏乐观。有些“错”其实是我们没看见:片头 0:28 那一帧,模型说有蝴蝶(0.99),放大才发现标题字母上真停着一只。
逐帧扫描是“很多张图、每张问几个问题”的用法,也就是前面说的 prefill 占大头的情形,Glance 在这里没有速度优势;它给的是每一帧一个校准过的“在不在”。不过这是一个物体检测器在逐帧回答,而视频 agent 真正卡住的地方,比这更难。
意外三:视频 agent 输在“看”
为了知道 Glance 作为工具该补什么,我们先读了 Video-Index[15] v1.1 上 21 个 agent 公开的运行记录(144 题)。我们从最强的四个 agent(Opus 5.5、Opus 5、Gemini 4 Argon、GPT-6-Astra)的错误或无答案运行里,按 agent × 能力组分层抽样,每格 3 个,共 48 个,按事先定好的规则逐条标注。感知类(前三行)合计 27 个,占 56%,95% 置信区间 42%–69%;只有一个人标注,所以区间偏乐观。
| 类型 | 占比 | 个数 |
|---|---|---|
| 看错了 | 43.8% | 21 |
| 没看到 | 10.4% | 5 |
| 时间段找错 | 2.1% | 1 |
| 推理或知识 | 16.7% | 8 |
| 超时或框架错误 | 14.6% | 7 |
| 答案可疑 | 12.5% | 6 |
推理错误只有 8 个。最多的是看错了:找对了场景,却把颜色认错、把次数数错、把方向看反。下面两个例子里,答案取自各 agent 自己的输出,备注是我们读轨迹时写的。Video-Index 的视频只允许用于评测,所以这里不放任何画面。
ALLVB_2121电影 · 87 分钟 · 感知看错了
… a woman is seen tending to a wounded person and later crawling through the muddy terrain while holding a gun. … What is the color of the woman's shirt in the scene?
- 答案
- ✓(E) Purple
- Claude Opus 5.5
- ✗(B) Red
- 备注
- ·找到了对的场景,把栗色(maroon)说成了红色;21 个 agent 里 9 个选了 Red
ALLVB_429电影 · 132 分钟 · 空间没看到
What is the movement path of the prescription Elizabeth receives from her doctor?
- 答案
- ✓(C) From the doctor's hand to the trash can outside the office
- Claude Opus 5
- ✗(B) From the doctor's hand to Elizabeth's purse
- 备注
- ·翻了 1,100 张镜头缩略图,没找到处方被扔掉的那一刻,结论是医生从没出现在画面上
Video-Index v1.1 的公开轨迹。
“没看到”和“看错了”的边界,要把 agent 看过哪里画出来才分得清。下面这道计数题是一段 319 秒的第一人称视频,问“我指了乐高盒子几次?”,答案 5 次,21 个 agent 里只有 4 个答对。Gemini 4 Argon 数出 3 次。
数据集没有逐次的时间标注,图里编号的 5 个时刻,是答对的 GPT-6-Astra 自己写的“around 129, 132, 134, 232, and 249 seconds”;黑框是 Argon 自己写下的 3 段指向。色带按轨迹里每条抽帧命令的时间范围和帧率画出;Codex 的轨迹不记录看图事件,所以 Astra 那一行是“抽出来的帧”,不一定都看过。把这些叠在一起,漏掉的两次都落在 Argon 用 6 帧/秒细看过的窗口里:它看到了,只是没数对。这正是逐段问“这一刻在不在指”的 P(t) 能直接回答的问题。
S-EMBER_7291。只用时间,不含任何画面。
我们做过一个逐帧的版本给 agent 调用,它暴露的正是逐帧的局限:“一只手从盒子里抽出湿巾”这种动作,只要手和盒子同时在画面里,逐帧的检测器就会说“在”,于是一道答案是 5 次的计数题,它数出了 64 次。所以 Glance 作为视频工具该补的,是 agent 最常出错的那几种感知:数清次数、确认某个东西在不在某一段里、指出它在哪,而动作要在一小段视频上判断,不能只看一帧。
逐帧打分,在这套题上是反着的
我们还试过一件更直接的事:不要 agent,只让 Glance 自己答题。均匀取 32 帧,每一帧单独回答那道选择题,把各帧给每个选项的概率平均,选最高的。在 Video-Index v1.1 的 144 题上,它只答对 2.1%,随机猜是 24.8%。反过来选概率最低的选项,答对 66.7%。
这不是程序错误。我们用合成视频核对过整条链路(63 题全对),把选项顺序倒过来,偏好跟着选项的内容走,不跟字母和位置走。原因在于这套题是怎么挑出来的:Video-Index 的候选题要过一道筛,凡是逐帧模型能有把握答对的题(只看一帧,或者看 32 帧、打乱的 32 帧,或者只看文字),都被去掉;剩下的再按“逐帧模型给正确答案的概率有多低”从难到易排序发布。所以按这个构造,逐帧模型偏爱的选项多半是错的。
Glance v1,32 帧均匀采样,每帧单独回答。v1.0 是随机 155 题。
v1.0 是筛选后直接发布的那一批,现象一样:随机 155 题里,选最高 3.2%,选最低 69.0%,随机 30.0%。直接读整段视频的 Qwen3.5-4B 也一样反着(选最高只对 3–5/144,选最低 53–59%),所以这不是“只看单帧”的问题,而是这类模型共同的偏好被筛掉了。这是一个经过对抗筛选的基准应有的性质,不是缺陷:它正好留下了逐帧感知会被误导的那些题。只是要用它评价一个逐帧打分的工具时,得先知道这一点,并且另找没有经过这道筛的题做对照。
读这些记录时还顺带发现两件和“看”无关的事:v1.1 有 41.0% 的题答案是最后一个选项,“永远选最后一个”放进 21 个 agent 的榜单里能排第 5;Codex 的 52 次 technical_error 里有 51 次已经写好了答案,其中 24 个是对的,算上它们 GPT-6-Astra 会从 35.4 升到 41.0。比较 v1.1 上的结果时,这两点都值得先校正。
还会出错的地方
Glance 还会出错,而且错得很有规律。每一类我们都知道原因,也都有对应的修法。
换一种说法,答案可能翻转。 在一张干净的图上,怎么问都对;换到伞下那张摆满东西的晚饭桌上,“ketchup”是 0.976,“the ketchup bottle”只有 0.362,“something to drink”在一桌子杯子和瓶子前面说“不在”(0.135)。最要紧的是软件界面:“导出按钮”稳稳地框对了,可换成“把图存成 PNG 的那个按钮”,它说不在(0.11);问“能保住我的修改的那个按钮”,它很有把握地(0.93)框住了“Don't Save”。下图里,每张图的所有说法都在一次前向里一起问,竖线是 0.5 的阈值;没过线的说法,框画成虚线,标签写“它说不在”。
照片:Walter Lim,“Ice capuccino and durian durian cake for #tea”;Peter Moons,“Dinner under the umbrella.”,均为 CC BY 2.0(COCO val2017)。界面:Glance 仓库的 examples/gui_mock.html,Apache-2.0。
中文和英文、“甜点”和“dessert”在这几张图上都没问题;出问题的是按用途来描述的说法,而 agent 收到的指令恰恰常常是这种:“把图存下来”,而不是“点 Export”。这正是前面那条名词捷径,修法也在前面。
靠关系描述的“不在”。 “笔记本电脑旁边的杯子”,可杯子在别处:这种关系对不上的题,v1 只说对 41%(中文 30%)。它认得出杯子,却不太核对“旁边”。
多个目标,只有一个框。 “两个穿红衣服的人”,它会框住其中一个(在 gRefCOCO 的多目标题上,73.6% 能框中其中之一),可框住全部的只有 41.3%。这是单框头的天花板,GREC 上多目标题一道都对不了也是这个原因。
GUI 上太容易说“不在”。 VenusBench 上门控挡掉了 18 个点的在场题,GUI 上“在不在”的 AUROC 只有 73.8。
还有一笔明面上的交换:v1 拿一部分框的精度换来了 GUI 能力和可信的“不在”,RefCOCO val 从 95.0 降到 93.2,多目标表达式被误说“不在”的比例从 1.2% 升到 5.1%;v1.1 又把框的精度补了回来。
接下来
- v1.2。 在 Glance-Data 上重训,补上方位词、数量和关系这几类题。
- 多框头。 在中心 patch 的分布旁边,加一个逐 patch 的“这里有一个目标”的头:峰的个数就是数量,每个峰各用一次现有的四条边。同一次前向里顺带问一句“这个描述是不是指不止一个东西”,零样本就已经有 0.89 的 AUROC,可以当第三个旋钮:在不在、框准不准、是不是只有一个。
- Glance-Video。 不是逐帧问物体,而是在几秒长的小段上回答“这个动作发生了吗”,并且能数状态的变化。那道数出 64 次的计数题,就是它要过的第一关。
- 一句话,问 N 个片段。 视频 agent 最需要的工具,是拿一句话把整段视频扫一遍,告诉它“在 3:12”,或者有把握地告诉它“这两小时里没有”。
示意,曲线不是实测。
难点不在前向,而在“全程都没有”这句话。就算每一段的误报只有 1%,各段独立时,64 段里至少误报一次的概率约 47%,256 段时约 92%。只要有一段误报,“全程都没有”就说不出口。所以要在片段集合的层面校准:对所有片段里最高的那个概率定阈值,把“明明没有却说有”的概率控制在 α 以内。这样,视频里真的没有时,它能以 1 − α 的把握说出“全程都没有”,而不会被某一段的误报打断。我们的目标是一次前向在 100 ms 以内,给出一条 P(t) 曲线和一个校准过的“全程都没有”。
开放。 代码在 Vision-Decision/Glance(Apache-2.0),4B 的预览权重(就是文中的 v1)在 Hugging Face 的 Vision-Decision/Glance-4B-preview(CC BY-NC 4.0,训练数据里的 gRefCOCO 只限非商用),一行 pip install 就能在 CUDA、Apple 芯片或 CPU 上跑起来。
回头看,最有价值的不是哪个分数,而是三次“和预想的不一样”:生成式模型在“不在”上并不差,它会不会幻觉是提示词和解码器替它选的一档设置;更大、更新的底座没学会说“不在”,难负样本学会了,而我们自己的负样本又悄悄教了它一条捷径;视频 agent 输在“看”,而不是“想”。每一次都把我们从“换模型、换架构”推回到“数据和接口”。
数字从哪来
- 延迟都在一张 RTX PRO 6000 上测(另有一组在 L4 上),先空跑一轮,再取 50 次调用的中位数(L4 上 20 次);两边都从缩放好的图算到拿到全部答案,含图像预处理,不含 JPEG 解码。Jev 的延迟是经 OpenRouter 测的,含网络。
- 页面上的交互图都是 Glance-4B-preview 事先跑好的真实输出,页面上只做筛选和插值。
- 标“官方”的是基准作者的计分脚本,其余是我们自己的评测脚本;所有阈值和温度都在训练分布的留出数据上定,不碰评测集。
参考资料
- ↑ Qwen Team (2026). Qwen3.5: Towards Native Multimodal Agents. Qwen blog, February 2026.
- ↑ Almeida, D. (2026). Introducing System One Models & Jev. TypeSafe AI blog, September 2026.
- ↑ TypeSafe AI (2026). Jev 1.14. TypeSafe AI blog, October 2026. Box 题型的说明见 TypeSafe 文档。
- ↑ Wu, Q., Cheng, K., Yang, R., et al. (2025). GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents. Advances in Neural Information Processing Systems 38 (NeurIPS 2025).
- ↑ Li, X., Wang, W., Wu, L., et al. (2020). Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection. Advances in Neural Information Processing Systems 33 (NeurIPS 2020).
- ↑ Carion, N., Gustafson, L., Hu, Y.-T., et al. (2026). SAM 3: Segment Anything with Concepts. International Conference on Learning Representations (ICLR 2026).
- ↑ Song, X., & Bahri, D. (2025). Decoding-based Regression. Transactions on Machine Learning Research.
- ↑ Holtzman, A., West, P., Shwartz, V., Choi, Y., & Zettlemoyer, L. (2021). Surface Form Competition: Why the Highest Probability Answer Isn't Always Right. Proceedings of EMNLP 2021, 7038–7051.
- ↑ Gao, T., Li, H., Fang, H., Wei, X., et al. (2025). RefBench-PRO: Perceptual and Reasoning Oriented Benchmark for Referring Expression Comprehension. arXiv preprint arXiv:2512.06276.
- ↑ Liu, C., Ding, H., & Jiang, X. (2023). GRES: Generalized Referring Expression Segmentation. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2023).
- ↑ Wu, Z., Wu, Z., Xu, F., et al. (2025). OS-ATLAS: A Foundation Action Model for Generalist GUI Agents. International Conference on Learning Representations (ICLR 2025). ScreenSpot-v2 是这篇论文修订的版本。
- ↑ Li, K., Meng, Z., Lin, H., et al. (2025). ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use. Proceedings of the 33rd ACM International Conference on Multimedia (MM '25).
- ↑ He, S., Ding, H., Liu, C., & Jiang, X. (2023). GREC: Generalized Referring Expression Comprehension. arXiv preprint arXiv:2308.16182. MLLM 的 GREC 成绩取自 Yang, X., Ling, J., Huang, T., et al. (2026). Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO. arXiv preprint arXiv:2608.04698。
- ↑ Zhou, B., Huang, Z., Guo, Y., et al. (2025). VenusBench-GD: A Comprehensive Multi-Platform GUI Benchmark for Diverse Grounding Tasks. arXiv preprint arXiv:2512.16501. UI-Venus-1.5 的成绩取自其技术报告 arXiv:2602.09082。
- ↑ Song, E., Xu, Y., Yang, S., Chai, W., & Gu, J. (2026). Video-Index: A Curated Meta-Benchmark for Video Understanding. arXiv preprint arXiv:2610.00960.




