$ capsul 基准

测出来的结果,连这份节省的代价也一并写上。

这里的每个数字都来自可复现的运行。区间就写在中位数旁边,而丢掉了一项答案校验的那几行,会写在行内,而不是塞进脚注。

/基准测试 · 2026年9月

使用 Claude 和 Codex 实测。

67%发送给模型的上下文减少量同一个问题、同一个模型。这段较短的堆叠是实测比例,不是示意图 它是下方十二个模型节省量的中位数。

真正发出去的量,逐个模型来看。

向同一模型提出相同的五个简短问题,分别使用和不使用 capsul。柱状图显示按缓存加权的输入减少比例。各轮测试独立进行,节省幅度随任务和缓存状态而变化。

capsul 不发送的输入占比

capsul 节省仍会发送的部分= claude -p

  • Haiku 5.5

    −60 %

    claude -p
    270 145
    capsul
    107 326
  • Haiku 4.5

    −69 %

    claude -p
    298 826
    capsul
    93 693
  • Sonnet 5.5

    −70 %

    claude -p
    240 175
    capsul
    71 726
  • Sonnet 5

    −63 %

    claude -p
    295 652
    capsul
    110 166
  • Sonnet 4.6

    −50 %

    claude -p
    169 531
    capsul
    85 171
  • Opus 4.6

    −64 %

    claude -p
    230 791
    capsul
    82 199
  • Opus 4.7

    −62 %

    claude -p
    257 855
    capsul
    96 722
  • Opus 4.8

    −80 %

    claude -p
    347 589
    capsul
    71 236
  • Opus 5

    −69 %

    claude -p
    303 384
    capsul
    95 151
  • Opus 5.5

    −69 %

    claude -p
    266 953
    capsul
    82 584
  • Fable 5

    −66 %

    claude -p
    264 411
    capsul
    89 855
  • Fable 5.1

    −69 %

    claude -p
    277 520
    capsul
    86 622

方法

两条臂,强制使用同一个模型。裸臂就是任何人都会用的方式直接启动代理 CLI;capsul 臂把同一个问题经由 capsul 发给同一个模型。比较两个不同的模型,比的是价目表,不是工具。

计量单位是按缓存加权的输入:新鲜 token 全额计入,缓存读取按十分之一计。在订阅制下被扣减的并不是原始 token,而原始计数会偏袒恰好缓存更好的那一臂。

每个单元格都保留。不会因为结果不好看就剔除,每次测量都注明跑了多少个单元格、剔除了多少个。在最近一次 Claude 测量中,第二个数字是零:360 个单元格全部测得。

每个问题在每条臂上各问三次,取三次运行的平均值。第一次运行写入提示词缓存,后两次读取它,所以若取中位数,三次里有两次留下的会是缓存已热的那一次,每一项增益都会被美化。平均值是更保守的数字,公布的也正是它。

区间由 90% 自助法得到,与增益画在同一根轴上,下方标出 ×1 的横线。区间跨过这条线,就意味着这次测量什么也没能证明,它就是要被看见。

这些数字没有说的事

  • 中位数不是承诺。十二个模型各自的增益从 ×1.99 到 ×4.88,居中的是 ×3.06;而在同一个模型内部,增益也随问题而变:在 Opus 4.8 上,一项任务是 ×2.44,另一项是 ×8.64。
  • 十二个 Claude 模型在用 capsul 时都没有丢掉答案校验;另有六个至少多得到一项:Haiku 4.5 多得两项,Haiku 5.5、Opus 4.6、Opus 4.8、Opus 5.5 和 Fable 5.1 各多得一项。用错误答案换来的节省不是节省,所以这个数字写在这里,而不是被略去。
  • 这套测量用的是一行以内的短问题,也正是增益最大的场景。更早一次用十行提示词的测量在 2026 年 9 月 4 日进行,共 126 个单元格,结果是 ×1.09 到 ×3.34,其中两行什么也没能证明。如果你写的是长提示词,描述你的是那一次测量,而不是这张表。此外,有一项已公布的任务增益几乎为零:Sonnet 4.6 上是 ×1.05。
  • 各次测量彼此独立。不同日期的数字是在不同版本的代码上测的:一行只与自己那次测量可比,未必与另一次可比。
  • 这些数字衡量的是发送给模型的输入,而不是它折算成多少订阅额度,后者取决于我们无法左右的加权方式。

原始数据

最近一次测量以 JSON 公布,含协议与逐项任务的数字。不愿只听我们说的人,可以直接读文件。

下载数据集(JSON) ↓

阅读指南 →