$ capsul 基准
测出来的结果,连这份节省的代价也一并写上。
这里的每个数字都来自可复现的运行。区间就写在中位数旁边,而丢掉了一项答案校验的那几行,会写在行内,而不是塞进脚注。
/基准测试 · 2026年9月
使用 Claude 和 Codex 实测。
真正发出去的量,逐个模型来看。
向同一模型提出相同的五个简短问题,分别使用和不使用 capsul。柱状图显示按缓存加权的输入减少比例。各轮测试独立进行,节省幅度随任务和缓存状态而变化。
capsul 不发送的输入占比
capsul 节省仍会发送的部分= claude -p
Haiku 5.5
−60 %
- claude -p
- 270 145
- capsul
- 107 326
Haiku 4.5
−69 %
- claude -p
- 298 826
- capsul
- 93 693
Sonnet 5.5
−70 %
- claude -p
- 240 175
- capsul
- 71 726
Sonnet 5
−63 %
- claude -p
- 295 652
- capsul
- 110 166
Sonnet 4.6
−50 %
- claude -p
- 169 531
- capsul
- 85 171
Opus 4.6
−64 %
- claude -p
- 230 791
- capsul
- 82 199
Opus 4.7
−62 %
- claude -p
- 257 855
- capsul
- 96 722
Opus 4.8
−80 %
- claude -p
- 347 589
- capsul
- 71 236
Opus 5
−69 %
- claude -p
- 303 384
- capsul
- 95 151
Opus 5.5
−69 %
- claude -p
- 266 953
- capsul
- 82 584
Fable 5
−66 %
- claude -p
- 264 411
- capsul
- 89 855
Fable 5.1
−69 %
- claude -p
- 277 520
- capsul
- 86 622
方法
两条臂,强制使用同一个模型。裸臂就是任何人都会用的方式直接启动代理 CLI;capsul 臂把同一个问题经由 capsul 发给同一个模型。比较两个不同的模型,比的是价目表,不是工具。
计量单位是按缓存加权的输入:新鲜 token 全额计入,缓存读取按十分之一计。在订阅制下被扣减的并不是原始 token,而原始计数会偏袒恰好缓存更好的那一臂。
每个单元格都保留。不会因为结果不好看就剔除,每次测量都注明跑了多少个单元格、剔除了多少个。在最近一次 Claude 测量中,第二个数字是零:360 个单元格全部测得。
每个问题在每条臂上各问三次,取三次运行的平均值。第一次运行写入提示词缓存,后两次读取它,所以若取中位数,三次里有两次留下的会是缓存已热的那一次,每一项增益都会被美化。平均值是更保守的数字,公布的也正是它。
区间由 90% 自助法得到,与增益画在同一根轴上,下方标出 ×1 的横线。区间跨过这条线,就意味着这次测量什么也没能证明,它就是要被看见。
这些数字没有说的事
- 中位数不是承诺。十二个模型各自的增益从 ×1.99 到 ×4.88,居中的是 ×3.06;而在同一个模型内部,增益也随问题而变:在 Opus 4.8 上,一项任务是 ×2.44,另一项是 ×8.64。
- 十二个 Claude 模型在用 capsul 时都没有丢掉答案校验;另有六个至少多得到一项:Haiku 4.5 多得两项,Haiku 5.5、Opus 4.6、Opus 4.8、Opus 5.5 和 Fable 5.1 各多得一项。用错误答案换来的节省不是节省,所以这个数字写在这里,而不是被略去。
- 这套测量用的是一行以内的短问题,也正是增益最大的场景。更早一次用十行提示词的测量在 2026 年 9 月 4 日进行,共 126 个单元格,结果是 ×1.09 到 ×3.34,其中两行什么也没能证明。如果你写的是长提示词,描述你的是那一次测量,而不是这张表。此外,有一项已公布的任务增益几乎为零:Sonnet 4.6 上是 ×1.05。
- 各次测量彼此独立。不同日期的数字是在不同版本的代码上测的:一行只与自己那次测量可比,未必与另一次可比。
- 这些数字衡量的是发送给模型的输入,而不是它折算成多少订阅额度,后者取决于我们无法左右的加权方式。
原始数据
最近一次测量以 JSON 公布,含协议与逐项任务的数字。不愿只听我们说的人,可以直接读文件。