$ capsul ベンチマーク
測った結果を、その削減の代償ごと載せています。
ここにある数値はすべて再現できる実行から出ています。区間は中央値の隣に併記し、回答チェックを 1 つ落とした行はその行に書いています。脚注ではありません。
/ベンチマーク · 2026年9月
Claude と Codex で実測。
実際に送られている量を、モデルごとに。
同じモデルに同じ5つの短い質問を、capsul ありとなしで送信。棒グラフはキャッシュで重み付けした入力の削減率です。測定は別々に実施しており、削減率はタスクやキャッシュによって変わります。
capsul が送らない入力の割合
capsul による削減それでも送られる分= claude -p
Haiku 5.5
−60 %
- claude -p
- 270 145
- capsul
- 107 326
Haiku 4.5
−69 %
- claude -p
- 298 826
- capsul
- 93 693
Sonnet 5.5
−70 %
- claude -p
- 240 175
- capsul
- 71 726
Sonnet 5
−63 %
- claude -p
- 295 652
- capsul
- 110 166
Sonnet 4.6
−50 %
- claude -p
- 169 531
- capsul
- 85 171
Opus 4.6
−64 %
- claude -p
- 230 791
- capsul
- 82 199
Opus 4.7
−62 %
- claude -p
- 257 855
- capsul
- 96 722
Opus 4.8
−80 %
- claude -p
- 347 589
- capsul
- 71 236
Opus 5
−69 %
- claude -p
- 303 384
- capsul
- 95 151
Opus 5.5
−69 %
- claude -p
- 266 953
- capsul
- 82 584
Fable 5
−66 %
- claude -p
- 264 411
- capsul
- 89 855
Fable 5.1
−69 %
- claude -p
- 277 520
- capsul
- 86 622
方法
2 本の腕に同じモデルを強制します。素の腕は誰もがそうするようにエージェント CLI をそのまま起動し、capsul の腕は同じ質問を capsul 経由で同じモデルに送ります。別々のモデルを比べるのは、道具ではなく価格表を比べることです。
単位はキャッシュ加重入力です。新規トークンは全量、キャッシュ読み出しは 10 分の 1 で数えます。サブスクリプションで差し引かれるのは生のトークンではなく、生の計数はたまたまキャッシュが効いた側に有利に出ます。
セルはすべて残します。都合が悪いという理由で除外することはなく、各キャンペーンは実行したセル数と除外したセル数を明記します。直近の Claude キャンペーンでは、後者は 4 です。Fable の 2 つの実行が、サブスクリプションの Fable 週次上限に達した時点で止まりました。失敗したセルは隠さず、数に入れています。
各質問は腕ごとに 3 回ずつ投げ、3 回の結果を平均します。1 回目がプロンプトキャッシュを書き込み、続く 2 回はそれを読み出します。そのため中央値をとると 3 回に 2 回はキャッシュが温まった回が残り、どの利得も実際より良く見えてしまいます。平均のほうが控えめな数値であり、公開しているのはそちらです。
区間は 90 パーセントのブートストラップで求め、利得と同じ軸の上に描き、その下に ×1 の線を出しています。区間がその線をまたぐなら、その測定は何も示していません。見えるようにしてあります。
この数値が言っていないこと
- 中央値は約束ではありません。モデルごとの 12 個の利得は ×1.99 から ×4.88 まで幅があり、その真ん中は ×3.06 です。同じモデルの中でも利得は質問によって動きます。Opus 4.8 では、あるタスクで ×2.44、別のタスクで ×8.64 です。
- Claude 側 12 モデルのうち、capsul を使って回答チェックを落とすモデルはありません。逆に 6 つは少なくとも 1 つ多く通ります。Haiku 4.5 が 2 つ、Haiku 5.5、Opus 4.6、Opus 4.8、Opus 5.5、Fable 5.1 が 1 つずつです。誤答と引き換えの削減は削減ではないので、その数をここに書いています。伏せてはいません。
- この測定は 1 行の短い質問で行っており、そこが利得のいちばん大きい場面です。以前、2026 年 9 月 4 日に 10 行のプロンプトで行った別の計測は 126 セルで、×1.09 から ×3.34、うち 2 行は何も示せませんでした。長いプロンプトを書く人を表しているのはその計測であって、この表ではありません。また、公開したタスクのうち 1 つでは利得がほぼありません。Sonnet 4.6 で ×1.05 です。
- キャンペーンは互いに独立です。日付の違う数値は違うバージョンのコードで測っています。ある行は自分のキャンペーンとは比較できますが、別のキャンペーンとは必ずしも比較できません。
- これらはモデルに送られた入力を測ったものです。それがサブスクリプションの枠をどれだけ消費するかは測っていません。そこは私たちの管理できない加重に依存します。
生データ
直近のキャンペーンはプロトコルとタスクごとの数値を含む JSON で公開しています。表を鵜呑みにしたくない人は、ファイルを直接読めます。