$ capsul ベンチマーク
測った結果を、その削減の代償ごと載せています。
ここにある数値はすべて再現できる実行から出ています。区間は中央値の隣に併記し、回答チェックを 1 つ落とした行はその行に書いています。脚注ではありません。
/ベンチマーク · 2026年9月
Claude と Codex で実測。
実際に送られている量を、モデルごとに。
同じモデルに同じ5つの短い質問を、capsul ありとなしで送信。棒グラフはキャッシュで重み付けした入力の削減率です。測定は別々に実施しており、削減率はタスクやキャッシュによって変わります。
capsul が送らない入力の割合
capsul による削減それでも送られる分= claude -p
Haiku 4.5
−73 %
- claude -p
- 396 725
- capsul
- 106 491
Sonnet 5
−50 %
- claude -p
- 244 486
- capsul
- 123 370
Sonnet 4.6
−51 %
- claude -p
- 147 746
- capsul
- 72 692
Opus 4.6
−59 %
- claude -p
- 171 370
- capsul
- 70 482
Opus 4.7
−32 %
- claude -p
- 185 278
- capsul
- 126 413
Opus 4.8
−80 %
- claude -p
- 358 993
- capsul
- 70 478
Opus 5
−58 %
- claude -p
- 189 342
- capsul
- 79 166
Fable 5
−45 %
- claude -p
- 160 682
- capsul
- 88 530
Fable 5.1
−58 %
- claude -p
- 224 278
- capsul
- 95 064
方法
2 本の腕に同じモデルを強制します。素の腕は誰もがそうするようにエージェント CLI をそのまま起動し、capsul の腕は同じ質問を capsul 経由で同じモデルに送ります。別々のモデルを比べるのは、道具ではなく価格表を比べることです。
単位はキャッシュ加重入力です。新規トークンは全量、キャッシュ読み出しは 10 分の 1 で数えます。サブスクリプションで差し引かれるのは生のトークンではなく、生の計数はたまたまキャッシュが効いた側に有利に出ます。
セルはすべて残します。都合が悪いという理由で除外することはなく、各キャンペーンは実行したセル数と除外したセル数を明記します。後者はゼロです。
区間は 90 パーセントのブートストラップで求め、利得と同じ軸の上に描き、その下に ×1 の線を出しています。区間がその線をまたぐなら、その測定は何も示していません。見えるようにしてあります。
この数値が言っていないこと
- 中央値は約束ではありません。モデルごとの 9 つの中央値は ×1.47 から ×5.09 まで幅があり、同じモデルの中でもある質問で 3 倍得をし、次の質問では損をすることがあります。
- Claude 側 9 モデルのうち 3 つは、capsul を使うと 5 項目の回答チェックのうち 1 つを落とします。1 つは逆に 1 つ多く通ります。誤答と引き換えの削減は削減ではないので、その数をここに書いています。伏せてはいません。
- この測定は 1 行の短い質問で行っており、そこが利得のいちばん大きい場面です。同じ日に 10 行のプロンプトで行った別の計測は 126 セルで、×1.09 から ×3.34、うち 2 行は何も示せませんでした。長いプロンプトを書く人を表しているのはその計測であって、この表ではありません。加えて、公開したタスクのうち少なくとも 1 つは、capsul を使ったほうが加重入力を多く消費します。
- キャンペーンは互いに独立です。日付の違う数値は違うバージョンのコードで測っています。ある行は自分のキャンペーンとは比較できますが、別のキャンペーンとは必ずしも比較できません。
- これらはモデルに送られた入力を測ったものです。それがサブスクリプションの枠をどれだけ消費するかは測っていません。そこは私たちの管理できない加重に依存します。
生データ
直近のキャンペーンはプロトコルとタスクごとの数値を含む JSON で公開しています。表を鵜呑みにしたくない人は、ファイルを直接読めます。