$ capsul Benchmark
Gemessen, samt dem, was die Einsparung gekostet hat.
Jede Zahl hier stammt aus einem reproduzierbaren Lauf. Die Intervalle stehen neben den Medianen, und die Zeilen, in denen eine Antwortprüfung verloren ging, sagen das in der Zeile und nicht in einer Fußnote.
/Benchmark · September 2026
Mit Claude und Codex gemessen.
Was tatsächlich über die Leitung geht, Modell für Modell.
Dieselben fünf kurzen Fragen an dasselbe Modell, mit und ohne capsul. Die Balken zeigen die Reduktion der nach Cache gewichteten Eingabe. Die Messreihen sind getrennt; die Ersparnis hängt von Aufgabe und Cache ab.
Anteil der Eingabe, den capsul nicht sendet
von capsul gesparttrotzdem gesendet= claude -p
Haiku 5.5
−60 %
- claude -p
- 270 145
- capsul
- 107 326
Haiku 4.5
−69 %
- claude -p
- 298 826
- capsul
- 93 693
Sonnet 5.5
−70 %
- claude -p
- 240 175
- capsul
- 71 726
Sonnet 5
−63 %
- claude -p
- 295 652
- capsul
- 110 166
Sonnet 4.6
−50 %
- claude -p
- 169 531
- capsul
- 85 171
Opus 4.6
−64 %
- claude -p
- 230 791
- capsul
- 82 199
Opus 4.7
−62 %
- claude -p
- 257 855
- capsul
- 96 722
Opus 4.8
−80 %
- claude -p
- 347 589
- capsul
- 71 236
Opus 5
−69 %
- claude -p
- 303 384
- capsul
- 95 151
Opus 5.5
−69 %
- claude -p
- 266 953
- capsul
- 82 584
Fable 5
−66 %
- claude -p
- 264 411
- capsul
- 89 855
Fable 5.1
−69 %
- claude -p
- 277 520
- capsul
- 86 622
Methode
Zwei Arme, beiden dasselbe Modell vorgegeben. Der nackte Arm startet die Agenten-CLI so, wie jede und jeder sie startet; der capsul-Arm schickt dieselbe Frage über capsul an dasselbe Modell. Zwei verschiedene Modelle zu vergleichen hieße, Preislisten zu vergleichen, nicht Werkzeuge.
Die Einheit ist die cache-gewichtete Eingabe: frische Tokens mit vollem Gewicht, Cache-Lesevorgänge mit einem Zehntel. Bei einem Abonnement wird nicht der rohe Token abgerechnet, und eine rohe Zählung schmeichelt dem Arm, der zufällig besser cacht.
Jede Zelle bleibt erhalten. Nichts wird verworfen, weil es unbequem ist, und jede Kampagne nennt, wie viele Zellen gelaufen und wie viele verworfen wurden. In der jüngsten Claude-Kampagne ist die zweite Zahl null: Alle 360 Zellen wurden gemessen.
Jede Frage wird pro Arm dreimal gestellt, und die drei Durchgänge werden gemittelt. Der erste Durchgang schreibt den Prompt-Cache, die beiden folgenden lesen ihn; der Median würde also in zwei von drei Fällen den warmen Durchgang behalten und jedem Gewinn schmeicheln. Der Mittelwert ist die vorsichtigere Zahl, und genau er wird veröffentlicht.
Die Intervalle stammen aus einem Bootstrap bei 90 Prozent und liegen auf derselben Achse wie der Gewinn, mit der Linie bei eins darunter. Ein Intervall, das diese Linie schneidet, belegt nichts, und genau das soll man sehen.
Was diese Zahlen nicht sagen
- Ein Median ist kein Versprechen. Die zwölf Gewinne pro Modell reichen von x1,99 bis x4,88, mit x3,06 in der Mitte, und innerhalb eines Modells bewegt sich der Gewinn mit der Frage: Bei Opus 4.8 reicht er von x2,44 bei einer Aufgabe bis x8,64 bei einer anderen.
- Keines der zwölf Claude-Modelle verliert mit capsul eine Antwortprüfung, und sechs gewinnen mindestens eine hinzu: Haiku 4.5 gewinnt zwei; Haiku 5.5, Opus 4.6, Opus 4.8, Opus 5.5 und Fable 5.1 je eine. Eine mit einer falschen Antwort erkaufte Einsparung ist keine Einsparung, deshalb steht die Zahl hier und wird nicht weggelassen.
- Das Protokoll besteht aus kurzen, einzeiligen Fragen, wo der Gewinn am größten ist. Ein früherer Lauf mit zehnzeiligen Prompts, am 4. September 2026 mit 126 Zellen, ergab x1,09 bis x3,34, wobei zwei Zeilen nichts belegten. Wer lange Prompts schreibt, wird von jenem Lauf beschrieben und nicht von dieser Tabelle. Bei einer veröffentlichten Aufgabe ist der Gewinn fast null: x1,05 bei Sonnet 4.6.
- Die Kampagnen sind getrennt. Zahlen von verschiedenen Daten wurden auf verschiedenen Codeständen gemessen: eine Zeile ist mit ihrer eigenen Kampagne vergleichbar, nicht zwingend mit einer anderen.
- Diese Zahlen messen die an ein Modell gesendete Eingabe. Sie messen nicht, wie viel Abonnementkontingent daraus wird; das hängt von Gewichtungen ab, die wir nicht kontrollieren.
Die Rohdaten
Die jüngste Kampagne ist als JSON veröffentlicht, mit Protokoll und den Zahlen je Aufgabe. Wer uns die Tabelle nicht glaubt, kann die Datei lesen.