トークン予算

重要なのは上限と好みの区別です。好みとは、情報が足りないと感じたエージェントが超えるもの、つまり常に超えるものです。上限とは、コンテキストをそこに収まるように組み立てる数値で、収まらなかったものは黙って捨てられるのではなく報告されます。

予算が効くのは、エージェントのループの内側に、もう十分知ったと結論づけるものが何もないからです。ウィンドウに際限がなければエージェントは読み続け、読んだファイルはそのセッションの以後の全ターンで支払われます。

正確な数値より、そもそも数値があることのほうが重要です。選択を迫る予算は、予算がまったくない場合とは違う、たいていはより良い選び方を生みます。