コンテキストウィンドウ

コンテキストウィンドウは、言語モデルが一度の処理で参照できる情報量の上限で、トークン数で表されます。指示文、添付した資料、それまでの会話のやり取り、モデルの回答のすべてがこの枠の中に収まる必要があります。上限を超えた部分は読み込まれなかったり、古い会話から切り捨てられたりします。近年は長い文書をまとめて扱えるモデルも増えていますが、情報が多すぎると重要な箇所を見落とすこともあります。長い資料を扱うときは、必要な部分を選んで渡す、RAGで関係する箇所だけを検索して渡す、といった工夫が役立ちます。