プロンプトキャッシュ
ぷろんぷときゃっしゅ ／ Prompt Caching
定義
プロンプトキャッシュとは、くり返し送るプロンプトの共通部分の処理結果を再利用し、費用と応答時間を抑える仕組みのことです。
プロンプトキャッシュは、生成AIのAPIに同じ前置き（指示文や参照する長い資料など）を何度も送るとき、その共通部分の処理結果を一定の時間保存し、次の要求で再利用する仕組みです。再利用された部分は通常より安い料金で計算され、応答が始まるまでの時間も短くなる場合があります。ただし、再利用されるのは先頭から完全に一致する部分だけで、短すぎるプロンプトは対象にならないなど、条件や保存の時間はサービスとモデルによって異なります。長い共通の指示を先頭に置き、毎回変わる内容を後ろに置く組み立てにすると、効果を得やすくなります。
共通部分を先頭に置く組み立て
1回目
共通の前置き＋毎回変わる内容
共通部分を処理する
処理結果を一定の時間保存
2回目以降
同じ前置き＋別の内容
先頭から完全に一致する部分を再利用
安い料金・応答が早くなる場合がある
短すぎるプロンプトは対象にならないなど、条件や保存の時間はサービスとモデルによって異なります。
確かめた出典：https://developers.openai.com/api/docs/guides/prompt-caching/index.html
自社のAI活用の準備度は？7つの柱で、10問・約3分で確かめる（無料・登録不要）