レイテンシ

レイテンシは、システムに要求を送ってから応答が返るまでの待ち時間を指します。生成AIでは、最初の文字が表示されるまでの時間と、回答の全体ができあがるまでの時間を分けて考えることがあります。大きなモデルや、考える工程を長くとる推論モデル、長い入力ほど時間がかかりやすく、通信の距離や混雑の影響も受けます。電話の自動応答や接客のように即答が求められる用途では、精度だけでなくレイテンシが使い勝手を大きく左右します。用途ごとに許容できる待ち時間を決め、小さなモデルの利用や、回答を少しずつ表示する方法などを組み合わせて検討すると、選びやすくなります。