量子化

量子化は、AIモデルの中の多数のパラメータを、より少ないビット数の数値で表すことで、モデルの大きさや計算量を減らす手法です。必要なメモリが減るため、手元のパソコンや社内のサーバーで大規模言語モデルを動かすローカルLLMや、端末の側で動かすエッジAIでよく使われます。処理が速くなる場合もあります。一方で、数値を粗くする分、回答の質が下がることがあり、その度合いは方式やモデル、業務の内容によって異なります。量子化したモデルを使う場合は、社内の実際の作業で量子化前と出力を比べ、許せる範囲かを確かめてから採用すると安心です。