LoRA

LoRAは、大規模言語モデルを特定の業務向けに調整するファインチューニングを、少ない計算資源で行うための手法です。元のモデルの重みは変えずに固定し、各層に小さな追加の行列を加えて、その部分だけを学習します。2021年の論文では、学習するパラメータの数や必要なGPUのメモリを大きく減らせ、推論時の応答の遅れも増えないと報告されています。追加部分は小さいため、用途ごとに作り分けて差し替えることもできます。ただし、学習させるデータの質が成果を左右する点は通常のファインチューニングと同じです。まずはRAGやプロンプトの工夫で足りるかを確かめてから検討すると、費用を抑えやすくなります。

確かめた出典：https://arxiv.org/abs/2106.09685