ローカルLLM

ローカルLLMは、外部のクラウドサービスに接続せず、自社のサーバーやパソコンなど手元の環境で動かす大規模言語モデルのことです。オープンウェイトモデルや小規模言語モデルが使われることが多く、入力したデータが社外に出ないため、機密情報を扱う業務やネットワークに制約のある環境で検討されます。一方で、高性能なGPUなどの機器の用意、モデルの更新、セキュリティ対策を自社で担う必要があり、クラウドの最新モデルに比べて性能が劣る場合もあります。扱う情報の重要度と運用の負担を比べて、クラウドとの使い分けを考えると選びやすくなります。