ローカルLLM入門 自社のPCでAIを動かす利点と始め方

生成AIは、多くの場合インターネットの向こうにあるサービス（クラウド）を使います。便利な反面、「社内の資料を入れてよいのか」と迷う場面もあります。その選択肢の一つが、AIを手元で動かすローカルLLMです。

ローカルLLMとは何ですか？

LLM（大規模言語モデル）とは、大量の文章から言葉のつながりを学んだAIのことです。ChatGPTやGemini、Claudeなどの生成AIも、この仕組みの上に成り立っています。

クラウドのAIでは、入力した文章が提供会社のサーバーに送られ、そこで処理されて答えが返ってきます。ローカルLLMでは、モデルそのものを自分のPCに置き、処理もPCの中で行います。

これができるのは、モデルの中身（重み）を公開している会社や研究機関があるためです。こうしたモデルはオープンウェイトモデルと呼ばれます。例として、OpenAIのgpt-oss、GoogleのGemma、MetaのLlama、AlibabaのQwen、Mistral AIのモデルなどがあります。国内でも、国立情報学研究所が日本語に強いLLM-jpのシリーズを公開しており、2026年8月には約332億パラメータのLLM-jp-4 33Bが公開されました。

どんな利点がありますか？

① 情報を外に出さずに使える

処理がPCの中で完結するため、入力した文章が外部のサービスに送られません。顧客情報や未公開の数字、社内の規程類など、外部に出すことに慎重になりたい情報を扱う場面で、管理がしやすくなります。

個人情報保護委員会は、生成AIサービスに個人情報を入力する際の注意を事業者向けに呼びかけています。ローカルLLMは、こうした論点を整理しやすくする手段の一つです。

② 通信環境に左右されない

インターネットにつながっていなくても動きます。外出先や工場、通信が制限された環境でも使えます。外部サービスの障害や混雑の影響も受けません。

③ 自社に合わせて調整しやすい

モデルを選んだり、社内の文書を参照させる仕組みを組み合わせたりと、自由に組み立てられます。利用回数に応じた料金もかからないため、試行錯誤を重ねやすい点も利点です。

注意しておきたい点は何ですか？

利点と同じくらい、事前に知っておきたい点もあります。

• 性能の差があります。 PCで動かせる大きさのモデルは、最上位のクラウドのAIに比べて、推論の深さや知識の幅で劣ることがあります。
• 機器の準備が必要です。 快適に動かすには、メモリやGPU（画像処理用の半導体で、AIの計算にも使われます）を備えたPCが求められます。
• 応答が遅く感じることがあります。 速さはPCの性能に大きく左右されます。
• 管理は自社の責任です。 モデルの更新、PCの保守、使い方のルールづくりを自社で担います。
• ライセンスを確かめる必要があります。 モデルごとに利用条件が違います。gpt-ossやGemma 4のように商用利用を認める広いライセンスのものもあれば、独自の条件を設けたものもあります。

「情報を外に出さない」ことと「安全である」ことは同じではありません。PCの盗難対策やアクセス管理など、通常の情報セキュリティ対策は引き続き欠かせません。

どうやって始めればよいですか？

最近は、専門的な設定をしなくても始められる道具がそろっています。

① PCの準備状況を確かめる

目安として、メモリ16GBあれば小さいモデルを試せます。32GB以上あると、選べるモデルの幅が広がります。GPUを積んだPCや、メモリを共有する仕組みのPC（AppleのMシリーズを積んだMacなど）だと、より快適に動きます。

モデルの大きさは「パラメータ数」で表されます。例えば「20B」は約200億を意味し、数が大きいほど一般に性能は上がりますが、必要なメモリも増えます。参考として、OpenAIは、gpt-oss-20bは16GBのメモリで、gpt-oss-120bは80GBのメモリで動くと説明しています。GoogleはGemma 4について、重みを4ビットに圧縮した場合の必要メモリを、最小のE2Bで約2.9GB、31Bで約17.5GBと示しています。

重みを少ないビット数に圧縮して軽くすることを量子化といいます。多少の性能と引き換えに、少ないメモリで動かせるようになります。

② 動かすための道具を入れる

モデルを手軽に動かす道具には、例えばOllama、LM Studio、llama.cppなどがあります。OllamaはmacOS・Windows・Linuxに対応しています。LM Studioは2025年7月から、職場での利用も無料としています。利用条件は変わることがあるため、導入時に最新の規約を確かめてください。

③ モデルを選んで試す

最初は小さめのモデルから始め、用途に足りるかを確かめます。日本語の文章を多く扱う場合は、日本語での性能を公表しているモデルを候補に入れるとよいでしょう。

④ 用途を決めて評価する

社内文書の要約、議事録の整理、文章の下書きなど、具体的な仕事を一つ決めて、クラウドのAIと結果を比べます。速さ、答えの質、手間の三つで評価すると、続けるかどうかを判断しやすくなります。

クラウドとローカル、どう使い分けますか？

二者択一で考える必要はありません。多くの会社にとって現実的なのは、情報の区分に応じて使い分ける方法です。

• 外部に出してよい情報や、高い性能が必要な仕事：クラウドのAI（法人向けの契約で、入力が学習に使われない設定のもの）
• 外部に出したくない情報を扱う、比較的単純な仕事：ローカルLLM
• 大量の社内データを扱う本格的な仕組み：自社のサーバーや専用のクラウド環境での運用を検討

どの情報をどこで扱ってよいかを先に決めておくと、現場が迷わずに済みます。