事前学習

事前学習は、大規模言語モデルを作る最初の段階で、大量の文章などのデータを使い、次に来る言葉を予測する学習などを通じて、言葉の使い方や幅広い知識を身につけさせる工程です。膨大な計算資源とデータが必要なため、一般の企業が自ら行うことはまれで、多くの企業は事前学習済みのモデルをサービスとして利用します。事前学習の後に、指示チューニングやRLHFなどで使いやすく調整されます。モデルの知識は事前学習に使ったデータの時点までに限られるため、最新の情報や社内の情報が必要な業務では、RAGなどで情報を補う設計にしておくと安心です。