チャンク分割

チャンク分割は、RAGで社内文書を検索できるようにする準備として、規程やマニュアルなどの長い文書を、段落や見出しなどの単位で小さな塊（チャンク）に分ける作業です。塊が大きすぎると、関係のない内容が混じって検索の精度が下がり、生成AIに渡せる量も圧迫されます。小さすぎると、前後の文脈が失われて意味が伝わりにくくなります。見出しの構成に沿って分ける、前後を少し重ねる、といった工夫がよく使われます。文書の種類ごとに分け方を試し、実際の質問で答えが見つかるかを確かめながら調整すると、検索の質を高めやすくなります。