役割
チャンク化
長いコンテンツを、検索や回答生成に適した粒度へ分割します。
後続処理の安定化
情報抽出やナレッジ保存の前段で使うことで、処理対象を扱いやすくします。
設計ポイント
- 1つの分割単位に意味のまとまりが残るようにする
- FAQ、規程、手順書など、文書タイプごとに粒度を調整する
- 分割後の内容を情報抽出またはナレッジベース保存へ接続する
📚 ナレッジベース
内容分割
ナレッジベース用のコンテンツを検索しやすい単位へ分割するパイプラインモジュールです。
内容分割モジュールは、ナレッジベース型 Agent のために、長い文章やドキュメントを検索しやすい単位へ分割するモジュールです。