LLM活用を前提に、すべての社内ドキュメントをコード管理にするのは、正直オーバーヘッドになります。
ナレッジベースや議事録、仕様書などの「非エンジニア向けで頻繁に更新される文書」は、Confluenceのようなドキュメント管理ツールで運用するほうが現実的です。
利用者のスキル差に左右されずに、情報を整理・共有できますし、検索性も高く保てます。
さらに、Confluence / Jira / Jira Service Management / ROVO にはまもなく「AIアクセスルール（AI Access Rule）」が追加予定で、ページ単位で「AIに見せる・見せない」が設定できるようになります。
これにより、わざわざ中間処理でAI学習用のデータを選別する手間も不要になります。
つまり、LLMと連携するために「全部コードで管理しないといけない」わけではありません。
柔軟かつセキュアにAI連携できる構成は、Confluenceなどのドキュメントツールで十分実現可能です。
