サービス Claude導入支援 事例 メディア セミナー お知らせ 会社概要 採用情報 お問い合わせ →
AI導入の基礎

RAGとは|社内文書をAIに使わせる仕組み

📅 公開日 2026.08.08 ⏱ 読了 約24分
前田 大輔
監修者
前田 大輔Ai-Raku(アイラク) 代表

業務効率化支援を行う「Ai-Raku(アイラク)」代表。国立大学でAIの研究を行い、ITコンサル・ウェブコンサルを経て独立。官公庁向けの業務効率化や上場企業の支援等を経て、中小企業の現場に定着するAI活用を企画から運用まで一気通貫で支援している。

Qこの記事のポイント
RAGとは何ですか?
質問に関係のある社内文書をまず検索し、その内容を添えてAIに答えさせる仕組みです。日本語では検索拡張生成と訳されます。AIの記憶だけでなく、その場で渡された自社の文書を根拠に答えるようになります。
AIが賢くなるのですか?
なりません。AI自体の能力は変わらず、渡す資料が良くなるだけです。そのため、渡した文書が古ければ古い答えが返り、文書が間違っていれば間違った答えが返ります。文書の質がそのまま回答の質になります。
事実でない回答はなくなりますか?
減りますが、ゼロにはなりません。根拠となる文書を渡すことで大きく改善しますが、検索が的外れだった場合や、文書の記述があいまいな場合には誤った回答が出ます。参照した文書名を必ず表示し、人が確認できる状態にしておくことが必要です。
何ファイルくらいから効果が出ますか?
目安として、対象文書が50件を超え、月に数十件の質問が発生している状態です。10件以下であれば、必要なファイルを直接AIに貼り付けたほうが速く、仕組みを作る手間に見合いません。
社内文書が外部に送られませんか?
外部のサービスを使う場合、質問のたびに文書の一部が社外のサーバーを通ります。入力内容が学習に使われないか、保存期間はどのくらいか、保存先はどこの国かを、自社の契約内容で必ず確認してください。契約の種類によって条件が変わります。
見られたくない文書はどうしますか?
取り込まないことが最も確実です。取り込んだ文書は、検索でヒットすれば利用者に中身が渡ります。ファイルサーバー上の閲覧制限は引き継がれない場合があるため、フォルダ単位ではなく1ファイルずつ中身を見て判断してください。
準備でいちばん大変なのは何ですか?
文書の整備です。旧版を外して現行版だけを集める、ファイル名を統一する、長すぎる文書を業務単位に分ける。この作業に数日かかります。技術的な構築より、こちらのほうが負荷が高いのが実情です。
紙の資料しかない場合は使えますか?
そのままでは使えません。画像として取り込んだだけでは文字として扱えないためです。文字に起こす工程が必要になります。まずは電子データで存在する文書から始め、紙の資料は効果を確認してから検討してください。
RAGとMCPは何が違いますか?
役割が違います。RAGは社内文書を探して読ませる仕組み、MCPはAIと外部のシステムや道具をつなぐ取り決めです。文章から答えを見つけたいならRAG、業務システムから数値を取ってきたいならMCPの領域になります。併用することもあります。
数値の集計もできますか?
苦手です。文章を探す仕組みであり、表計算の代わりにはなりません。売上や在庫の集計を自動化したい場合は、別の方法を検討してください。無理に一つの仕組みで解決しようとすると、どちらも中途半端になります。
導入後に何もしなくてよいですか?
更新作業が必要です。規程や手順書が改定されたのに古い版が残っていれば、古い答えが返り続けます。月1回、担当者が対象文書の一覧を確認して差し替える運用を、業務として組み込んでください。担当が決まっていないと必ず放置されます。
効果が出なかったらどうしますか?
範囲を広げる前に止める判断も正しい選択です。効果が出ない原因の多くは、答えが文書化されていないことにあります。この場合は文書化が先で、順番を逆にすると悪化します。導入前の1か月に記録した件数と時間を基準に判断してください。
中小企業に必要ですか?
「同じ質問が繰り返し発生している」かつ「その答えはすでに文書に書かれている」の両方が当てはまるなら、検討する価値があります。片方でも欠けていれば、別の手を先に打つべきです。総務省の調査でも、導入の懸念として最も多いのは「効果的な活用方法がわからない」でした。用途を先に決めることが出発点になります。

「AIに社内のマニュアルを読ませて、社員の質問に答えさせたい」。こうしたご相談をいただくとき、その答えとしてほぼ必ず登場するのがRAG(ラグ)という言葉です。

ひとことで言えば、RAGは質問に関係のある社内文書をまず探し出し、その中身を添えてAIに答えさせる仕組みです。AIそのものを賢くするのではなく、AIに手元の資料を渡してから答えさせる、という考え方に近いものです。

本記事では、この仕組みが何を解決し、何は解決しないのかを正直に整理します。あわせて、向く業務と向かない業務、導入前に決めておくべきこと、そして中小企業が実際につまずく箇所をお伝えします。読み終えたときに「自社に必要かどうか」をご自身で判断できる状態を目指しました。

この記事でわかること

  • RAGが何をしている仕組みなのか
  • 解決する問題と、解決しない問題
  • 向く業務・向かない業務の見分け方
  • 導入前に決めておく5つのこと
  • 社内文書を扱うときの安全設計
  • 典型的な失敗パターンと回避策
  1. 結論|社内文書を探してから答えさせる
    1. ひとことで言うと
    2. 「AIが賢くなる」わけではない
    3. 自社に必要かの判断軸
  2. 仕組みをかみ砕いて説明する
    1. 工程は大きく4つ
    2. 「意味が近い文書」を探している
    3. 図書館の司書にたとえると
    4. もとは研究から生まれた考え方
  3. RAGが解決する問題
    1. AIは自社のことを知らない
    2. 毎回コピー&ペーストしなくてよくなる
    3. 根拠を示せるようになる
    4. ただし解決しない問題もある
  4. 向く業務・向かない業務
    1. 向く業務の3条件
    2. 具体的に向いている業務
    3. 向かない業務
    4. RAGとMCPはどう違うか
  5. 導入前に決めておく5つのこと
    1. 1. 対象にする文書の範囲
    2. 2. 誰が何を見られるか
    3. 3. 文書を更新する担当と頻度
    4. 4. 出典を必ず表示するか
    5. 5. 何をもって成功とするか
  6. 準備でいちばん時間がかかるのは文書整備
    1. そのままでは検索に向かない文書
    2. 整備の優先順位
  7. 情報の扱いとセキュリティ
    1. 社内文書が外部に出るかどうか
    2. 権限設計の落とし穴
    3. 文書の中に指示が混ざる問題
    4. 社内ルールへの追記
  8. モデルケース|社内問い合わせ対応
    1. 導入前の状況
    2. 導入後の想定
    3. 試算
    4. この試算で注目していただきたい点
  9. 業種別の使いどころ
    1. 製造業
    2. 建設・設備工事
    3. 士業・コンサルティング
    4. 小売・飲食
    5. 医療・介護
    6. 運送・物流
  10. よくある失敗パターン
    1. 失敗1|文書を全部入れてしまう
    2. 失敗2|出典を出さない設計にする
    3. 失敗3|更新担当を決めない
    4. 失敗4|精度を100点で評価する
    5. 失敗5|社員に使い方を伝えない
    6. 失敗6|属人業務をいきなり対象にする
  11. ほかの選択肢と比べる
    1. 中小企業にとっての現実解
  12. スモールスタートの手順
    1. 第1段階|記録をとる(1か月)
    2. 第2段階|文書を絞って整える(2週間)
    3. 第3段階|限定した範囲で試す(1か月)
    4. 第4段階|広げるか止めるかを判断
  13. よくある質問(FAQ)
    1. Q. RAGとは何ですか?
    2. Q. AIが賢くなるのですか?
    3. Q. 事実でない回答はなくなりますか?
    4. Q. 何ファイルくらいから効果が出ますか?
    5. Q. 社内文書が外部に送られませんか?
    6. Q. 見られたくない文書はどうしますか?
    7. Q. 準備でいちばん大変なのは何ですか?
    8. Q. 紙の資料しかない場合は使えますか?
    9. Q. RAGとMCPは何が違いますか?
    10. Q. 数値の集計もできますか?
    11. Q. 導入後に何もしなくてよいですか?
    12. Q. 効果が出なかったらどうしますか?
    13. Q. 中小企業に必要ですか?
  14. まとめ

結論|社内文書を探してから答えさせる

最初に全体像をお伝えします。

ひとことで言うと

RAGは「Retrieval-Augmented Generation」の略で、日本語では検索拡張生成と訳されます。名前のとおり、検索してから生成する、という二段構えの仕組みです。

Google Cloudの解説では、RAGについてまず質問に関する事実を「検索」し、それらの事実をモデルに渡してから答えを「生成」させる技術であり、これがグラウンディング(根拠づけ)の意味であると説明されています(出典:Google Cloud「RAG and grounding on Vertex AI」)。

つまりAIは、自分の記憶だけで答えているのではありません。その場で渡された社内文書を読んで、そこから答えを組み立てているのです。

「AIが賢くなる」わけではない

ここは誤解が多い点なので先に書いておきます。RAGはAIの頭脳を鍛える仕組みではありません。渡す資料を良くする仕組みです。

したがって、渡した文書が古ければ古い答えが返り、文書が間違っていれば間違った答えが返ります。文書の質がそのまま回答の質になる、という関係は最後まで変わりません。この点を理解しないまま導入すると、後述する失敗パターンにそのまま入っていきます。

自社に必要かの判断軸

判断はシンプルです。次の2つが同時に当てはまるなら、検討する価値があります。

  • 同じ内容の質問が、繰り返し社内で発生している
  • その答えは、すでに社内文書のどこかに書かれている

逆に、答えが文書化されておらず特定の担当者の頭の中にしかない場合、RAGは効きません。探す対象が存在しないためです。この場合はまず文書化が先で、順番を逆にすると必ず失敗します。

自社ではどの業務から始めるべき?削減できる時間を、無料で診断します。
無料で相談する →

仕組みをかみ砕いて説明する

専門用語を使わずに、内部で何が起きているかを追いかけます。

工程は大きく4つ

AWSの技術ガイダンスでは、RAGの流れをおおむね4段階として説明しています。最初の1回だけ行う準備工程と、質問のたびに繰り返される3工程です(出典:AWS Prescriptive Guidance「Understanding Retrieval Augmented Generation」)。

工程 何をしているか 頻度
1. 取り込み 社内文書を検索できる形に変換して保管する 最初に1回+更新時
2. 質問 人がふだんの言葉で質問する 毎回
3. 検索 質問に近い内容の文書を探し、質問文に添える 毎回
4. 生成 添えられた文書を読んで、AIが答えを書く 毎回

同ガイダンスでは、1の工程についてデータの整理・整形・分割(チャンク化)が必要だが、これは最初に1回行う前工程であると説明されています。ここが実務上いちばん手間のかかる部分で、後の章で詳しく扱います。

「意味が近い文書」を探している

従来の社内検索は、入力した単語がそのまま含まれる文書を探していました。「有給」と入れれば「有給」という文字がある文書だけが出てきます。

RAGで使われる検索は、これとは違います。文章を意味を表す数値の並びに変換して保管しておき、質問文も同じように数値に変換して、近いものを探すという方式です。AWSの説明では、この数値表現を埋め込み(エンベディング)、それを保管する場所をベクトルデータベースと呼んでいます。

実務上のありがたさは、言い回しが違っても見つかる点にあります。「休みを取りたい」と質問しても、「年次有給休暇の取得手続」という文書にたどり着けます。社内文書の題名を知らない新人ほど恩恵を受けます。

図書館の司書にたとえると

比喩で整理します。RAGを入れていないAIは、膨大な本を読んできた博識な人です。一般的な知識は豊富ですが、あなたの会社の就業規則は読んだことがありません。

RAGを入れると、この人の隣に自社の書庫に詳しい司書がつきます。質問が来ると、司書が書庫から関係のありそうな資料を数点抜き出して手渡し、博識な人がそれを読んで答える。この分業がRAGの正体です。

この比喩から分かることが2つあります。ひとつは司書が間違った資料を持ってくれば答えも外れること。もうひとつは書庫に入っていない資料は絶対に出てこないことです。どちらも実際に起きます。

もとは研究から生まれた考え方

RAGという用語は、2020年に発表された論文で提示されたものです。この論文では、RAGを事前学習済みのパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行うモデルとして定義しています(出典:Lewis et al.「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」)。

難しい言い方ですが、意味は単純です。モデルの中に覚え込ませた知識と、外部に置いて後から探しに行く知識を組み合わせる、ということです。同論文では、この方式がより具体的で多様かつ事実にもとづいた文章を生成することを示したと報告されています。

RAGが解決する問題

なぜこの仕組みが必要とされたのかを、業務目線で整理します。

AIは自社のことを知らない

生成AIは公開された膨大な情報から学習していますが、あなたの会社の就業規則、見積ルール、製品仕様書は学習していません。当然です。社外に出ていない情報だからです。

そのため、社内固有のことを質問すると、一般論で答えるか、もっともらしい嘘を書きます。Google Cloudの説明でも、企業での生成AI活用を阻む大きな障壁としてモデルが学習データの外の情報を知らないこと説得力があるのに事実として不正確な情報を生成する傾向の2点が挙げられています。

RAGは前者を直接解決します。知らない情報を、質問のたびに手渡すからです。

毎回コピー&ペーストしなくてよくなる

実は、RAGがなくても同じことは手作業でできます。該当するマニュアルの中身をコピーして、質問と一緒にAIに貼り付ければよいのです。

問題は、その作業が毎回発生することと、どの文書を貼ればよいか自体が分からないケースが多いことです。RAGは、この「探して貼る」を自動化しています。逆に言えば、貼るべき文書がいつも同じで数個しかないなら、RAGは不要です。この判断は後の章で表にします。

根拠を示せるようになる

業務利用でいちばん効くのが、ここかもしれません。RAGの多くの実装では、回答と一緒に「どの文書の何ページを見たか」を返せます

これにより、利用者は答えを鵜呑みにせず原典を確認できます。実務では答えそのものより、原典にたどり着けることの価値が大きい場面が少なくありません。社内規程や契約条件など、間違えられない領域ではとくにそうです。

ただし解決しない問題もある

誇張を避けるために、はっきり書いておきます。RAGを入れても、次の問題は残ります。

  • 事実でない内容を書く可能性はゼロにならない。減らす仕組みであって、なくす仕組みではありません
  • 文書に書かれていないことは答えられない。慣習や暗黙のルールは対象外です
  • 文書どうしが矛盾していると、答えも揺れる。古い版と新しい版が両方あると起きます
  • 数値の集計や計算は苦手。文章を探す仕組みであり、表計算の代わりにはなりません

1点目については、AIが事実でない内容を出す問題への対策で運用面の対処をまとめています。RAGはそのうちの有力な一手ですが、唯一の手ではありません。

向く業務・向かない業務

ここが自社判断の中心です。

向く業務の3条件

次の3つがそろうほど、効果が出やすくなります。

  1. 答えが文書として存在している(頭の中ではなく紙かデータになっている)
  2. 質問が繰り返し発生する(月に数十件以上あると体感が変わります)
  3. 探す対象が多い(文書が数十から数百件あり、どこにあるか分からない状態)

逆に、文書が5件しかなく全員が置き場所を知っているなら、仕組みを作る意味は薄いです。そのままAIに貼り付けるほうが速いからです。

具体的に向いている業務

業務 なぜ向くか
社内問い合わせ対応 同じ質問が繰り返され、答えは規程や手順書にある
製品仕様の照会 仕様書が大量にあり、営業が探すのに時間がかかる
過去案件の参照 類似案件の見積や提案が探せず、毎回作り直している
手順書・マニュアル検索 版が多く、目次から探すのが困難
問い合わせ履歴の活用 過去の回答文が蓄積されており、再利用できる

向かない業務

業務 向かない理由
売上や在庫の集計 文章検索の仕組みで、数値計算は不得意
最新の相場や法改正の確認 社内文書に入っていない情報は出てこない
属人的な判断の代行 判断基準が文書化されていない
個別のお客様への回答文の自動送信 誤りが外部に出る。下書きまでに留めるべき
創造的な企画立案 過去文書を探す仕組みで、新しい発想は生まれない

数値の集計を自動化したい場合は、文書検索ではなくシステム同士をつなぐ発想が必要です。その考え方はMCPとは|AIと自社データをつなぐ仕組みで整理しています。RAGとMCPは競合ではなく、役割が違う道具です。

RAGとMCPはどう違うか

混同されやすいので、表で並べます。

観点 RAG MCP
目的 社内文書を探して読ませる AIと外部の道具・データをつなぐ
得意 文章から答えを見つける システムから数値や機能を取ってくる
典型の入力 手順書、規程、仕様書、議事録 販売管理、広告管理、業務システム
準備の重さ 文書の整理に時間がかかる 接続と権限の設計に時間がかかる

導入前に決めておく5つのこと

技術より先に決めるべき事柄です。ここを飛ばすと、作ってから作り直しになります。

1. 対象にする文書の範囲

「社内文書を全部入れる」は、いちばんよくある失敗です。古い版、下書き、個人メモ、廃止された規程まで一緒に取り込まれ、回答が矛盾します。

最初は1つの業務に関わる、現行版だけに絞ってください。就業規則まわりなら、就業規則本体と関連する申請手順書だけ。数十ファイル程度から始めるのが現実的です。

2. 誰が何を見られるか

これが最大の設計論点です。取り込んだ文書は、検索でヒットすれば誰にでも中身が渡ります。人事評価の資料や給与関連の文書を無自覚に入れると、全社員が読める状態になりかねません。

対策は2つです。そもそも機密性の高い文書を入れないか、閲覧できる人を分けて別々に作るか。中小企業では前者、つまり入れる文書を絞る判断のほうが、運用が破綻しにくいです。

3. 文書を更新する担当と頻度

RAGは入れっぱなしで劣化します。規程が改定されたのに古い版が残っていれば、古い答えが返り続けます。

決めるべきは次の3点です。誰が更新するか。どのくらいの頻度で確認するか。古い版をどう外すか。月1回、担当者が対象文書の一覧を見て差し替える程度の運用で十分ですが、担当が決まっていないと必ず放置されます。

4. 出典を必ず表示するか

結論から言えば、表示すべきです。答えだけを返す設計にすると、利用者が検証できません。

「回答+参照した文書名+該当箇所」という形にしておけば、疑わしいときに人がすぐ確認できます。間違いをゼロにできない以上、確認できる状態にしておくことが唯一の現実的な保険です。

5. 何をもって成功とするか

評価基準を先に決めてください。おすすめは質問件数の変化1件あたりの対応時間の2つです。

「便利になった気がする」では継続の判断ができません。導入前の1か月、担当部署に問い合わせ件数と所要時間を記録してもらう。この地味な作業が、あとで効いてきます。

準備でいちばん時間がかかるのは文書整備

技術的な構築より、こちらのほうが重い作業です。正直にお伝えします。

そのままでは検索に向かない文書

次のような文書は、取り込んでも精度が出ません。

  • 紙をスキャンしただけの画像。文字として読み取れていないと検索対象になりません
  • 図や表だけで説明している資料。文章がないため意味を拾えません
  • 1ファイルに複数業務が詰め込まれた資料。関係ない部分まで一緒に渡されます
  • 版が分かれていない文書。どれが最新か機械には判断できません
  • 略語や社内用語だらけの文書。用語集がないと質問と結びつきません

整備の優先順位

優先度 やること 目安の負荷
現行版だけを集め、旧版を対象から外す 半日〜1日
ファイル名に業務名と日付を入れて統一する 半日
長大な文書を業務単位に分ける 1〜2日
社内用語と正式名称の対応表を作る 半日
画像だけの資料を文字に起こす 分量次第

優先度「高」の2つだけでも、体感の精度はかなり変わります。逆に言えば、この作業を誰もやらない状態で導入しても、結果は出ません。導入検討の段階で、担当者と工数を確保しておいてください。

情報の扱いとセキュリティ

中小企業がもっとも気にされる部分です。総務省の調査でも、生成AI導入の懸念として「社内情報の漏えい等のセキュリティリスク」が2番目に挙げられています(1位は「効果的な活用方法がわからない」、3位はランニングコスト、4位は初期コスト)。出典は総務省「令和7年版 情報通信白書」です。

社内文書が外部に出るかどうか

RAGでは、質問のたびに社内文書の一部がAIに渡ります。外部のサービスを使う場合、その文章は社外のサーバーを通ることになります。

確認すべきは次の3点です。入力した内容が学習に使われないか保存される場合どのくらいの期間か保存される場所はどこの国か。法人向けの契約では学習に使わない設定が用意されていることが一般的ですが、契約の種類によって条件が変わるため、必ず自社の契約内容で確認してください

権限設計の落とし穴

くり返しになりますが、ここが事故の中心です。ファイルサーバーでは部署ごとに閲覧制限がかかっていても、RAGに取り込んだ時点でその制限が外れる場合があります

取り込み対象を選ぶときは、ファイルサーバーのフォルダ単位で機械的に指定するのではなく、1つずつ中身を見て判断してください。手間はかかりますが、最初の1回だけの作業です。

文書の中に指示が混ざる問題

やや技術的ですが、知っておくべき論点です。取り込んだ文書の中にAIへの指示として読めてしまう文章が含まれていると、意図しない動作を引き起こす可能性があります。外部から受け取った資料をそのまま取り込む場合はとくに注意が必要です。

対策は現実的な範囲で十分です。取り込むのは社内で作成した文書に限る外部から受け取った資料は、内容を確認してから入れる。この2つを守るだけでリスクは大きく下がります。

社内ルールへの追記

すでにAI利用ルールをお持ちなら、次の項目を足してください。

  • 取り込んでよい文書の種類と、入れてはいけない文書の種類
  • 新しい文書を追加できる担当者は誰か
  • 回答をそのまま社外に出してよいか(原則、下書き扱いとする)
  • 誤った回答を見つけたときの報告先

ルールの全体像は社内のAI利用ルールの作り方にまとめています。ゼロから作る必要はなく、既存のルールに項目を足す形で十分です。

モデルケース|社内問い合わせ対応

数字で見たほうが判断しやすいため、試算を置きます。

前提

  • 以下は実在の企業ではなく、当社が想定する典型的な状況にもとづく試算です
  • 従業員40名程度、総務が社内問い合わせを受けている想定
  • 人件費の換算は時給2,500円月20営業日で計算
  • 実際の効果は文書の整備状況と質問の内容によって大きく変わります

導入前の状況

総務担当者に、月におよそ100件の問い合わせが来ています。内容は「経費精算の締切はいつか」「有給の申請方法」「出張旅費の上限」など、いずれも規程や手順書に書かれていることです。

1件あたりの対応時間は平均10分。うち6分が「どの文書に書いてあるか探す時間」、4分が「回答を書く時間」です。月間では約16.7時間が費やされています。

導入後の想定

規程類・申請手順書・よくある質問の回答文、あわせて約60ファイルを対象にしました。社員は自分で質問し、回答と参照文書名が返ってきます。

結果として、100件のうち40件は社員が自己解決するようになり、総務に来なくなりました。残る60件は、担当者がRAGで該当箇所をすぐ特定できるため、1件6分に短縮されています。

試算

項目 導入前 導入後
総務への問い合わせ件数 100件 60件
1件あたりの対応時間 10分 6分
対応時間の合計(月) 約16.7時間 6.0時間
文書の更新・確認(月) 2.0時間
回答内容の抜き取り確認(月) 1.0時間
合計時間(月) 約16.7時間 9.0時間
削減見込み(月) 約7.7時間
金額換算(月) 約19,250円

この試算で注目していただきたい点

導入後に新しい作業が2つ増えていることです。文書の更新と、回答内容の抜き取り確認。この3時間は削れません。削ろうとすると、古い情報や誤った回答が放置される状態になります。

また、この試算には質問した社員側の待ち時間が入っていません。実際にはこちらの改善が大きく、「総務の担当者が席にいないと止まっていた作業が、その場で進む」という声のほうが先に出てきます。数字にしにくい部分ですが、現場の実感としては無視できません。

「自社の文書で本当に答えが出るのか」でお困りの方へ。対象文書の選定から一緒に検討します。初回のご相談は無料です。無料相談はこちら

業種別の使いどころ

業種によって、探す価値のある文書が変わります。

製造業

効果が出やすい業種です。作業手順書、品質基準、設備の取扱説明書が大量にあり、しかも現場で「どこに書いてあるか」を探す場面が頻繁に発生するためです。

注意点は、図や写真中心の手順書が多いこと。文章での説明が薄い資料は、取り込んでも拾えません。まずは文章で書かれた文書から始めてください。関連する取り組みは業務効率化のアイデア20選でも触れています。

建設・設備工事

過去案件の見積書や施工要領が探せず、毎回ゼロから作り直しているケースが目立ちます。類似案件を探す用途に向きます。

ただし現場写真や図面が中心の資料は対象外になります。文章で書かれた要領書・特記仕様に絞るのが現実的です。

士業・コンサルティング

過去の回答文や調査メモの蓄積が効く領域です。ただし顧問先の固有名や機密情報が混ざりやすい点に最大限の注意が必要です。

取り込む前に固有名を外す、あるいは一般論として書き直した内部ナレッジだけを対象にするといった判断が求められます。顧問先の資料をそのまま入れる運用は避けてください。

小売・飲食

店舗マニュアル、衛生管理手順、接客手順などが対象になります。アルバイトを含む多人数が同じ質問をする環境では効果が出やすいです。

一方で、店舗ごとに運用が違う場合はどの店舗の手順かを文書側で明示しないと、答えが混ざります。

医療・介護

個人情報を扱う領域が広いため、診療録・介護記録に関わる文書は対象から外してください。院内・施設内の運営マニュアル、感染対策手順、備品の取扱いなど、個人情報を含まない範囲に限定する判断が妥当です。

運送・物流

安全教育資料、車両の点検手順、荷主ごとの取扱ルールなどが対象です。荷主ごとにルールが違う業界のため、探す価値が高い一方、文書の版管理が甘いと事故につながります。整備を先に済ませてください。

よくある失敗パターン

実際につまずきやすい箇所を列挙します。

失敗1|文書を全部入れてしまう

最頻出です。全社の共有フォルダをまるごと取り込み、旧版・下書き・私的メモが混ざって回答が矛盾します。使われなくなるまでが早いのもこのパターンです。

回避策は単純で、1業務・現行版だけから始めることです。範囲を広げるのは、効果が確認できてからで遅くありません。

失敗2|出典を出さない設計にする

回答だけを返す設計にすると、利用者が検証できず、一度でも誤りが出た瞬間に信頼を失います。参照文書名は必ず出す設計にしてください。

失敗3|更新担当を決めない

導入から半年後、規程が変わったのに古い答えが返り続ける。これも定番です。月1回の確認を業務として組み込むだけで防げます。

失敗4|精度を100点で評価する

「10回試して2回外れたから使えない」という評価をよく聞きます。しかし比較対象は人が探した場合であるべきです。人が探しても見つからない、あるいは古い文書を参照してしまうことは日常的に起きています。

評価の基準は「担当者が探すより速く、原典にたどり着けるか」に置いてください。

失敗5|社員に使い方を伝えない

仕組みを作っただけで、使い方の共有をしないケースです。とくに「どういう質問をすれば答えが返ってくるか」は、実例を数個見せるだけで定着率が変わります。

30分の説明会と、質問例を10個並べた紙を1枚配る。これで十分です。

失敗6|属人業務をいきなり対象にする

ベテランしか分からない判断を任せようとして、文書がないので何も出てこない。当然の結果です。文書化されていない業務は、まず文書化からです。

その第一歩として、会議や打ち合わせの記録を残す仕組みから整える方法もあります。AI議事録ツールの比較で、記録を残す側の道具を整理しています。

ほかの選択肢と比べる

「社内情報をAIに使わせる」方法はRAGだけではありません。比較して選べる状態にしておきます。

方法 内容 向く場面 注意点
そのまま貼り付ける 質問時に文書の中身を手で貼る 対象文書が数個で固定 毎回手間がかかる
RAG 探してから読ませる 文書が多く、質問も多い 文書整備の手間が大きい
追加学習 モデル自体に社内知識を覚えさせる 大規模かつ更新が少ない場合 費用と専門性が必要。更新のたびにやり直し
従来型の社内検索 単語一致で文書を探す 文書名や用語が全員に浸透 言い換えに弱い。答えは自分で読む

中小企業にとっての現実解

結論として、中小企業でまず検討すべきは「そのまま貼り付ける」と「RAG」の間のどこかです。追加学習は、費用と更新の手間から見て現実的ではないケースがほとんどです。

判断の目安を置きます。対象文書が10件以下なら貼り付けで十分50件を超えて、かつ月に数十件の質問があるならRAGを検討。この間はどちらでも成り立つ領域なので、費用と手間で決めてください。

スモールスタートの手順

実際に始める場合の順番です。

第1段階|記録をとる(1か月)

何もせず、問い合わせの内容と件数、所要時間を記録します。これがないと効果測定ができません。同時に「その答えはどの文書に書いてあるか」も記録してください。文書が存在しない質問がどのくらいあるかが見えてきます。

第2段階|文書を絞って整える(2週間)

記録から、質問の多い業務を1つ選びます。その業務に関わる現行版の文書だけを集め、ファイル名を統一します。この段階で30〜60ファイル程度に収まるのが理想です。

第3段階|限定した範囲で試す(1か月)

まずは1部署だけで使います。回答の正しさを人が抜き取り確認し、外れたときは「文書がなかったのか」「文書はあったが見つけられなかったのか」を切り分けます。前者なら文書を足し、後者なら文書の書き方を直します。

第4段階|広げるか止めるかを判断

第1段階で記録した数字と比べます。改善が見られなければ、範囲を広げる前にやめる判断も正しい選択です。文書が整っていない状態で対象だけ広げても、悪化するだけだからです。

よくある質問(FAQ)

Q. RAGとは何ですか?

A. 質問に関係のある社内文書をまず検索し、その内容を添えてAIに答えさせる仕組みです。日本語では検索拡張生成と訳されます。AIの記憶だけでなく、その場で渡された自社の文書を根拠に答えるようになります。

Q. AIが賢くなるのですか?

A. なりません。AI自体の能力は変わらず、渡す資料が良くなるだけです。そのため、渡した文書が古ければ古い答えが返り、文書が間違っていれば間違った答えが返ります。文書の質がそのまま回答の質になります。

Q. 事実でない回答はなくなりますか?

A. 減りますが、ゼロにはなりません。根拠となる文書を渡すことで大きく改善しますが、検索が的外れだった場合や、文書の記述があいまいな場合には誤った回答が出ます。参照した文書名を必ず表示し、人が確認できる状態にしておくことが必要です。

Q. 何ファイルくらいから効果が出ますか?

A. 目安として、対象文書が50件を超え、月に数十件の質問が発生している状態です。10件以下であれば、必要なファイルを直接AIに貼り付けたほうが速く、仕組みを作る手間に見合いません。

Q. 社内文書が外部に送られませんか?

A. 外部のサービスを使う場合、質問のたびに文書の一部が社外のサーバーを通ります。入力内容が学習に使われないか、保存期間はどのくらいか、保存先はどこの国かを、自社の契約内容で必ず確認してください。契約の種類によって条件が変わります。

Q. 見られたくない文書はどうしますか?

A. 取り込まないことが最も確実です。取り込んだ文書は、検索でヒットすれば利用者に中身が渡ります。ファイルサーバー上の閲覧制限は引き継がれない場合があるため、フォルダ単位ではなく1ファイルずつ中身を見て判断してください。

Q. 準備でいちばん大変なのは何ですか?

A. 文書の整備です。旧版を外して現行版だけを集める、ファイル名を統一する、長すぎる文書を業務単位に分ける。この作業に数日かかります。技術的な構築より、こちらのほうが負荷が高いのが実情です。

Q. 紙の資料しかない場合は使えますか?

A. そのままでは使えません。画像として取り込んだだけでは文字として扱えないためです。文字に起こす工程が必要になります。まずは電子データで存在する文書から始め、紙の資料は効果を確認してから検討してください。

Q. RAGとMCPは何が違いますか?

A. 役割が違います。RAGは社内文書を探して読ませる仕組み、MCPはAIと外部のシステムや道具をつなぐ取り決めです。文章から答えを見つけたいならRAG、業務システムから数値を取ってきたいならMCPの領域になります。併用することもあります。

Q. 数値の集計もできますか?

A. 苦手です。文章を探す仕組みであり、表計算の代わりにはなりません。売上や在庫の集計を自動化したい場合は、別の方法を検討してください。無理に一つの仕組みで解決しようとすると、どちらも中途半端になります。

Q. 導入後に何もしなくてよいですか?

A. 更新作業が必要です。規程や手順書が改定されたのに古い版が残っていれば、古い答えが返り続けます。月1回、担当者が対象文書の一覧を確認して差し替える運用を、業務として組み込んでください。担当が決まっていないと必ず放置されます。

Q. 効果が出なかったらどうしますか?

A. 範囲を広げる前に止める判断も正しい選択です。効果が出ない原因の多くは、答えが文書化されていないことにあります。この場合は文書化が先で、順番を逆にすると悪化します。導入前の1か月に記録した件数と時間を基準に判断してください。

Q. 中小企業に必要ですか?

A. 「同じ質問が繰り返し発生している」かつ「その答えはすでに文書に書かれている」の両方が当てはまるなら、検討する価値があります。片方でも欠けていれば、別の手を先に打つべきです。総務省の調査でも、導入の懸念として最も多いのは「効果的な活用方法がわからない」でした。用途を先に決めることが出発点になります。

まとめ

  • RAGは社内文書を検索してから、その内容を添えてAIに答えさせる仕組み
  • AIが賢くなる仕組みではない。渡す文書の質がそのまま回答の質になる
  • 向くのは答えが文書に存在し、同じ質問が繰り返し発生している業務
  • 向かないのは数値の集計、属人的な判断、文書化されていない領域
  • 事実でない回答は減るがゼロにならない。参照文書名の表示は必須
  • 導入前に決めるのは対象範囲・権限・更新担当・出典表示・評価基準の5つ
  • 最大の作業は文書整備。旧版を外し、現行版だけを集めるところから
  • 取り込んだ文書は検索でヒットすれば誰にでも渡る。機密文書は入れない
  • 始めるなら1業務・現行版・1部署。効果を測ってから広げる

RAGは「AIに何をさせるか」ではなく、「AIに何を読ませるか」を整える取り組みです。だからこそ、成否を分けるのは技術ではなく、自社の文書をどこまで整理できるかにかかっています。

無料相談はこちら(初回のご相談・お見積りは無料です)

つなぐ側の仕組みはMCPとは、運用ルールは社内AIルールの作り方、誤りへの対処はハルシネーション対策、業務全体の見直しは業務効率化のアイデア20選にまとめています。

自社の業界での活用を、相談してみませんか?

記事だけでは分からない「自社の場合」を、無料でご提案します。

無料で相談する
Related

関連記事

AI導入の基礎2026.08.09

AIリテラシーとは?社員の水準を測る4段階と10問診断

AI導入の基礎2026.08.08

中小企業のセキュリティ対策|AI利用で増える論点

AI導入の基礎2026.08.08

AI人材育成の進め方|中小企業の現実的な設計

🆕新着記事
🔥アクセスランキング
  1. 1バイブコーディングとは|中小企業の業務での使い方
  2. 2要件定義の進め方|AIを使って精度を上げる手順
  3. 3企画書をAIで作る|通らない企画書を通る形に変える手順
  4. 4DXが失敗する理由|中小企業がやめるべき進め方
  5. 5プロンプトエンジニアリングとは|業務で必要な範囲
おすすめ記事
Seminar

セミナー・勉強会

AI活用・業務効率化のセミナーや勉強会を開催予定です。次回開催の情報は、メルマガまたはお問い合わせでご案内します。

開催のお知らせを受け取る
Download

お役立ち資料

「AI導入の進め方」などの資料をご用意予定です。お急ぎの方には、ご相談内容に合わせて個別に資料をお送りします。

資料をリクエストする
Contact

お気軽にご相談ください