ProxyAI
Cover image for サポートボットに、ご自身のドキュメントを学習させる方法と、正しく回答させるための条件

サポートボットに、ご自身のドキュメントを学習させる方法と、正しく回答させるための条件

PDFのアップロードは簡単な部分です。サポートボットが正しく回答できるかどうかは、ドキュメントの書き方、正確なコードを見つけられるか、そしてどのドキュメントを読み込ませるかで決まります。

·7 min read

根拠を持たせるとは実際に何か

顧客が質問すると、ボットはご自身のドキュメントを検索し、一致する箇所を見つけて、それに基づいて答えます。返品ポリシーを覚えているのではなく、質問された瞬間に読んでいるのです。

この違いは2つの理由で重要です。ポリシーは火曜日に変わることがあり、その変更は、火曜日の回答に正しく反映されます。また、回答が誤っているとき、原因はほとんどの場合、AIそのものの欠陥ではなく、ボットが誤った箇所を見つけたか、正しい箇所を見逃したことです。

意味だけで検索するのでは不十分

多くのボットは意味で検索します。これは言い換えをうまく扱えます。「これを返品できますか」と尋ねる人は、一語も共有していなくても、返品に関する箇所を見つけられます。

しかし、正確なコードの扱いは苦手です。RX-4410-Bのような部品番号、注文番号、特定のエラーコードなどです。これらは、意味で検索することが最も役に立たない質問です。重要なコードには、照合できる意味がないからです。

解決策は、ハイブリッド検索です。意味と正確な単語の両方で、同時に検索します。ProxyAIは既定でこれを行うため、商品コードを含む質問も、文章で書かれた質問と同じように機能します。

プラットフォームを比較しているなら、これを直接尋ねてください。「AI検索を使っています」という説明では、部品番号を引用した顧客が回答を得られるかどうかは分かりません。

ドキュメントの書き方は、どの設定よりも重要

ドキュメントを読み込むと、ProxyAIのドキュメント取り込み機能が、自動で短い段落に分割します。そのため、ご自身で設定する必要はありません。ご自身で管理できるのは、各ドキュメントのレイアウトをどれだけ明確にするかです。見出し、リスト、表がはっきりしているドキュメントは、適切な場所で分割されます。ただのテキストの塊は、そうではありません。また、段落が、意味を持たせていた文脈を失うこともあります。たとえば、どの商品の価格かが分からない価格などです。

ProxyAIのAIフォーマッターが、その整理を行います。ドキュメントをアップロードした後、確認画面でMarkdownをきれいに変換(AI搭載)を押してください。内容を書き換えたり、削除したりすることなく、見出し、リスト、表を復元し、ページ番号と繰り返されるヘッダーを取り除きます。少しだけクレジットを使います。

上位10件のサポートドキュメントを、実際の見出しで書き直すか、AIフォーマッターにかけることは、通常、どの調整よりも正確さを大きく改善します。

最も重要な規律:アップロードしないもの

すべてをアップロードしたくなるのは自然な発想です。しかし、それは誤った発想です。

ボットは、最も最新のものではなく、質問に最もよく一致するものを見つけます。昨年の配送ポリシーを、今年のものの隣に、別のファイル名で置いておくと、いつか顧客は間違った内容を、自信を持って伝えられます。そして、古い箇所がその理由として示されます。ボットが幻覚を起こしたのではなく、あなたが与えたドキュメントを読んだのです。

この問題のほとんどを防ぐ3つのルールがあります。

それぞれについて、現行のバージョンは1つだけ。置き換えられたドキュメントは、「参考のため」に残すのではなく、削除してください。ボットには「参考」という概念がありません。

更新するときは、同じファイル名を使う。ProxyAIでは、同じファイル名のドキュメントをアップロードすると、古いバージョンが置き換えられます。そのため、ポリシーが2つの矛盾したコピーとして積み重なるのではなく、更新されます。shipping-2026.pdfをshipping-2025.pdfの隣に置くような新しい名前にすると、両方が残ります。

公開する前に確認する。PDFからテキストを読み取るのは不完全です。数字の壁になってしまった表は、表がないよりも悪く、それは見て確認しない限り分かりません。

スキャンされたPDFは、既定値ではなく判断が必要

スキャンされたPDFや写真のPDFには、読み取れるテキストがないため、ボットは何も見えません。文字認識(OCR)で解決できますが、コストが増え、完璧になることはありません。

そのため、ドキュメントごとに判断してください。本当にスキャンであるドキュメントだけでオンにし、それ以外はオフのままにしておきます。ProxyAIは、ご自身のコンピューター上でこれを行うため、スキャンされたドキュメントは外部のサービスに送信されません。スキャンが契約書である場合は、知っておく価値があります。

各ボットは、自分のドキュメントだけを見るべき

複数のボットを運用している場合、それぞれに、独立した個別のドキュメントのセットが必要です。

それらを分けておくと、2つの点で保護されます。1つ目はプライバシーです。あるクライアントのボットが、別のクライアントのドキュメントを見ることは決してありません。2つ目は正しい回答を得ることです。返品期限の異なる2つのブランドが、1つのドキュメントのセットを共有していると、ボットは誤った会社のポリシーで答えてしまうかもしれません。セットを分けておけば、各ボットは自分のことだけを知っています。

うまく機能しているかどうかの確認方法

両方向でテストしてください。2つ目の方向を、多くの人が省略します。

カバーされていることを尋ねる。ドキュメントが直接答えている質問です。回答が、もっともらしい言い換えではなく、元の資料と一致しているか確認してください。

カバーされていないことを尋ねる。ドキュメントの近くにあるけれど、そこには書かれていない質問です。正しい動作は、分からないと認めることです。ここで自信を持って即興で答えるボットは、顧客に対しても同じことをします。そして、顧客がそれに基づいて行動するまで、気づくことはありません。

その後、ボットが答えられなかった質問を見てください。それらは、コンテンツのギャップです。実際の人が尋ねた質問という形で示されるため、計画会議で考えるどんなものよりも、次に書くべきことの優れた一覧になります。

よくある質問

チャットボットにご自身のドキュメントで根拠を持たせるとは、どういう意味ですか?

質問が届いたとき、一般的な知識から答えるのではなく、ボットがご自身のドキュメントで答えを探すという意味です。ドキュメントを更新すると、回答もすぐに更新されます。

ハイブリッド検索とは何で、サポートボットにとってなぜ重要ですか?

ハイブリッド検索は、意味と正確な単語の両方で、同時に答えを探します。意味だけの検索は言い換えられた質問をうまく扱えますが、商品番号、注文番号、エラーコードなどの正確なコードは苦手です。これらはサポートでよくある情報です。そのため、重要になります。

根拠を持たせたチャットボットが、古い回答をするのはなぜですか?

ほとんどの場合、古いドキュメントがまだボットのドキュメントの中に残っているためです。ボットは、最新のドキュメントではなく、質問に最も近いものを返すため、置き換えられたポリシーが、より適合する場合は必ず引用されます。新しいバージョンを同じファイル名でアップロードすると、古いものが置き換えられ、古いバージョンを削除すれば解決します。「参考のため」に残しても機能しません。ボットには「参考」という概念がないからです。

サポートチャットボットには、何件のドキュメントをアップロードすべきですか?

直感よりも少なくすべきです。追加されたドキュメントは、回答の新しい情報源になりえるため、重複や置き換えられたバージョンは、実際に正確さを下げます。トピックごとに現行のバージョンを1つずつ、見出しを明確にしておく方が、管理されていない大量のコンテンツより優れています。

スキャンされたPDFは、チャットボットのナレッジベースで機能しますか?

文字認識(OCR)がある場合のみです。スキャンには読み取れるテキストがないためです。すべてではなく、ドキュメントごとにオンにしてください。コストが増え、完璧になることはないためです。ProxyAIは、ご自身のコンピューター上でこれを行うため、スキャンされたファイルが外部のサービスに送信されることはありません。

あるチャットボットが、別のチャットボットのドキュメントを取得することはありますか?

各ボットが、独立した個別のドキュメントのセットを持っている場合は、ありません。これにより、あるクライアントのドキュメントが非公開に保たれ、ポリシーが混ざることも防げます。2つのブランドが1つのドキュメントのセットを共有していると、ボットは誤った会社のポリシーで答えてしまうかもしれません。

根拠を持たせたチャットボットが機能しているかどうか、どうやってテストしますか?

ドキュメントがカバーしている質問をして、回答を元の資料と照らし合わせてください。次に、ドキュメントの近くにあるけれど、そこには書かれていない質問をして、ボットが分からないと言うことを確認してください。2つ目のテストが、実際の失敗を予測するものです。


対応しているファイル形式、サイズの上限、ストレージの課金など、詳細はボットのナレッジガイドにあります。

rag · knowledge-base · retrieval