AIチャットボットは、何を元に答えているのか｜「答えの出どころが見える」とはどういうことか

AIチャットボットは、何を元に答えているのか

「AIチャットボットを入れたいが、変なことを答えないか心配だ」。導入を検討する会社から、一番よく聞く言葉です。

心配はもっともです。ただ、その心配のほとんどは「AIが何を元に答えているのか」が見えないことから来ています。仕組みが分かれば、何を確かめればいいかも分かります。この記事では、その仕組みを専門用語を使わずに説明します。

生成AIは、そのままでは「一般論」しか答えない

ChatGPTのような生成AIは、世の中の膨大な文章を学んでいます。だから一般的なことには詳しい。けれど、御社の営業時間も、料金も、駐車場の台数も知りません。学んだ文章の中に、御社のことが書かれていないからです。

そのままの生成AIに御社の代わりをさせると、知らないことを、それらしく答えます。これが「AIが嘘をつく」と言われる現象の正体で、AIに悪気はなく、知らないことを知らないと判断する材料が無いだけです。

だから、答えの材料を先に渡す

サイトに置くAIチャットボットは、この問題を「答える前に材料を渡す」ことで解決しています。お客様から質問が来ると、AIはまず御社の情報の中から関係する部分を探し、それを見ながら答えを書きます。試験で言えば、教科書の持ち込みが許された状態です。

この「材料」に何が入っているかが、答えの質をほぼ決めます。材料の入れ方は、だいたい3通りです。

1. サイトを読み込む 御社のホームページを丸ごと読んで、材料にします。手間は一番少なく、サイトが充実していれば、それだけで大半の質問に答えられます。

2. ファイルを入れる 料金表のPDF、マニュアル、よくある質問の一覧など。サイトに載せていない情報はここから入れます。

3. 文章を貼る お客様に返したメールや、社内のメモ。「こう聞かれたら、こう答える」を一番そのまま伝えられます。

「出どころが見える」とはどういうことか

ここまでは、多くのサービスで同じです。差が出るのはこの先で、AIが答えに使った材料を、人が読める形で確認できるかどうかです。

具体的には、次のようなことが画面で見えるかどうかです。

• AIが御社について「知っている」ことが、項目ごとに日本語で並んでいるか
• それぞれの項目が、サイトのどのページから来たのか（URL）が付いているか
• AIが書いた項目と、御社が直した項目の区別が付くか
• 材料が見つからなかった項目が、空欄でなく「足りない」と示されるか

これが見えると、運用が変わります。間違った答えが出た時に、どの項目を直せばいいかが一目で分かる。料金を改定した時に、どこを書き換えればいいかが分かる。「AIがどう動いているか分からない」という不安が、「ここを直せば直る」という作業に変わります。

逆に、ここが見えないサービスは、答えが違っていた時に打つ手がありません。問い合わせて調べてもらう、という話になります。

知らないことを、知らないと言えるか

もう一つ、材料と同じくらい大事なのが「答え方の決まり」です。

材料の中に答えが無い時、AIはどうするか。推測で埋めるのか、「確認できません」と伝えて人に繋ぐのか。前者は便利に見えますが、お客様に間違った案内をするのはこの場面です。後者は一見不親切ですが、お客様との信頼はこちらの方が守れます。

決まりを決めるのは御社です。料金は書かれている通りにしか案内しない。値引きの相談には乗らない。予約の確定はしない。答えられない時は、名前と連絡先を預かって担当者に繋ぐ。こうした決まりが最初から用意されていて、御社が書き換えられない形で守られているかどうかも、選ぶ時の目安になります。

答えられなかった質問は、サイトの足りない一行

最後に、視点を一つ変えます。

AIが答えられなかった質問は、失敗ではありません。それは「お客様が知りたいのに、サイトに書かれていないこと」の一覧です。営業時間外に来た人が何を聞いたか、同じ質問が何度来ているか。人が電話で受けていた時には残らなかったものが、文字で残ります。

答えられなかった質問を材料に足していく。それを繰り返すと、チャットが賢くなるだけでなく、サイトそのものが、お客様の聞きたいことに答えるサイトになっていきます。

---

当社の無料AIチャットボット「MIRA」は、AIが答えに使う情報を14の項目に整理し、項目ごとに出どころのURLを付けて画面に並べます。答え方の決まりはすべてのMIRAに共通で、答えられなかった質問は回答履歴に残ります。毎月50人のお客様対応まで¥0です。

→ MIRAの機能を見る → 作ってみる（登録なし）