チャットボットの回答精度を上げる方法：シナリオ型と生成AI型では「改善の仕方」がまったく違う
チャットボットの回答精度を上げる作業は、施策を並べる前に、いま使っているのがシナリオ型か生成AI型かを確かめるところから始まります。種類が違えば、精度を上げる作業そのものが変わるからです。シナリオ型は言い回しを手で足していく調整が中心になり、生成AI型なら元になる情報をそろえたぶんが精度に返ってきます。
手を付ける順番としては、種類を確かめ、元になる情報をそろえ、そのうえで答えられなかった質問を利用履歴から拾って足していく形になります。カテゴリーで見る範囲を絞るのは、その後で構いません。
チャットボットの「回答精度」とは何か：正答率・解決率・無回答率の違い
「回答精度」という言葉は広く使われていますが、測り方によって意味が変わります。混同しやすい指標を、先に整理しておきます。
| 指標 | 定義 | 特徴 |
|---|---|---|
| 正答率 | 利用後アンケートで「満足」と答えた割合 | 主観評価のため人によってブレる。業界平均60〜80%の数値はこの指標が中心 |
| 解決率（完結率） | チャットボットだけで問題が解決した割合 | 「答えは返ったが結局電話した」はカウントされない |
| 無回答率（ノーヒット率） | 回答を返せなかった質問の割合 | シナリオ型で特に重要な指標 |
正答率が高くても解決率が低いなら、回答そのものは合っているのに、情報量や次の案内が足りていないと読めます。シナリオ型で無回答率が高いなら、そもそもカバーしている範囲の設計を見直す番かもしれません。
精度の話を始めるときは、どの指標を上げたいのかを先に決めることが出発点になります。ここを決めずに「精度を上げよう」と動くと、その施策が効いたのか効かなかったのかを、あとから判断できなくなってしまいます。
ログから改善点を拾う具体的な手順は、会話ログとは？チャットボットの記録から「お客さまの本音」を見つける読み方と活かし方にまとめています。
回答精度が上がらない3つの根本原因
期待した精度に届かないとき、原因はだいたいこの3つのどれかに行き着きます。
原因① チャットボットの種類が、目的と合っていない
いちばん見落とされやすい原因です。シナリオ型は「あらかじめ用意した質問と回答のセット」しか返せないため、設計の範囲から外れた質問には黙り込みます。想定していない聞き方をされると精度が落ちる、という構造的な弱点を抱えています。
一方の生成AI型は、質問の言い回しが変わっても、登録した情報から回答を組み立てられます。種類の選び違いから来る精度の問題は、運用の工夫では埋まりません。ここだけは、入れ替えないと解決しないところです。
使われないまま終わる典型は、チャットボット導入の失敗事例から考えるにまとめています。
原因② 元になる情報の質が低い
AI型でもシナリオ型でも、精度は元にする情報の質で決まります。内容が古い、抜けが多い、あちこちで矛盾している。こうした状態では、いくら改善を重ねても頭打ちになってしまいます。
原因③ 精度を測る仕組みがない
「精度が低い気がする」と感じていても、どの質問に答えられていないのか、どのやり取りが不満だったのかを、そもそも把握できていないことがあります。ログを集めて見る仕組みがないと、改善のサイクルを回したくても、何を直せばいいのかが分かりません。
精度が上がらない原因の多くは、「種類選びのミス」か「ログを見ていない」のどちらかに寄っています。
シナリオ型と生成AI型では「精度の上げ方」がまったく違う
ここが、種類によって話の分かれるところです。世の中の「精度向上ガイド」の多くは、シナリオ型や従来の機械学習型を前提に書かれています。「表記ゆれを手で足す」「類義語を登録する」「答えられなかった質問を一つずつ潰す」といった作業が中心で、生成AI型の運用とはだいぶ勝手が違います。
シナリオ型：終わりの見えない、手作業の調整
シナリオ型は「想定問答集」のような造りです。「支払い方法を教えて」に答えられても、「お金はどうやって払うの？」と聞かれると、別の質問として扱われます。同じ意味の言い回しを、揺らぎとして登録し続ける作業が、いつまでも続きます。
問い合わせの種類が増えるたびに、シナリオを足したり直したりする必要があり、運用の手間は増える一方です。ログを見て、いまいちな回答を探して、質問文を直す。これを毎週くり返すのが、シナリオ型の現実だと思います。
生成AI型：情報の充実が、そのまま精度になる
生成AI型は、登録した商品・サービスの情報をその場で検索し、質問に合わせて回答を組み立てます。「支払い方法」でも「お金はどうやって」でも、意味が同じなら同じ情報にたどり着きます。この、登録した情報を検索してから答える仕組みはRAGと呼ばれていて、RAGチャットボットとは？非エンジニアでもわかる仕組みと、中小企業での現実的な活用法で仕組みをかみ砕いて説明しています。
つまり「質問文のパターンを足す」のではなく「情報を充実させる」ことが、精度向上の主軸になります。
| 状況 | シナリオ型での対応 | 生成AI型での対応 |
|---|---|---|
| 回答できない質問が出た | 質問文と回答を新規登録 | ナレッジに情報を追加 |
| 誤った情報で回答していた | シナリオ分岐を修正 | ナレッジの内容を修正 |
| 言い回しが多様すぎる | 揺らぎを延々と登録 | 対応不要（意味で解釈する） |
| 情報が古くなった | シナリオを書き換え | ナレッジを更新 |
「この言い回しに対応する」ではなく「この情報を正しく持っているか」で考えられるのが、生成AI型の身軽なところです。両者の違いをもう少し広く見比べたいときは、シナリオ型と生成AI型のチャットボットを比較するもあわせてどうぞ。
SHIRITAIではこうなる：答えられなかった質問から、精度を育てる
ここからは、生成AI型を使っている前提で、SHIRITAI（シリタイ）の画面で実際にどう精度を上げていくのかを見ていきます。やることは難しくありません。答えられなかった質問を見つけて、ナレッジを足し、カテゴリーで整理する。そしてまた見る。この輪をゆっくり回すだけです。
見つける：利用履歴で「答えられなかった質問」を拾う
精度を育てる出発点は、実際に来た質問を見ることです。SHIRITAIは、利用者がチャットに打ち込んだ内容をそのまま記録します。下の画面では、「費用はいくら？」といった生の質問と、利用回数180回といった数字が、時系列で残っています。
ここを眺めると、よく聞かれているのに、うまく答えられていない質問が浮かび上がってきます。SHIRITAIは、入力された内容を集計して「よく聞かれている話題」や「答えきれていない質問のかたまり」を見えるようにするので、担当者が毎日ログを読み込まなくても、「今週はこの話題が増えた」といった傾向をつかめます。AIから担当者へ切り替わったやり取りも、次に何を足すべきかの大事なヒントになります。
ログは「読むもの」ではなく「集計させるもの」です。手で全部読んでいるうちは、なかなか精度まで手が回らないかもしれません。
足す：見つかった穴に、ナレッジを追加する
答えられていない質問が見えたら、その答えをナレッジとして足します。書き方には、少しだけコツがあります。
- 1つのナレッジに、1つの話題だけを書く。あれもこれもと詰め込まない。
- 想定される聞かれ方と答えを、セットで書く。
- 料金表・比較・手順は、表や箇条書きにして読み取りやすくする。
商品の仕様をそのまま貼るより、「○○の場合はどうなりますか？」という問いに答える形でまとめると、AIが回答を組み立てやすくなります。下は、返品・交換や送料、営業時間といった質問と答えが並ぶナレッジ管理の画面です。ここに1件ずつ足していくと、答えられる範囲が少しずつ広がっていきます。
有人対応を組み合わせている場合は、担当者が解決したやり取りが、そのまま「次に足すべきナレッジ」の下書きになります。対応が終わったら内容をナレッジへ反映する。これを習慣にすると、人が答えた分だけAIが賢くなっていきます。
整理する：カテゴリーで分類して、AIが見る範囲を絞る
ナレッジが増えてくると、今度は「情報が多すぎて、AIがどれを見ればいいか迷う」という別の問題が出てきます。そこで効くのがカテゴリーです。SHIRITAIでは、ナレッジを「料金・配送」「商品について」といったカテゴリーに分けられます。
カテゴリーで参照する範囲を絞ると、精度も速度も上がります。カテゴリーの説明文を丁寧に書いておくと、どの質問をどのカテゴリーで受けるかというAIの判断が、さらに正確になります。カテゴリーの見せ方は「詳細設定」で選べて、タブで固定する、利用者に選んでもらう、AIに自動で推測させる、あるいは使わない、の中から運用に合うものを選べます。
あとは、また利用履歴に戻るだけです。足して、整理して、また見る。この輪を回した回数だけ、精度は積み上がっていきます。改善は一度で終わりではなく、履歴を見ながら少しずつ育てていくものだと考えてみてください。
回答精度の目標値と、育つまでの現実的な道のり
「導入したら、最初から高い精度で動く」と期待されることがありますが、公開した時点での正答率は60%前後が業界の目安です。
これは、チャットボットが「育つ」のに時間がかかるためです。実際の利用者は、設計した人が思いつかなかった表現や聞き方をしてきます。公開してからのやり取りをためて改善に反映していくことで、3ヶ月後に80%くらいの安定した精度を目指す。これが現実的な見通しかなと思います。
| 時期 | 目標正答率 | やること |
|---|---|---|
| 公開直後 | 60% | ログ収集の仕組みづくり、答えられない質問の蓄積 |
| 1ヶ月後 | 70% | ナレッジの初回拡張、頻出質問の網羅 |
| 3ヶ月後 | 80% | 利用履歴にもとづく継続改善、有人ログの反映 |
「精度が低い時期」は、失敗ではありません。どんな質問が来るのかを知るための、学習の期間です。この位置づけをチームで共有しておくと、運用担当者が数字に焦らずに済みます。
精度100%を目指さない理由
精度100%は、かけた手間に見合いません。残り20%の難しい質問に応えようとすると、情報の作り込みや有人対応の組み合わせが必要になり、投じる労力のわりに得られるものが小さくなっていきます。
答えられない質問は、人が引き継ぐ設計にしておけば、「100%に近づけるための終わらない作業」から解放されます。チャットボットは「全部答えるもの」ではなく「定型の質問を手早くさばくもの」と捉えておくくらいが、ちょうどよいはずです。
困りごと別｜SHIRITAIで解決できること10
回答の精度で困っているところを並べます。左がいま起きていること、右がSHIRITAIでどう受けられるかです。
| いま起きていること | SHIRITAIでどう受けるか |
|---|---|
| 聞き方が変わると答えられない | 質問文ではなく答えの元を登録するので、意味で拾える |
| どこで間違えたのか分からない | 答えられなかった質問が利用履歴に残る |
| 直しても同じ質問でまた止まる | 登録内容を直せば、関連する答えも変わる |
| 答えが長すぎて読まれない | お客さまに返す言葉で登録しておけば、そのまま返せる |
| 条件つきの質問で誤った案内をする | 登録した条件と例外を組み合わせて返せる |
| 古い情報のまま答えている | 更新の担当を分けて、変えたときに直す運用にできる |
| 知らないことを推測で答えてしまう | 教えていないことは答えない作りになっている |
| 改善のたびに外部へ依頼している | 管理画面から自分で追加・修正できる |
| 何件くらい登録すればよいか分からない | 多い順に20件から始めて、記録を見ながら足せる |
| 精度が上がったか確かめられない | 答えられなかった質問の件数の変化で見られる |
全部を一度に直す必要はありません。答えられなかった質問を10件登録するだけで、体感はかなり変わります。
よくある質問
導入直後から精度は高いものですか？
最初から全部に答えられる状態にはなりません。最初の2、3か月は、どんな言葉で何を聞かれるかを見て埋めていく期間だと考えておくと、進め方を間違えません。
精度を上げるために、まず何をすべきですか？
答えられなかった質問を見ることです。そこに登録漏れと言い回しのずれのどちらが多いかで、次の手が変わります。前者なら足す、後者なら答えの書き方を見直します。
答えが長くなってしまいます。
条件・例外・次にしてもらうこと、の3つが入っていれば十分です。規程の条文をそのまま入れると長くなるので、お客さまに返す言葉に直してから登録してください。
同じ内容を何度も登録すべきですか？
不要です。言い回しの数だけ登録する発想だと運用が続きません。答えを1つ用意して、意味で拾ってもらう形にしてください。
精度が上がったことを、どう社内に示しますか？
答えられなかった質問の件数と、人が直接対応した件数。この2つを月ごとに並べるのが分かりやすいと思います。
まとめ：回答精度は「育てるもの」
チャットボットの回答精度を上げるうえで、押さえておきたいのは次の3点です。
- 種類によって、上げ方が根本から違う：シナリオ型は質問パターンの手動追加、生成AI型は情報の充実が中心です。いま使っている種類に合ったやり方を選んでください。
- 最初から100%を求めない：公開時60%、3ヶ月後80%が現実的な目標です。答えられなかった質問を定期的に見直し、改善へ反映するサイクルを作ります。
- 答えられない質問は、人が引き継ぐ：取りこぼしを減らすには、AIと有人対応の組み合わせが効きます。
チャットボットは「入れて終わり」ではなく、運用しながら育てていく仕組みです。見つけて、足して、整理する。この習慣を回せる体制を整えることが、最終的な成果にそのままつながります。体制づくりまで含めた運用の全体像は、チャットボットの運用改善ガイドで解説しています。
精度の数字は、放っておいて上がるものではありません。それでも、利用履歴を見てナレッジに反映する習慣さえあれば、着実に積み上がっていきます。まずは無料トライアルで、自社のよくある質問を登録したときの回答の質から、確かめてみてください。
SHIRITAI（シリタイ）は、HELATH株式会社が提供するAIチャットボットサービスです。
