チャットボットのKPI設定と効果測定｜測れる指標・計算式・月次の報告のしかた

チャットボットのKPIは、目的を1つ決めてから指標を1〜2つ選ぶという順番で決めると、毎月の判断がぶれにくくなります。目標値も、他社の平均ではなく自社の前月に置いてみてください。翌月からは、上がったのか下がったのかで判断できるはずです。

効果測定、評価指標、KPI。社内では入れ替わりに使われがちですが、測れる数字の候補が評価指標、そこから目的に合わせて選んだ1〜2つがKPI、その数字を月に一度見て次に直す1か所を決める作業が効果測定にあたります。以下もこの呼び分けで書いています。

「効果が出ているのか、正直よく分からない」から抜け出す

チャットボットを置いてしばらく経つと、こんな状態になりがちです。管理画面の数字はなんとなく眺めているけれど、それが良いのか悪いのかは判断がつかない。問い合わせは減った気もするが、確信までは持てない。次にどこを直せばいいのかも、はっきりしないまま月が過ぎていく。

原因の多くは、指標を追いすぎていることにあります。起動数、回答率、解決率、遷移数、満足度、CVR。並べればきりがなく、これを毎月きちんと全部見るのは、片手間で運用している担当者にはまず難しいはずです。何でも測ろうとすると、かえって何も改善できなくなります。

この記事では、そもそも何が測れるのかを一覧で押さえたうえで、目的に合わせて「追う指標」を1〜2つに絞る考え方と、SHIRITAI（シリタイ）の画面で実際に何を見て何を直すのかまでを、順にたどっていきます。なんとなく運用から卒業するための、地に足のついた手順です。

KPI・効果測定・評価指標は、それぞれ何を指すのか

チャットボットのKPIとは、導入して何を良くしたいのかを1つ決め、そこへ近づいているかを毎月同じやり方で見るために選んだ数字のことです。数字そのものより、目的とセットになっているかどうかでKPIかどうかが決まります。

近い言葉がいくつかあって、社内で混ざりがちです。厳密に使い分けなくても困りませんが、決める順番だけは変わりません。

言葉	指しているもの	例
目的（KGI）	最終的にどうなっていたいか	人が直接対応する件数を半分にする
KPI	そこへ近づいているかを見る数字。1〜2つに絞る	有人対応の件数、答えられなかった質問の件数
評価指標	測れる数字の候補そのもの。この中からKPIを選ぶ	起動数、自己解決率、有人切替率、声かけの反応率
効果測定	選んだ数字を決めた頻度で見て、次に直す1か所を決める作業	月に一度、記録と数字を30分ぶん見る

順番は、①目的を1つ決める ②評価指標の中からKPIを1〜2つ選ぶ ③見る頻度を決める、です。ここが逆になると、数字は毎月そろっているのに何も決まらない、という状態になりがちです。先に決めるのは目的のほうだと思います。

そもそも、何が測れるのか

指標を選ぶ前に、測れるものの全体像をつかんでおくと迷いません。チャットボットの数字は、利用者がたどる順番に沿って並べると整理できます。

段階	指標	何がわかるか
見られた	表示回数	チャットの入口が、どれだけの人の目に触れたか
話しかけられた	起動数・会話数	実際に使ってみようと思った人の数。設置場所や見え方の良し悪しが出る
答えられた	自己解決率・回答できなかった件数	登録した情報で足りているか。中身の充実度がそのまま出る
人に代わった	有人切替率・対応までの時間	AIと人の線引きが合っているか。人手の負担がどれだけ残っているか
その先へ進んだ	問い合わせ・予約・資料請求の数	会話が成果につながったか
いつ使われたか	時間帯別・曜日別の利用	営業時間外の取りこぼしをどれだけ拾えているか

全部を毎月見る必要はありません。むしろ、この中から自社の目的に合う1〜2つだけを選ぶのがこの記事の主旨です。ただ、選ぶためには何があるかを知っておく必要があるので、一度この一覧に目を通しておいてください。

主な指標の計算式

言葉の定義は会社やツールによって少しずつ違います。社内で話がずれないよう、計算式まで決めておくのがおすすめです。

指標	計算式	読み方の注意
自己解決率	人に代わらずに終わった会話 ÷ 会話の総数	「答えた」と「解決した」は違う。答えたのに離脱している会話もあるので、記録も併せて見る
有人切替率	人に代わった会話 ÷ 会話の総数	低ければ良いとは限らない。込み入った相談を人が受けられている証拠のこともある
声かけの反応率	反応した数 ÷ 声をかけた数	出す場所とタイミングで大きく変わる。全体平均より、声かけごとに見る
回答できなかった率	答えられなかった質問 ÷ 質問の総数	ここがいちばん改善に直結する。数より中身を読む
時間外の利用率	営業時間外の会話 ÷ 会話の総数	これまで取りこぼしていた分。導入の効果を説明しやすい数字

目標値は、他社の平均でなく自社の前月に置く

「自己解決率は何%あればいいですか」と聞かれることがあります。業種によっても、扱っている商材の複雑さによっても妥当な水準は変わるので、外の平均値を目標にするとたいてい噛み合いません。

おすすめは、最初の1〜2ヶ月を計測だけの期間にして、その数字を自社の基準にするやり方です。基準さえ決まれば、翌月からは「先月より上がったか下がったか」で判断できます。上がっていれば続ける、下がっていれば原因を探す。それだけで運用は前に進みます。

指標を絞る考え方や運用の全体像は、チャットボットの運用改善ガイドでもう少し広く扱っています。あわせて読むと、この記事の位置づけがつかみやすいはずです。

導入前に、比べる基準を1週間ぶん取っておく

効果測定でいちばん多いつまずきは、指標の選び方ではなく、比べる相手が手元にないことだと思います。公開してから「前はどれくらいだったか」を思い出そうとしても、正確には誰も覚えていません。

公開の前に、1週間だけ数えておいてください。正の字で足ります。

数えるもの	数え方	あとで何に使うか
経路ごとの問い合わせ件数	電話・メール・フォームに分けて正の字	公開後に同じ数え方で比べる。減ったかどうかの土台
1件にかかっている時間	10件だけ時計で測って平均を出す	報告のときに、件数を時間へ置き換える
営業時間外に届いていた件数	翌朝の留守電と、メールの受信時刻を見る	これまで取りこぼしていた分の大きさ
よく届く質問の上位10件	担当者に、思い出せるだけ書き出してもらう	最初に登録する内容。答えられなかった質問との比較にも使う

ここまで取ってあると、あとの報告がずいぶん楽になります。公開してしまうと取り直せない数字なので、急ぐ場合でも1週間だけは確保する価値があるはずです。導入の段取りそのものはチャットボット導入の進め方にまとめています。

まず、目的を1つ決める

KPIを選ぶ前にやることは、「このチャットボットで何を一番達成したいのか」を1つに決めることです。目的が決まれば、追う指標は自然と絞られます。代表的な3つの目的で整理してみます。

サポートを軽くしたい

問い合わせ対応の負担を減らしたいなら、見るのは自己解決率と有人切替率です。自己解決率は、利用者がAIとのやり取りだけで用件を終えられた割合。有人切替率は、人の対応に回った割合です。前者が上がり後者が下がっていれば、スタッフの手が少しずつ空いてきているサインになります。ただ、有人切替が多いこと自体は悪ではありません。込み入った相談は人が受けたほうが早いこともあり、その線引きがうまくいっている証拠と読めることもあります。

引き合いを増やしたい

売上や見込み客につなげたいなら、声かけの反応率と問い合わせ転換を見ます。反応率は、チャットボットから出した声かけに対して、どれだけの人が反応したか。問い合わせ転換は、会話を経て問い合わせや資料請求まで進んだ数です。起動数の多さだけで一喜一憂せず、そこから先へ進んだかを追うのがコツかもしれません。引き合いを増やす導線の作り方はチャットボットでリード獲得を強化するで扱っています。

取りこぼしを防ぎたい

営業時間外の機会損失を減らしたいなら、夜間・休日にどれだけ使われているかを見ます。深夜や休日の利用が積み上がっていれば、これまで取りこぼしていた問い合わせを拾えている、と読めます。時間帯別の利用が確認できると、この効果が数字として見えてきます。夜間対応そのものの設計は夜間・休日の問い合わせを取りこぼさない方法をどうぞ。

SHIRITAIでは、どの画面で何を見るか

ここからが本題です。指標を決めても、実際にどこを見て、どこを直すのかが分からなければ運用は前に進みません。SHIRITAIの画面で、具体的に見ていきます。

営業用途：声かけの反応率をトリガーごとに見る

SHIRITAIには、利用者の入力を待つのではなく、設置ページの状況を見てチャットボットの側から先に声をかける営業AIモードがあります。設定画面でモードを切り替えると、声かけの機能が使えるようになります。

どのページで、どんなときに、何を出すかはトリガーとして管理します。一覧で見ると、いまどんな声かけが動いているのかがひと目で分かります。

個別の編集画面では、「料金ページに来て15秒たったら」といった条件と、そのときに出す文面を設定します。測るだけでなく、直す場所がここにあるのが大事なところです。

結果はアナリティクスの「先回り営業（トリガー別）」に集計されます。下の画面では、ある声かけが36回表示され、そのうち9回ボタンが押されて、反応率は25%と出ています。トリガーごとに、表示回数・反応数・反応率・閉じられた数が並ぶので、どの声かけが効いていて、どれが空振りしているかがひと目で分かります。

やることは単純です。反応率の低い声かけは、文言か出すタイミングを見直す。反応率の高い声かけは、似たページにも横展開する。この判断が、勘ではなく数字でできるようになります。先回りで声をかけるWeb接客の考え方そのものは、Webサイトで「接客」できていますか？チャットボットで待ちを先回りに変えるにまとめました。

集計の画面でどこまで見えるかはアナリティクスにまとめてあります。

サポート用途：利用履歴で「答えられていない質問」を探す

自己解決率を上げたいときに、いちばん効くのが利用履歴です。SHIRITAIは、利用者が実際に打ち込んだ質問をそのまま記録します。下の画面では、「費用はいくら？」といった生の質問と、利用回数180回といった数字が、時系列で残っています。

ここを読むと、よく聞かれているのに、うまく答えられていない質問が見つかります。たとえば料金に関する質問が多いのに回答が曖昧なら、そこを1件直すだけで自己解決率は動きます。有人対応の件数はアナリティクスの概要に出るので、利用回数と合わせれば有人切替率もつかめます。質問ログの読み解き方は、会話ログとは？チャットボットの記録から「お客さまの本音」を見つける読み方と活かし方で詳しく紹介しています。

見つけた質問は、ナレッジに1件足せば翌日から答えられるようになります。数字を見て終わりにせず、この画面まで来て手を動かすところまでを1セットにしてください。

なお、カテゴリー別・時間帯別・よくある質問といった詳しい分析は、ご契約のプランによって見られる範囲が変わります。まずは概要の数字と利用履歴だけでも、直す場所は十分に見つかるはずです。

会話をそのまま読み返す側の画面は利用履歴で、評価や期間で絞り込んで確認できます。

数字から見つかるのは、こういう質問です

「自己解決率が低い」という数字だけでは何も直せません。記録まで下りると、直すべき場所が具体的に出てきます。実際にどう変わるのかを、3つの例で見てみます。

チャットボット側だけでは見えない数字を、どう補うか

チャットボットの管理画面で見えるのは、あくまでチャットの中で起きたことです。その前後は見えません。たとえば次のような疑問は、チャット側の数字だけでは答えが出ません。

• チャットを使った人と使わなかった人で、問い合わせに進む率は違うのか
• そもそもチャットの入口は、何人に見られているのか
• チャットで話したあと、どのページへ移動したのか

ここはアクセス解析の担当領域です。サイトのアクセス解析側で、チャットの起動や、声かけへの反応をイベントとして記録しておくと、上の3つが見えるようになります。設定はサイトを作った会社に依頼すれば1時間かからない作業のはずです。

知りたいこと	どちらで見るか	見方
何を聞かれたか	チャットボット側	利用履歴に残った実際の質問を読む
答えられたか	チャットボット側	自己解決率、答えられなかった質問の件数
声かけが効いたか	チャットボット側	トリガー別の反応率
入口が見られているか	アクセス解析側	チャット入口の表示回数と、そのうち起動した割合
問い合わせに効いたか	アクセス解析側	チャット利用ありとなしで、問い合わせ到達率を比べる
会話のあとどこへ行ったか	アクセス解析側	チャット起動後の遷移先ページ

ただ、最初からここまで組む必要はありません。チャット側の数字だけでも、直す場所は十分に見つかります。アクセス解析との突き合わせは、社内で「効果があったのか」を問われるようになってから足せば間に合います。

数字が動かないときに、疑うところ

何ヶ月か運用しても数字が動かないときは、たいてい次のどれかです。上から順に確かめてみてください。

症状	疑うところ	やってみること
起動数が伸びない	入口が気づかれていない	設置ページを検討が進んだページに寄せる。声かけを1つ足す
起動はするが1往復で終わる	最初の答えが物足りない	よく来る質問の答えを、具体的な数字や条件まで書き足す
自己解決率が上がらない	登録が足りない／言い回しがずれている	答えられなかった質問を10件、足す・直す・渡すに仕分ける
有人対応が減らない	手続き系が人に流れている	人が受けた会話を読み、定型のものを登録に回す
問い合わせにつながらない	会話の出口がない	会話の中に資料や問い合わせへの導線を置く

「上がった」と言えるのは、どこからか

翌月にまた測る、と決めたあとに出てくるのが、差の読み方です。自己解決率が3ポイント上がった。直した効果なのか、それともたまたまなのか。ここを見分けないまま報告を重ねると、効いていない打ち手が「良かったこと」として残ってしまいます。

手がかりになるのは、その月の会話数です。率は割り算ですから、分母が小さいほど会話1件の増減で大きく跳ねます。会話1件で率が何ポイント動くのかを先に出しておくと、差を読むときの物差しになるのではないでしょうか。

1件ぶんの幅（ポイント）＝ 1 ÷ その月の会話数 × 100

1か月の会話数	1件ぶんの幅	その月の差の読み方
20件	5.0ポイント	5ポイント動いても、中身は会話1件。率では語らず、件数と会話の中身で見る
50件	2.0ポイント	2ポイントの差は1件ぶん。見るのは月に一度のままで、判断は2か月分をまとめてから
100件	1.0ポイント	1ポイントが1件。数ポイントの差なら、数件ぶんの動きとして読める
300件	0.3ポイント	1ポイントの差でも3件ぶん。直した月と直していない月を分けて比べられる

差が1件ぶんの幅と同じくらいなら、たまたま1人の動きで説明がついてしまう範囲です。会話数が少ないうちは、率よりも件数で見たほうが読み違えが起きません。「答えられなかった質問が12件から7件に減った」という書き方なら、母数の大小に振り回されずに済むはずです。減ったのがどの質問かは、会話ログを開けば確かめられます。

分母に何を入れるかを、先に決めておく

もう一つ、前月との比較を壊すのが数え方です。同じ「会話数」でも、何を1件と数えるかで率は動きます。翌月に数え方を変えてしまうと、上がったのか下がったのかではなく、ただの計算違いを眺めることになりかねません。

公開前の1週間で基準を取るときに、あわせて次の4つを、数えるか数えないかだけ決めておいてください。決めた内容は1行のメモで足ります。

• 入口が表示されただけで、一度も話しかけられなかった回
• 1往復もせずに閉じられた会話
• 同じ人が同じ日に何度か開いたとき、1件と数えるか、その都度数えるか
• 社内のテストや、担当者が動作確認のために開いた会話

とくに最後の1つは、公開直後にまとまって発生します。基準にする月の数字にテスト分が混ざっていると、翌月は何も悪くなっていないのに下がって見える、ということが起きかねません。

率を書き残すときは、内訳も一緒に置いておくと後が楽になります。「自己解決率62%」ではなく「62%（112件中69件）」と書いておけば、半年後に見返しても、そのときの1件ぶんの幅まで計算し直せます。

数字を「直す」につなげる、4つのサイクル

効果測定は、数字を眺めるための作業ではありません。次に何を直すかを決めるための、材料集めです。うまく回っている運用は、だいたい同じ回り方をしています。

測って、弱いところに気づいて、1つだけ直して、翌月にまた測る。ここで大事なのは、一度に複数を変えないことです。声かけの文言もタイミングもナレッジも一気にいじると、どれが効いたのか分からなくなります。月に1か所だけ変えて、その結果を翌月の数字で確かめる。地味ですが、これが精度改善のいちばんの近道だと思います。回答精度そのものを上げる打ち手はチャットボットの回答精度を上げる方法にまとめています。

報告するときは、数字を時間とお金に置き換える

「反応率が25%になりました」「有人対応が減りました」という数字は、運用担当者には響いても、経営層にはいまひとつ伝わりにくいものです。決裁や契約更新の場面では、KPIを時間やコストの言葉に翻訳するひと手間が効いてきます。

やり方はシンプルで、有人対応の件数がどれだけ減ったかを出し、1件あたりにかかっていた対応時間をかけ算して、削減できた時間に直します。そこに時間あたりの人件費をかければ、金額の目安になります。あわせて「営業時間外の問い合わせをこれだけ拾えた」といった取りこぼし防止の話を添えると、入れてよかったと判断してもらいやすくなります。具体的な試算の組み立ては、チャットボット導入の費用対効果を正しく試算するで、計算の順番まで追えます。

月に一度、報告する5行

報告書を作り込む必要はありません。次の5行だけあれば、判断する側は困らないはずです。

行	書くこと	書き方の例
1	今月の会話数と、先月との差	今月180件（先月比 +22件）
2	人が受けた件数と、先月との差	人の対応は31件（先月比 −9件）
3	浮いた時間	9件 × 1件15分 ＝ 約2時間15分
4	答えられなかった質問の上位3件	領収書の宛名変更／請求書の再発行／支払い方法の変更
5	来月直す1か所	請求まわりの手順を3件登録する

大事なのは5行目です。報告を「次にやること」で締めると、数字を見る作業が実務につながります。逆にここが無いと、報告は毎月同じ形で提出されるだけの資料になっていきます。

困りごと別｜SHIRITAIで解決できること

いま起きていること	SHIRITAIでどう受けるか
数字は出ているが、良し悪しが判断できない	最初の1〜2ヶ月を基準にして、翌月から前月比で見る
指標が多すぎて、どれを見ればいいか分からない	目的を1つ決めれば、追うのは1〜2つに絞れる
自己解決率が低い理由が分からない	利用履歴で、答えられていない質問を1件ずつ確かめる
有人対応が減らない	人に流れている会話の中身を読み、手続き系は登録して自動化する
声かけが効いているか分からない	トリガーごとに表示回数・反応数・反応率が出る
効いていない声かけを直せない	トリガー編集で、文面と出すタイミングをその場で変える
改善しても効果が確かめられない	月に1か所だけ変えて、翌月の数字で確かめる
経営層に説明できない	件数を時間に、時間を金額に置き換えて報告する
営業時間外の効果が示せない	時間帯別の利用から、これまで拾えていなかった分を出す
報告書づくりに時間がかかる	5行の型を決めて、毎月同じ場所の数字を書き写す

よくある質問

まとめ：目的を1つ、指標を1〜2つ、直すのは月に1か所

チャットボットのKPIで大切なのは、全部を追わないことに尽きます。何が測れるかを一度押さえたうえで、目的を1つ決め、それに対応する指標を1〜2つに絞る。SHIRITAIなら、営業用途は先回りの反応率を、サポート用途は利用履歴と有人対応の件数を見れば、はじめのうちは十分に足ります。数字が動いたら原因を1つずつ特定して、月に1か所だけ直す。

広告から来た人に対して何をどう測るかは、広告のランディングページで問い合わせが増えないでもう少し細かく扱っています。

この回し方に慣れてくると、チャットボットは導入直後より半年後、1年後のほうが頼れる存在になっていきます。まずは無料トライアルで自社の画面を触りながら、「どの数字を最初の1つにするか」を決めるところから始めてみてください。

SHIRITAI（シリタイ）は、HELATH株式会社が提供するAIチャットボットサービスです。