ある保険会社が、コンテンツ生成から評価へと切り替え、事実誤認を69%削減した方法
営業イネーブルメント責任者は、あらゆる項目をチェック済みだった。 彼女のAIトレーニングプラットフォームは、どんな商品パンフレットからでもロールプレイを生成できた。PDFをアップロードすれば、数秒でリアルな顧客との会話が出来上がる。反論処理のシナリオも作成できる。顧客ペルソナも構築できる。クイズや知識チェックも生成できる。 2年前であれば、こうした機能は革新的に感じられただろう。しかし今日では、それが標準となっている。 彼女のダッシュボードは、一見完璧に見えた。ロールプレイの生成は機能していた。営業担当者たちは練習をしていた。それにもかかわらず、録音された練習通話を抜き取りチェックするたびに、彼女は同じ問題に繰り返し行き当たった:営業担当者たちが、事実ではないことを口にしていたのだ。自信を持って。滑らかに。そして、完全に間違った内容を。 このプラットフォームは、優れたコンテンツを生成していた。だが、何も検証してはいなかったのだ。 これは、ある生命保険会社——ここでは「Pinnacle Life」と呼ぶ——が、その欠陥をどう修正したかという物語である。 問題点:検証を伴わないコンテンツ生成 Pinnacle Lifeは、定期生命保険、終身生命保険、そして指数連動型ユニバーサル生命保険といった商品を、消費者直販型のコールセンターと、独立系代理店network(ネットワーク)を通じて販売している。同社の商品ポートフォリオは複雑だ:数十種類の保険タイプ、数百に及ぶ特約、年齢や健康区分によって異なる保険料、そして各州の議会会期ごとに変わる州ごとの開示要件を抱えている。 同社のAIトレーニングプラットフォームは、どんな商品ドキュメントからでも練習用の通話を生成できた。営業担当者はAI顧客を相手に練習を重ね、共感力や反論処理についてスコアをつけられ、望むだけ何度でもシナリオを繰り返すことができた。 しかし、このプラットフォームが採点していたのは、営業担当者の「話しぶり」だけだった。彼らが「何を言ったか」は、一度も確認されていなかったのだ。 ある営業担当者が練習通話の中で、契約書には「イラストレーション(参考例示)」としか記載されていない解約返戻金の増加を、自信満々に「保証されている」と述べたとき、プラットフォームは反論処理に対して満点を与えていた。その発言の内容——それが真実かどうか——は、一度も評価されていなかった。 このトレーニングプラットフォームは、コンテンツ生成マシンだった。評価エンジンではなかったのだ。 その結果として起きていたのは、営業担当者たちが、誤った情報をより滑らかに伝えられるようになっていく、ということだった。 検証されていないクレームの代償 Pinnacle Lifeは、介入策を導入する前の6か月間、コンプライアンス関連の通話の失敗を追跡していた。その数字は、目を覚まさせるものだった: 営業イネーブルメント責任者は、率直にこう語った: 私たちはこれだけの練習コンテンツを生成していましたが、営業担当者が実際に正しいことを学んでいるかどうかは、まったく分かっていませんでした。彼らが練習していることは目に見えていました。でも、それが正しくできているかどうかは、見えていなかったのです。 このプラットフォームは、活動量を測定していた。正確性を測定してはいなかったのだ。 介入策:コンテンツ生成からアセスメント生成への転換 Pinnacle Lifeは、コンテンツ生成を第一とする従来のプラットフォームを、EOS(akaeos.com)へと置き換えた——これは、会話を「生成する」ことから始めるのではなく、会話を「検証する」ことから始めるシステムである。 EOSは、次の4つの点で従来とは異なるアプローチを取った: この転換は、根本的なものだった。従来のプラットフォームが問うていたのは、*「練習用の会話を生成できるか?」ということだった。一方、EOSが問うたのは、「その会話の中で営業担当者が言ったことは、実際に真実だったか?」*ということだった。 90日間の成果 Pinnacle Lifeは、50名の代理店担当者を対象に、90日間にわたってこのパイロットプログラムを実施した 練習通話あたりの事実誤認は69%減少した...