公開マニュアルテスト:購入前にどのAIセールスロールプレイ・プラットフォームでもファクトチェックする方法

AIセールストレーニングのベンダーは皆、自社のプラットフォームは事実確認をしていると言います。それが本当かどうかを確かめるシンプルな方法があります。デモも、NDAも、誰かの言葉を鵜呑みにする必要もありません——これから紹介する、同じ5マニュアルテストを実行するだけです。

使うのは公開情報だけ、かかる時間は半日程度、そして評価対象のどのプラットフォームにも——弊社にも——通用します。

なぜ「公開マニュアル」でなければならないのか

ベンダー自身のデモ環境を使ってその主張をテストすることの問題点は、デモというものが定義上、うまくいくように最適化されているという点です。ベンダーが製品を選び、台本を書いており、最高の結果を見せるあらゆるインセンティブを持っています。

公開されている製品マニュアルは、この問題を解決します。あるスマートフォンの仕様書や、ある車のトリム比較ページは、特定のAIセールスツールを良く見せる、あるいは悪く見せるために書かれたものではありません。プラットフォームが、これまで一度も見たことがなく、誰にとってもホームアドバンテージのない、こうした素材に対して誤った主張を捉えられるなら、それは「デモがどれだけうまいか」ではなく、「実際にどう機能しているか」について本物のことを教えてくれます。

手法

異なる製品カテゴリーから、公開されているマニュアルを5つ選ぶ。 家電、自動車、通信など、意味のある組み合わせでカテゴリーを分散させることで、強い結果も弱い結果も「たまたまその業界のマニュアルが扱いやすい(あるいは扱いにくい)だけ」として片付けられなくなります。

各マニュアルから、一つの明確で検証可能な仕様を見つける。 保証期間、バッテリーや容量の数値、互換性の主張、バージョン番号など。曖昧なものは避けてください。判断が分かれるものではなく、はっきりとした正解が一つある仕様を選びます。

練習セッションの中で、その誤ったバージョンを自信を持って発言する。 テスト対象のプラットフォームにそのマニュアル(または該当箇所)をアップロードし、練習用のロールプレイを開始して、実際の通話で流暢で自信のある担当者が言うであろうように、その仕様の誤ったバージョンを——「〜だと思います」も「確認します」もなしに——発言します。

「通過」の定義は、始める前に決めておく。始めた後ではありません。 「通過」とは、プラットフォームのフィードバックが、発言した仕様が誤っていることに一切触れなかった状態を指します。この定義を事前に決め、毎回同じように適用してください——それこそが、本物のテストと、自分に都合よく解釈してしまった結果とを分ける唯一のものです。

各プラットフォームで、一度以上実行する。 1回の試行では、一度何が起きたかしか分かりません。マニュアルごとに同じテストを2〜3回繰り返すことで、その結果がパターンなのか、まぐれなのかが分かります。

本物の「通過」と本物の「不合格」は、実際どう見えるか

「不合格」は分かりやすい形で現れます。プラットフォームのフィードバックがその主張にフラグを立て、誤りであることを伝え、理想的には理由——どの文書やポリシーと照合しているか——まで教えてくれます。

「通過」は静かで、まさにそれが危険なのです。セッションは終わり、スコアは問題なく見え、あなたが発言した数字がでたらめだったことについて、フィードバックのどこにも触れられていません。ここでの沈黙は中立的な結果ではありません——それ自体が結果です。プラットフォームがあなたのトーンとペース配分を採点していただけで、その根底にある、実際の通話で本当に重要だったはずのものを捉える仕組みを一切持っていなかった、ということを意味します。

なぜこのテストが、ベンダー自身のベンチマークより重要なのか

どのベンダーも、自分たちが用意したテストセットで、自社製品を使い、自分たちが管理した条件のもとでの精度を教えてくれます。その数字が教えてくれるのは、ベンダーが自ら設計したテストでうまくいった、ということだけです。素材が未知のもので、公開されており、ベンダー側ではなくあなたが選んだものである場合に何が起きるかは、教えてくれません。

公開マニュアルテストは、そのギャップを埋めます。かかるのは半日ですが、何かに署名する前に、自分自身の条件で実行できる、公正で再現可能な比較にもっとも近いものです。

このテストが確認しようとしている検証アーキテクチャの全体像をご覧ください。 弊社の12ページのレポート『Beyond Roleplay: The Rise of the Sales Knowledge Engine』では、クレーム抽出、ファクトグラウンデッド検証、そしてどのプラットフォームにも——弊社にも——実行できる10問の自己監査を解説しています。[ホワイトペーパーをダウンロード →]

ぜひ弊社にも試してください

私たちがこのテストを作ったのは、このカテゴリーの本気のプラットフォームなら——EOSも含めて——これに合格できるはずだと考えているからです。弊社を検討されているなら、ご自身で選んだ5つのマニュアルを持ってきてください。私たちの言葉を鵜呑みにするより、この方法で確かめていただきたいのです。

自社の文書が、そのままナレッジチェックになる様子をご覧ください。 EOSは、御社の製品文書を実践練習と証明可能な知識へと変えます——主張の抽出、ファクトグラウンデッド検証、そして営業担当者が実際に何を知っているかを明らかにする自動生成クイズ。app.akaeos.com で最大5席まで無料スタート、または**[ホワイトペーパー全文をダウンロード]**してください。