VP of Salesには、本来あってはならない問題がありました。 彼のチームはAIロールプレイ・トレーニングで好成績を収めていました。共感スコアは高く、反論対応は模範的。プラットフォームのフィードバックは一貫してポジティブでした——強いラポール、優れたペース配分、明快なコミュニケーション。 それにもかかわらず、失注案件のレビューでは同じ失敗パターンが繰り返し現れていました。担当者が、存在しない製品機能を自信満々に語る。実際には上限があるのに「無制限」だと言う。まだベータ版の統合機能。3ヶ月前に変更済みの価格条件。 担当者は素晴らしく話していました。製品情報は間違っていました。 トレーニングプラットフォームには、それを知る術がありませんでした——なぜなら、そのプラットフォームは「もっともらしさ」をチェックしていて、「真実」をチェックしていなかったからです。 これは、あるB2Bソフトウェア企業——ここでは「Vertex Cloud」と呼びます——がこのギャップを解消した物語です。 問題:もっともらしく聞こえる誤答 Vertex Cloudは中堅企業からエンタープライズ企業まで幅広い顧客にB2B SaaSプラットフォームを販売しています。同社の製品は複雑です:複数の料金プラン、数十の機能、シート数と契約期間によって変わる価格設定、そして四半期ごとに変わるサードパーティツールとの連携。 同社のAIトレーニングプラットフォームは、アップロードされたドキュメントから数秒で練習用の会話を生成できました。担当者はAI顧客と練習し、共感や反論対応でスコアをつけられ、何度でもシナリオを繰り返すことができました。 しかしこのプラットフォームには根本的な死角がありました:発言が「もっともらしく」聞こえるかどうかしかチェックしていなかったのです。 担当者が練習通話でEnterpriseプランに「無制限のAPI呼び出し」が含まれると自信を持って発言したとき——実際の料金表には月間1,000万回までと明記されていたにもかかわらず——プラットフォームは満点を与えました。発言の内容、つまりそれが事実かどうかは、一切評価されなかったのです。 このシステムは自信を採点していたのであって、正確性を採点していたわけではありません。そしてプラットフォームが流暢さに報酬を与えていたため、担当者は必ずしも正しくない情報についても、より自信を持って話すよう訓練されていきました。 もっともらしい誤答のコスト Vertex Cloudは介入前の6ヶ月間、その影響を追跡していました: VP of Salesは率直にこう語りました: 「うちの担当者は、自信を持って話すことはどんどん上手くなっていました。でも、正確に話せるようにはなっていなかった。プラットフォームはその違いを見分けられず、私たちにも見分けがつきませんでした」 根本原因は構造的なものでした。トレーニングプラットフォームの基盤となるLLMは、同社の実際の料金表を読んだことがありませんでした。このモデルは、他社の製品から学習したパターンをもとに「無制限のAPI呼び出し」がどう聞こえるかを知っているだけでした。担当者がそう発言したとき、モデルは「もっともらしい」と判断し、そのまま通過させたのです。 もっともらしいことと真実であることは違います。しかし汎用LLMにとって、この2つはまったく同じに見えます。 介入策:「もっともらしさ」を「検証」に置き換える Vertex Cloudは、もっともらしさをチェックするプラットフォームを**EOS(akaeos.com)**に置き換えました——モデルが持つ「ソフトウェア製品は普通こういうものだ」という一般的な知識に頼らないアプローチです。 EOSは3つの点で従来と異なるアプローチを取りました:...