VP of Sales에게는 있어서는 안 될 문제가 있었습니다.
그의 팀은 AI 롤플레잉 트레이닝에서 늘 좋은 성적을 받았습니다. 공감 점수는 높았고, 반론 처리는 교과서적이었습니다. 플랫폼의 피드백은 한결같이 긍정적이었습니다 — 훌륭한 라포, 뛰어난 페이싱, 명확한 커뮤니케이션.
그런데도 실주(失注) 딜을 리뷰할 때마다 같은 패턴이 반복해서 나타났습니다. 담당자가 존재하지 않는 제품 기능을 자신 있게 말하는 것이었습니다. 실제로는 제한이 있는데 “무제한”이라고 말한 티어. 아직 베타 단계인 통합 기능. 3개월 전에 이미 바뀐 가격 조건.
담당자는 훌륭하게 말했습니다. 제품 정보는 틀렸습니다.
트레이닝 플랫폼은 이를 알 방법이 없었습니다 — 왜냐하면 이 플랫폼은 ‘그럴듯함(plausibility)’을 체크하고 있었지, ‘사실(truth)’을 체크하고 있지 않았기 때문입니다.
이것은 한 B2B 소프트웨어 기업 — 여기서는 Vertex Cloud라고 부르겠습니다 — 이 이 문제를 해결한 이야기입니다.
문제: 그럴듯하게 들리는 오답
Vertex Cloud는 중견기업과 엔터프라이즈 고객을 대상으로 B2B SaaS 플랫폼을 판매합니다. 이들의 제품은 복잡합니다: 여러 개의 요금제 티어, 수십 개의 기능, 좌석 수와 계약 기간에 따라 달라지는 가격, 그리고 분기마다 바뀌는 서드파티 툴과의 통합.
이들의 AI 트레이닝 플랫폼은 업로드된 문서로부터 몇 초 만에 연습 대화를 생성할 수 있었습니다. 담당자들은 AI 고객과 연습하며 공감과 반론 처리 점수를 받았고, 원하는 만큼 시나리오를 반복할 수 있었습니다.
하지만 이 플랫폼에는 근본적인 사각지대가 있었습니다: 발언이 ‘그럴듯하게’ 들리는지만 체크했다는 것입니다.
담당자가 연습 통화에서 Enterprise 플랜에 “무제한 API 호출”이 포함된다고 자신 있게 말했을 때 — 실제 가격 가이드에는 월 1,000만 건이라고 명시되어 있었는데도 — 플랫폼은 만점을 주었습니다. 발언의 내용, 즉 그것이 사실인지는 전혀 평가되지 않았습니다.
이 시스템은 자신감을 채점하고 있었지, 정확성을 채점하고 있지 않았습니다. 그리고 플랫폼이 유창함(fluency)에 보상을 주었기 때문에, 담당자들은 항상 사실은 아닌 정보에 대해서도 점점 더 자신 있게 말하도록 훈련받고 있었습니다.
그럴듯한 오답의 대가
Vertex Cloud는 개입 이전 6개월 동안 그 영향을 추적했습니다:
- 실주 딜의 **14%**는 구매자가 평가 과정에서 부정확한 제품 정보를 발견한 경우였습니다
- 고객지원 에스컬레이션의 **9%**는 존재하지 않는 기능을 판매받은 고객으로부터 발생했습니다
- 신규 담당자가 인증을 받기까지 평균 10주가 걸렸고, 인증 이후에도 다수가 내부 제품 지식 평가에서 떨어졌습니다
VP of Sales는 이렇게 간단히 정리했습니다:
“저희 담당자들은 더 자신 있게 말하는 데는 능숙해지고 있었습니다. 하지만 더 정확해지고 있지는 않았습니다. 플랫폼은 그 차이를 구분하지 못했고, 저희도 마찬가지였습니다.”
근본 원인은 구조적인 것이었습니다. 트레이닝 플랫폼의 기반이 되는 LLM은 회사의 실제 가격 가이드를 읽어본 적이 없었습니다. 이 모델은 다른 기업들의 제품에서 학습한 패턴을 바탕으로 “무제한 API 호출”이 어떻게 들리는지만 알고 있었습니다. 담당자가 그렇게 말했을 때, 모델은 ‘그럴듯하다’고 판단하고 넘어갔습니다.
그럴듯한 것과 사실인 것은 다릅니다. 하지만 범용 LLM에게는 이 둘이 똑같이 보입니다.
개입: 그럴듯함을 검증으로 교체하기
Vertex Cloud는 그럴듯함을 체크하는 플랫폼을 EOS (akaeos.com) 로 교체했습니다 — 모델이 갖고 있는 “소프트웨어 제품은 보통 이렇다”는 일반적인 지식에 의존하지 않는 방식입니다.
EOS는 세 가지를 다르게 처리했습니다:
- 회사 전용 지식 베이스를 구축했습니다. 모델의 일반 학습 데이터에 의존하는 대신, EOS는 Vertex Cloud의 실제 제품 문서 — 가격 가이드, 기능 매트릭스, 통합 목록, 컴플라이언스 문구 — 를 수집했습니다. 이것이 검증을 위한 유일한 소스가 되었습니다.
- 모든 발언을 이 소스와 대조했습니다. 연습 통화에서 나온 모든 사실적 발언 — 모든 기능, 가격, 한도, 통합 — 을 회사가 실제로 발행한 문서와 대조했습니다. 모델이 사실이라고 생각하는 것이 아니라요.
- 하나의 점수 대신 세 가지 판정을 내렸습니다. Supported(문서와 일치, 출처 포함), Contradicted(문서와 직접 모순), 또는 Insufficient(너무 모호하거나 필수 조건이 누락됨).
모순되거나 불충분하다고 판정된 모든 발언은 해당 담당자를 위한 개인화된, 출처가 명시된 퀴즈를 자동으로 생성했습니다.
이 변화는 근본적이었습니다. 기존 플랫폼은 이렇게 물었습니다: “이게 그럴듯하게 들리나?” EOS는 이렇게 물었습니다: “이게 실제로 사실인가 — 그리고 이걸 증명하는 문서는 무엇인가?”
90일 후의 결과
Vertex Cloud는 60명의 담당자를 대상으로 90일간 파일럿을 진행했습니다.
연습 세션당 모순 발언 수는 71% 감소했습니다 (2.4 → 0.7) — 이것이 핵심 결과입니다. 부정확한 제품 정보로 인한 실주 비율도 같은 기간 동안 비슷하게 70% 감소했습니다 (14% → 4.2%).
더 중요한 변화는 트레이닝 프로그램이 실제로 측정하는 대상이 바뀌었다는 점입니다. 이전에는 대시보드가 완료한 롤플레잉 시간, 공감 점수, 반론 처리 평가를 보여주었습니다 — 이는 트레이닝이 ‘실행되었다’는 것을 측정한 것이었습니다. 이후에는 EOS의 매니저 대시보드를 통해 어떤 제품 발언이 가장 자주 오해되는지, 어떤 담당자에게 가장 많은 격차가 있는지, 그리고 모든 제품 티어에 대한 모든 담당자의 인증 이력을 보여주었습니다.
한 담당자는 이렇게 말했습니다:
저는 우리 제품을 완벽히 안다고 생각했어요. 이 시스템을 쓴 첫 주에, 몇 달 동안 잘못 말해온 세 가지를 지적받았습니다. 예전 시스템은 절대 이걸 잡아내지 못했어요. 체크를 안 했으니까요. 그냥 ‘말을 잘한다’고만 했죠.
왜 이 방식이 효과가 있었나
기존 플랫폼의 LLM은 회사의 가격 가이드를 읽어본 적이 없었습니다. 이 모델은 수천 개의 다른 기업들에서 학습한 패턴을 바탕으로 “무제한 API 호출”이 어떻게 들리는지만 알고 있었습니다. 담당자가 이렇게 말했을 때, 모델은 ‘소프트웨어 기업들이 흔히 하는 말이군’이라고 판단하고 통과시켰습니다.
이것이 범용 LLM이 세일즈 트레이닝에서 갖는 핵심 문제입니다: 이들은 사실이 아니라 그럴듯함을 체크합니다. 어떤 발언은 완전히 그럴듯하게 들리면서도 완전히 틀릴 수 있습니다. “저희 보증 기간은 48개월입니다.” “저희는 Platform X와 직접 통합됩니다.” “이 기능은 Professional 플랜에 포함되어 있습니다.” 이 모든 발언은 믿을 만하게 들립니다. 그리고 이 모든 발언은 거짓일 수도 있습니다 — 범용 모델은 그 차이를 알 방법이 없습니다.
Vertex Cloud가 대신 구축한 것은 비슷한 제품이 어떻게 작동하는지에 대한 모델의 기억이 아니라, 자기 회사의 문서에서 출발하는 시스템이었습니다. 가격과 기능이 바뀔 때마다 지식 베이스는 다시 동기화됩니다 — 그래서 7월에 이루어진 검증이 10월에도 여전히 사실을 반영합니다.
세일즈 리더를 위한 시사점
AI 트레이닝 플랫폼이 범용 LLM을 사용해 담당자의 제품 지식을 평가하고 있다면, 딜이 무산되기 전까지는 눈에 보이지 않는 문제를 안고 있는 것입니다.
그 모델은 당신 회사의 가격 가이드를 읽어본 적이 없습니다. 최신 기능 매트릭스도 모릅니다. 법무팀이 지난주에 승인한 내용도 전혀 알지 못합니다. 그저 무엇이 그럴듯하게 들리는지만 알고 있을 뿐입니다 — 그리고 영업 현장에서 그럴듯한 오답은 정답과 정확히 똑같은 소리를 냅니다.
해결책은 더 똑똑한 언어 모델이 아닙니다. 더 나은 근거입니다: 회사가 실제로 발행한 내용에서 출발해, 모델의 일반적인 가정이 아니라 그 소스에 대해 모든 발언을 검증하는 사실 기반 시스템입니다.
Leave a Reply