지역 영업 이사에게는 설명할 수 없는 대시보드상의 문제가 있었다.
회사의 AI 롤플레이 교육 완료율은 94%였다. 공감 점수는 초록색 추세를 보이고 있었다. 신입 직원들은 연습 통화에서 능숙하게 말했다 — 좋은 속도 조절, 교과서적인 반론 처리, 모든 것이 완벽했다.
그런데도 실패한 거래를 검토할 때마다 같은 실패 패턴이 계속 드러났다. 영업 담당자 — 대개 자신감 있고 유창하게 말하는 사람 — 가 제품에 대해 사실이 아닌 것을 말하곤 했다. 오래된 사양. 지난 분기에 바뀐 보증 조건. 아무도 승인하지 않은 호환성 주장.
교육 도구는 영업 담당자들이 어떻게 말하는지를 평가하고 있었다. 그들이 말한 내용이 맞는지는 확인하지 않았던 것이다.
이것이 바로 그 간극을 어떻게 메웠는지에 대한 이야기다.
자신감 있는 오답의 대가
이 회사는 펌프, 모터, 제어 시스템 같은 산업 장비를 제조업체 및 시설 관리 고객에게 유통한다. 제품 카탈로그는 복잡하다: 수백 개의 SKU, 제품 라인마다 수십 개의 사양 변형, 모델 연식에 따라 다른 보증 조건, 그리고 공급업체 비용 변동에 따라 분기마다 갱신되는 가격표까지 갖추고 있다.
120명으로 구성된 영업팀은 인바운드 견적 요청(RFQ) 대응과 아웃바운드 계정 관리를 모두 담당한다. 담당자 한 명이 평균적으로 항상 30건 이상의 진행 중인 견적을 맡고 있다. 실수의 여지는 거의 없으며, 구매자들 또한 기술적 지식을 갖춘 사람들이다 — 플랜트 엔지니어와 구매 담당자들은 영업 담당자의 말투를 확인하기 전에 사양서부터 확인한다.
영업 부사장과 처음 이야기를 나눴을 때, 그는 밤잠을 설치게 만든 숫자 하나를 공유했다. 4분기 실패한 거래를 검토한 결과, 부정확한 제품 정보가 거래 실패의 원인 중 하나로 언급된 경우가 17%에 달했다는 것이다. 그리고 그는 실제 수치는 더 높을 것이라 짐작하고 있었다. 모든 구매자가 거래를 포기한 이유를 설명해 주는 것은 아니기 때문이다.
거의 다섯 건 중 한 건의 거래가, 영업 담당자가 자신 있게 말한 내용이 사실이 아니었기 때문에 무산되고 있었던 셈이다.
불편한 진실은, 이런 실수를 저지른 담당자들이 실적이 부진한 사람들이 아니었다는 점이다. 오히려 그들은 뛰어난 성과를 내는 사람들이었다 — 말이 유창하고, 순발력이 있으며, 관계 형성에 능숙했다. 다만 항상 옳지는 않았을 뿐이다.
교육 체계가 오히려 문제를 악화시키고 있었다
이 회사는 AI 롤플레이 교육에 막대한 투자를 해왔다. 영업 담당자들은 가상의 구매자를 상대로 연습했고, 공감 능력과 반론 처리 능력에 대해 점수를 받았으며, 원하는 만큼 시나리오를 반복할 수 있었다.
문제는 누구나 볼 수 있는 곳에 숨어 있었다. 한 영업 담당자가 연습 통화에서, 실제로는 3년 보증만 제공되는 제품에 대해 자신 있게 “5년 보증”이라고 말했을 때, 플랫폼은 반론 처리 항목에서 만점을 부여했다. 그 발언의 내용 — 즉 그것이 사실인지 여부 — 은 단 한 번도 평가되지 않았다.
플랫폼이 유창함에 보상을 주는 구조였기 때문에, 영업 담당자들은 “더 정확하게” 말하도록 훈련받는 것이 아니라 “더 확신에 차 보이도록” 훈련받고 있었던 것이다. 이 교육은 잘못된 정보를 막는 데 실패했을 뿐만 아니라, 오히려 그것을 강화하고 있었다.
개입 방안: 주장 단위 검증
이 회사는 EOS를 통해 다른 접근 방식을 시범 도입했다. 대화의 형식을 채점하는 대신, EOS는 영업 담당자가 연습 세션이나 업로드된 실제 통화에서 하는 모든 사실 주장의 내용을 검증한다:
- 주장 추출 — 모든 연습 통화는 전사되어 분석된다. 각 사실 주장(사양, 가격, 보증 조건, 호환성 관련 진술)은 검증 가능한 진술로 개별 분리된다.
- 문서 기반 검증 — 각 주장은 범용 모델이 “아마 이럴 것”이라고 기억하는 정보가 아니라, 회사 자체의 최신 제품 문서와 대조하여 검증된다.
- 세 가지 판정 — 각 주장은 지지됨(supported), 모순됨(contradicted)(문서와 직접적으로 충돌), 또는 불충분(insufficient)(검증하기에는 너무 모호하거나 필요한 조건이 빠져 있음) 중 하나로 반환된다.
모순된 것으로 판정된 모든 주장은 출처 문서에 대한 인용과 함께 후속 퀴즈 질문을 생성한다. 이 결과물은 단순한 점수가 아니다 — 이는 인증 기록이다. 어떤 주장이, 어떤 버전의 문서를 기준으로, 언제 검증되었으며, 영업 담당자가 무엇을 틀렸는지를 보여준다.
90일간의 성과
이 회사는 40명의 영업 담당자를 대상으로 90일간 파일럿 프로그램을 진행했다.
부정확한 제품 정보로 인한 실패 거래는 73% 감소했다(17% → 4.6%) — 이는 가장 주목할 만한 결과이자, 매출에 직접적으로 연결되는 지표다. 세션당 모순된 주장 수 역시 크게 줄어, 71% 감소(2.8 → 0.8)를 기록했다.
더 흥미로웠던 것은 정성적인 변화였다. 스스로 “카탈로그를 잘 안다”고 생각했던 담당자들이, 자신도 몰랐던 지식의 공백을 발견하게 된 것이다. 자동 생성되는 퀴즈 — 각 담당자가 실제로 저지른 실수를 바탕으로 만들어진 — 는 “사양서를 공부하라”는 막연한 지시를, “정확히 무엇을 틀렸는지, 그리고 이를 증명하는 문서는 바로 이것”이라는 구체적인 안내로 바꿔놓았다. 회사에 오랫동안 몸담아 온 여러 담당자들이, 오랫동안 잘못 말해온 사양에 대해 지적을 받았다 — 아무도 확인하지 않았기에 아무도 발견하지 못했던 오류였다.
당신의 교육 도구는 사실을 확인하고 있습니까, 아니면 말투만 평가하고 있습니까? 12페이지 분량의 리포트 Beyond Roleplay: The Rise of the Sales Knowledge Engine에서는 전체 평가 프레임워크, 10가지 질문으로 구성된 교육 도구 진단 체크리스트, 그리고 어떤 벤더에게든 물어봐야 할 데이터 주권 관련 질문들을 모두 담고 있습니다. [화이트페이퍼 다운로드 →]
이 방식이 효과적이었던 이유
전통적인 영업 교육은 “제품 지식”을 정적인 것으로 다뤄왔다 — 한 번 배우면 그것으로 충분하다는 발상이다. 하지만 분기마다 갱신되는 카탈로그에서는 제품 지식이 정적일 수 없다. 그것은 끊임없이 움직이는 목표물이다.
6개월 전 제품 지식 테스트에서 좋은 성적을 거둔 담당자가, 오늘은 자신 있게 오래된 정보를 말하고 있을 수도 있다 — 그리고 본인은 물론 관리자조차, 거래가 무산되기 전까지는 그 사실을 알지 못한다. 이 회사가 EOS를 통해 구축한 것은 단순히 “더 나은 교육”이 아니었다. 그것은 지속적인 검증 루프였다: 담당자가 연습한다 → 주장이 최신 문서와 대조 검증된다 → 모순이 발견되면 맞춤형 퀴즈가 생성된다 → 담당자가 지식의 공백을 메운다 → 이 과정을 반복한다. 이 시스템은 지식을 그저 전제로 삼지 않는다. 관리자 대시보드를 통해 누가, 어떤 최신 문서를 기준으로 인증되었는지를 정확히 보여줌으로써, 지식을 증명해낸다.
영업 리더를 위한 시사점
이 이야기는 산업 장비 유통업에만 국한된 것이 아니다. 복잡하고 끊임없이 변화하는 카탈로그를 다루는 조직이라면 — 통신, 보험, 자동차, 금융 서비스, 전자기기, 산업 장비를 막론하고 — 모두 같은 문제에 직면한다.
당신의 영업 담당자들은 점점 더 능숙해지고 있을 것이다. 교육 도구 역시 그들이 “어떻게 말하는지”를 평가하는 정교함이 높아지고 있을 것이다. 하지만 그들이 실제로 하는 말을 현재의 문서와 대조해 확인하는 사람이 아무도 없다면, 당신은 아무것도 보지 못한 채 비행하고 있는 셈이다.
중요한 질문은 담당자들이 발전하고 있는지 여부가 아니다. 중요한 것은 그들이 “올바른 말을 하는” 방향으로 발전하고 있는지, 아니면 그저 “틀린 말을 자신 있게 하는” 방향으로만 발전하고 있는지다.
당신의 문서가 그대로 지식 점검이 됩니다. EOS는 당신의 제품 문서를 실전 연습과 증명 가능한 지식으로 바꿔줍니다 — 주장 추출, 사실 기반 검증, 그리고 담당자가 실제로 무엇을 알고 있는지 증명하는 자동 생성 퀴즈를 통해서요. akaeos.com 에서 최대 5개 좌석까지 무료로 시작할 수 있습니다. 또는 [전체 화이트페이퍼 다운로드].
Leave a Reply