영업 지원 책임자는 모든 항목을 점검한 상태였다.
그녀의 AI 교육 플랫폼은 어떤 상품 브로슈어로부터도 롤플레이를 생성할 수 있었다. PDF를 업로드하면 몇 초 만에 사실적인 고객 대화가 만들어졌다. 반론 처리 시나리오도 만들 수 있었다. 고객 페르소나도 구축할 수 있었다. 퀴즈와 지식 점검도 생성할 수 있었다.
2년 전이었다면 이런 기능들은 혁신적으로 느껴졌을 것이다. 하지만 오늘날에는 그것이 표준이 되었다.
그녀의 대시보드는 완벽해 보였다. 롤플레이 생성은 잘 작동하고 있었다. 담당자들은 연습하고 있었다. 그럼에도 불구하고, 녹음된 연습 통화를 표본 점검할 때마다 그녀는 같은 문제를 계속 발견했다: 담당자들이 사실이 아닌 것을 말하고 있었던 것이다. 자신 있게. 매끄럽게. 그리고 완전히 잘못된 내용을.
플랫폼은 훌륭한 콘텐츠를 생성하고 있었다. 다만 아무것도 검증하지는 않았던 것이다.
이것은 한 생명보험사 — 여기서는 “Pinnacle Life”라고 부르기로 한다 — 가 그 간극을 어떻게 메웠는지에 대한 이야기다.
문제: 검증 없는 콘텐츠 생성
Pinnacle Life는 정기보험, 종신보험, 그리고 지수연동형 유니버설 생명보험 상품을, 소비자 직판 콜센터와 독립 대리점 네트워크를 통해 판매한다. 이 회사의 상품 포트폴리오는 복잡하다: 수십 종의 보험 유형, 수백 개의 특약, 나이와 건강 등급에 따라 달라지는 보험료, 그리고 입법 회기마다 바뀌는 주(州)별 공시 요건까지 갖추고 있다.
이 회사의 AI 교육 플랫폼은 어떤 상품 문서로부터도 연습용 통화를 생성할 수 있었다. 담당자들은 AI 고객을 상대로 연습했고, 공감 능력과 반론 처리 능력에 대해 점수를 받았으며, 원하는 만큼 시나리오를 반복할 수 있었다.
하지만 이 플랫폼이 채점한 것은 담당자들이 “어떻게 말하는지”뿐이었다. 그들이 “무엇을 말했는지”는 한 번도 확인되지 않았다.
한 담당자가 연습 통화에서, 계약서에는 “예시 수치”로만 표기되어 있는 해지환급금 증가분을 자신 있게 “보장된다”고 말했을 때, 플랫폼은 반론 처리 항목에서 만점을 부여했다. 그 발언의 내용 — 즉 그것이 사실인지 여부 — 은 단 한 번도 평가되지 않았다.
이 교육 플랫폼은 콘텐츠 생성 기계였다. 평가 엔진이 아니었던 것이다.
그 결과, 담당자들은 잘못된 정보를 점점 더 매끄럽게 전달하게 되어가고 있었다.
검증되지 않은 주장의 대가
Pinnacle Life는 개입 방안을 도입하기 전 6개월 동안 컴플라이언스 관련 통화 실패를 추적했다. 그 수치는 냉정한 현실을 보여주었다:
- 에스컬레이션된 고객 불만 중 **12%**가 영업 통화 중 제공된 부정확한 상품 정보와 관련이 있었다
- **8%**의 신청서가 최초 공시 내용이 불완전하거나 부정확했기 때문에 지연되거나 반려되었다
- 신입 대리점 담당자가 완전한 인증에 도달하기까지 평균 9주가 걸렸다 — 그리고 인증을 받은 이후에도 많은 담당자가 여전히 품질 감사를 통과하지 못했다
영업 지원 책임자는 이렇게 직설적으로 말했다:
우리는 이렇게 많은 연습 콘텐츠를 생성하고 있었지만, 담당자들이 실제로 올바른 것을 배우고 있는지는 전혀 알 수 없었습니다. 그들이 연습하고 있다는 것은 볼 수 있었죠. 하지만 그것을 제대로 하고 있는지는 볼 수 없었습니다.
플랫폼은 활동량을 측정하고 있었다. 정확성을 측정하고 있지는 않았던 것이다.
개입 방안: 콘텐츠 생성에서 평가 생성으로의 전환
Pinnacle Life는 콘텐츠 생성을 우선시하던 기존 플랫폼을 EOS(akaeos.com)로 교체했다 — 이는 대화를 “생성하는” 것에서 시작하는 것이 아니라, 대화를 “검증하는” 것에서 시작하는 시스템이다.
EOS는 다음 네 가지 측면에서 기존 방식과 다르게 접근했다:
- 주장 추출. 모든 연습 통화가 전사되었다. 모든 사실 주장 — 상품의 특징, 가격, 면책 사항, 공시 내용 하나하나 — 이 검증 가능한 진술로 추출되었다.
- 문서 기반 검증. 각 주장은 Pinnacle Life가 실제로 사용하는 상품 문서와 대조하여 검증되었다 — 범용 AI가 “생명보험 상품에는 아마 이런 내용이 포함될 것”이라고 기억하는 정보가 아니라, 회사가 실제로 사용하는 현행 주(州)별 보험 증권 양식, 요율표, 공시 문구를 기준으로 삼았다.
- 세 가지 판정. 각 주장은 지지됨(supported)(문서와 일치), 모순됨(contradicted)(문서와 직접 충돌), 또는 불충분(insufficient)(너무 모호하거나 필요한 공시 사항이 빠져 있음) 중 하나로 반환되었다.
- 자동 생성 퀴즈. 모순되거나 불충분한 것으로 판정된 모든 주장은 해당 담당자만을 위한, 출처가 명시된 맞춤형 퀴즈를 생성했다.
이 전환은 근본적인 것이었다. 기존 플랫폼이 던진 질문은 *“연습용 대화를 생성할 수 있는가?”*였다. 반면 EOS가 던진 질문은 *“그 대화 속에서 담당자가 말한 내용이 실제로 사실이었는가?”*였다.
90일간의 성과
Pinnacle Life는 50명의 대리점 담당자를 대상으로 90일간 파일럿 프로그램을 진행했다.
연습 통화당 사실 오류는 69% 감소했다 (3.2 → 1.0) — 이것이 가장 주목할 만한 결과다. 컴플라이언스 관련 통화 실패 역시 같은 기간 동안 비슷한 수준인 68% 감소(8.4 → 2.7)를 기록했다.
하지만 더 중요한 변화는 팀이 “무엇을 측정하는가” 그 자체에 있었다. 도입 전 교육 대시보드는 완료된 롤플레이 시간, 생성된 시나리오 수, 그리고 평균 공감 점수를 보여주었다 — 즉, 교육이 이루어졌다는 것을 측정하고 있었던 것이다. 도입 후에는 EOS의 관리자 대시보드를 통해, 어떤 주장이 가장 자주 모순되었는지, 어떤 담당자에게 가장 많은 지식 공백이 있는지, 그리고 모든 담당자와 모든 상품 라인에 대한 인증 기록을 보여주게 되었다.
한 담당자는 이 변화를 이렇게 요약했다:
예전 시스템은 그냥 ‘잘했어요’라고 말하고 넘어갔어요. 그런데 이번 시스템은 제가 실제로 무엇을 틀렸는지 알려주고, 그것을 증명하는 문서까지 보여줍니다. 이제는 더 이상 추측할 필요가 없어졌어요.
영업 리더를 위한 시사점
콘텐츠 생성 — PDF를 현실적인 연습 대화로 바꾸는 것 — 은 이제 기본 전제일 뿐이다. 거의 모든 AI 교육 플랫폼이 이를 해낼 수 있다. 2026년, 플랫폼들을 실질적으로 가르는 질문은 생성된 대화 속에서 언급되는 내용이 사실인지를 누군가 확인하고 있는가이다.
만약 당신의 플랫폼이 무한히 연습 시나리오를 만들어낼 수 있음에도, 담당자들이 어떤 주장을 틀렸는지 알려주지 못한다면, 그것은 평가 엔진이 아니라 그저 콘텐츠 엔진에 불과하다. 그리고 규제가 있고 빠르게 변화하는 상품 카탈로그에서는, 바로 그 간극에서 값비싼 실수들이 발생한다.
Leave a Reply