Sales Enablement 팀장은 데모를 충분히 봐왔기에 이들이 전부 비슷해 보인다는 걸 알고 있었습니다.
현실적인 목소리. 세련된 페르소나. 진짜 대화처럼 느껴지는 롤플레이. 모든 벤더가 그 조건들을 충족했습니다. 모든 벤더가 자사 플랫폼이 그의 팀 성과를 완전히 바꿔놓을 거라고 주장했습니다.
하지만 그는 예전에 한 번 데인 적이 있었습니다. 지난번에 구매했던 플랫폼은 데모에서는 훌륭해 보였지만 실전에서는 아무것도 해주지 못했습니다. 톤을 채점했지, 진실을 채점하지 않았습니다. 콘텐츠를 생성했지, 증거를 생성하지 않았습니다.
이번에는 체크리스트를 준비해서 왔습니다.
그는 모든 벤더 데모에서 물어볼 10가지 구체적인 질문을 정리한 블로그 글을 발견했습니다. 뻔한 질문들이 아니었습니다 — 실제로 사실을 검증하는 플랫폼과 그저 그럴듯하게 들리기만 하는 플랫폼을 구분해주는 종류의 질문들이었습니다.
그는 모든 벤더에게 동일한 10가지 질문을 던졌습니다. 그가 발견한 것은 모든 질문에 “예”라고 답하는 한 벤더가 아니었습니다. “아직입니다”라고 말할 수 있는 용기를 가진, 그리고 나머지는 증명해 보일 수 있는 벤더였습니다.
이것은 한 인슈어테크 기업이 간단한 체크리스트로 진짜 역량과 공허한 약속을 가려낸 이야기입니다.
준비 단계: 복잡한 상품, 회의적인 구매자
이 회사는 중견 테크 기업을 대상으로 사이버보험과 기술 배상책임보험(E&O) 상품을 판매합니다. 이들의 상품은 복잡합니다: 보험 약관은 업종별로 다르고, 보장 한도는 리스크 프로파일에 따라 달라지며, 면책 조항은 새로운 규제가 등장할 때마다 바뀝니다.
55명으로 구성된 이들의 세일즈팀은 브로커를 통해, 그리고 기업에 직접 판매합니다. 모든 대화에는 여러 보험 약관 디테일이 포함됩니다 — 보장 한도, 면책 조항, 청구 절차, 보험료 산정. 잘못된 발언 하나가 청구 거절, 규제 벌금, 또는 고객 이탈로 이어질 수 있습니다.
Sales Enablement 팀장은 실제로 사실 오류를 줄여줄 트레이닝 플랫폼을 찾는 임무를 맡았습니다 — 단순히 담당자들이 더 자신 있게 들리게 만드는 것이 아니라요. 그는 좋은 데모가 좋은 결과를 예측해주지 않는다는 것을 힘들게 배운 적이 있었습니다. 이번에는 벤더가 주장하는 것이 아니라, 벤더가 실제로 할 수 있는 것을 테스트할 방법이 필요했습니다.
테스트: 10가지 질문, 3개의 벤더
그는 10가지 구체적인 질문을 던지는 체크리스트를 발견했습니다. 그는 이를 자신의 평가에 맞게 조정했고, 모든 벤더에게 동일한 프로세스를 적용했습니다. 그 중 네 가지 질문이 대부분의 판단을 갈랐습니다.
Q1: 일반적인 모델 지식이 아니라, 당신의 문서를 기준으로 사실적 발언을 검증합니까?
세 벤더 모두 “예”라고 답했습니다. 그는 후속 질문을 던졌습니다: “그러면 제가 저희 회사 보험 약관 문서를 업로드하면, 플랫폼이 그 특정 문서를 기준으로 발언을 체크하나요, 아니면 모델이 사이버보험에 대해 일반적으로 알고 있는 것을 기준으로 하나요?”
Vendor A와 Vendor C는 둘 다 확인해주었습니다: 발언은 고객이 업로드한 문서를 기준으로 체크되지, 일반적인 모델 지식을 기준으로 하지 않는다고요. Vendor B는 얼버무렸습니다: “저희 모델은 업계 표준 정보로 학습되었습니다.” 이건 다른, 더 약한 답변이었습니다 — 그는 이걸 메모해두고 계속 테스트를 이어갔습니다.
Q3: 모순되는 발언과 모호하거나 불완전한 발언(누락된 공시 포함)을 구분합니까?
Vendor A는 이진법(맞다/틀리다) 시스템을 보여주었습니다. 발언은 옳거나 틀리거나, 둘 중 하나였습니다. 중간이 없었습니다.
Vendor B는 “부분적으로 정확함”이라는 옵션이 있는 시스템을 보여주었지만, 플랫폼이 언제 이 옵션을 사용하는지는 설명하지 못했습니다.
Vendor C는 네 가지 판정 시스템을 보여주었습니다: 정확함, 오류, 근거 부족, 그리고 핵심은 맞지만 단서 조건이 빠진 경우를 위한 부분적으로 정확함. 그들은 한 담당자가 필수 컴플라이언스 공시를 빠뜨렸고 플랫폼이 이를 부분적으로 정확함으로 플래그한 구체적인 사례를 짚어가며 설명했습니다 — 발언 원문 그대로와, 약관 요건에 연결된 평이한 언어의 설명이 함께 제공되었습니다. 그가 이것이 정확한 약관 원문에 대한 인용에 해당하는지 물었을 때, 벤더는 직접적으로 답했습니다: 아직은 아닙니다 — 지금은 근거 있는 설명이지, 원문에서 그대로 발췌한 인용문은 아닙니다. 그는 이것을 실제 격차로 기록했고, 동시에 그날 들은 답변 중 가장 정직한 답변으로도 기록했습니다.
Q5: 발언 검증 이력, 문서 버전, 날짜를 포함한 내보내기 가능한 인증 기록을 생성합니까?
Vendor A는 “네, 세션 이력이 있습니다”라고 답했습니다. 그는 내보내기 가능하고 날짜가 기록된 인증 기록을 보여달라고 요청했습니다. 그들이 보여준 것은 타임스탬프가 있는 대시보드였습니다 — 감사관에게 건넬 수 있는 문서가 아니었습니다.
Vendor B는 “그 기능은 현재 개발 중입니다”라고 답했습니다.
Vendor C는 명확하게 말했습니다: “아직입니다. 오늘 시점에서는 세션 단위의 결과를 확인하고 내보낼 수 있지만, 문서 버전과 연결된 통합 인증 기록은 아직 구축되지 않았습니다. 저희 로드맵에는 있지만, 있다고 말씀드릴 수는 없습니다.” 이는 Vendor B와 본질적으로 같은 격차였습니다 — 다만 미래의 약속이 아니라 사실로서 말했다는 점이 달랐습니다.
Q6: 문서가 변경되면, 기존 인증이 자동으로 만료되고 재테스트가 이루어집니까?
Vendor A는 “주요 업데이트 이후에는 재교육을 권장합니다”라고 답했습니다. Vendor B는 “매니저가 수동으로 퀴즈를 재배정할 수 있습니다”라고 답했습니다. Vendor C는 이렇게 답했습니다: “오늘 기준으로는, 이것도 저희에게는 수동 단계입니다. 약관 문서가 바뀌면, 매니저가 재테스트를 직접 트리거해야 합니다 — 아직 자동으로 일어나지는 않습니다.” 세 벤더, 동일한 현재의 한계에 대한 세 가지 다른 버전 — 하지만 추궁당하지 않고 먼저 말한 것은 하나뿐이었습니다.
체크리스트가 드러낸 것
데모가 끝날 무렵, Sales Enablement 팀장은 명확한 그림을 갖게 되었습니다 — 그가 예상했던 그림은 아니었습니다.
Vendor A는 특정 문서를 기준으로 발언을 검증한다고 완전히 확신 있게 말하지 못했고, 실질적인 내보내기 가능한 인증 기록도 없었습니다. Vendor B의 “부분적으로 정확함” 판정은 알고 보니 세일즈팀의 누구도 설명할 수 없는 기능이었습니다. 둘 다 데모 초반 5분 동안은 인상적으로 들렸습니다.
Vendor C는 모든 질문을 통과하지는 못했습니다. Q5와 Q6이 아직 해결되지 않았다는 것을 먼저 솔직하게 말했습니다. 하지만 “예”라고 답한 모든 곳에서는 직접 보여줄 수 있었습니다 — 네 가지 판정 로직, 구체적인 사례, “부분적으로 정확함” 판정 뒤에 있는 논리까지요. 그리고 “아니오”라고 답한 모든 곳에서는, 격차를 “곧 출시 예정”으로 포장하지 않고 명확하게 그렇다고 말했습니다.
“체크리스트는 단순히 어느 벤더가 더 나은지만 말해주지 않았어요. 어느 벤더가 실제로 갖고 있지 않은 기능을 설명하고 있는지, 그리고 어느 벤더가 제 얼굴을 보고 ‘아직입니다’라고 말할 수 있는지를 알려줬죠. 저희처럼 리스크 공시를 팔아서 먹고사는 업계에서는, 그게 완벽한 스코어카드보다 저에게 더 중요했습니다.”
당신의 벤더에게 이 10가지 질문 체크리스트를 실행해보셨나요? 12페이지 분량의 리포트 Beyond Roleplay: The Rise of the Sales Knowledge Engine에서 전체 체크리스트, 각 질문 뒤에 있는 논리, 그리고 어떤 데이터든 당신의 환경을 벗어나기 전에 물어야 할 6가지 데이터 주권 질문을 확인하세요. [백서 다운로드 →]
체크리스트가 효과가 있었던 이유
이 체크리스트는 어렵게 만들어진 것이 아니었습니다. 구체적으로 만들어진 것이었습니다.
“제품 지식을 검증하시나요?” 같은 뻔한 질문은 뻔한 답변을 얻습니다. 모든 벤더가 그렇다고 말합니다. 이 체크리스트는 진짜 역량과 마케팅 주장을 구분해주는 후속 질문을 던졌습니다: 근거가 되는 로직을 보여주실 수 있나요? 내보내기 가능한 기록을 보여주실 수 있나요? 문서가 바뀌면 무슨 일이 일어나나요 — 그리고 답이 “아직입니다”라면, 그렇다고 그냥 말씀해주실 건가요?
이 질문들은 기술적 전문성을 요구하지 않습니다. 벤더가 자신의 작업을, 아직 완성되지 않은 부분까지 포함해서 보여주기를 요구할 뿐입니다. 그리고 “아직 그건 안 됩니다”라고 말할 수 있는 벤더의 의지는, 그 어떤 기능 시연만큼이나 많은 정보를 주는 것으로 드러났습니다.
이 인슈어테크 기업은 이전 플랫폼으로 이 교훈을 힘들게 배웠습니다. 이번에는 준비하고 왔습니다. 그리고 이 체크리스트는 자신감 넘치는 데모를 완성된 제품으로 착각하는 실수를 두 번 반복하지 않도록 지켜주었습니다.
세일즈 리더를 위한 시사점
AI 세일즈 트레이닝 플랫폼을 평가하고 있다면, 진짜 역량과 마케팅 주장을 구분할 방법이 필요합니다.
모든 데모는 좋아 보입니다. 모든 벤더는 인상적으로 들립니다. 하지만 제대로 된 후속 질문 — “예”가 실제로 무엇을 의미하는지 테스트하고, 벤더에게 “아직입니다”라고 말할 여지를 주는 질문 — 을 던지면, 차이가 명확해집니다.
그 블로그 글에 나온 10가지 질문 체크리스트는 복잡하지 않습니다. 구체적일 뿐입니다. 벤더에게 자신의 작업을, 격차까지 포함해서 보여달라고 요구합니다. 이 인슈어테크 기업은 이 체크리스트를 이용해 실제 역량보다 부풀려 말하는 플랫폼을 사지 않을 수 있었습니다 — 그리고 대신 진실을 말해준 곳을 선택했습니다.
데모 당일의 약속을 더 이상 믿지 마세요. EOS에게 이 10가지 질문을 던져보세요. 저희가 정확히 어디에 서 있는지 보여드리겠습니다 — 당신의 문서를 기준으로 한 발언 검증, “부분적으로 정확함”을 포함한 네 가지 판정, 그리고 아직 해결하지 못한 두 가지에 대한 솔직한 답변까지요. app.akaeos.com에서 5석까지 무료로 시작하거나, **[전체 백서 다운로드]**하세요.
Leave a Reply