A.I🇰🇷, 모든 기사

20분짜리 감사를 실행하고 자사 스택이 사실을 체크하지 않는다는 걸 발견한 한 핀테크 기업

Sales Enablement 팀장은 18개월 동안 자신의 플랫폼 대시보드를 신뢰해왔습니다.

완료율은 높았습니다. 공감 점수는 계속 오르고 있었습니다. 담당자들은 꾸준히 연습 시간을 쌓고 있었습니다. 모든 것이 건강해 보였습니다.

그러던 어느 날 그는 저희의 감사 가이드 글을 읽었습니다. 이 글은 간단한 테스트를 제안했습니다: 최근 바뀐 제품 사실 하나를 골라, 연습 세션에서 이전 값을 자신 있게 말해보고, 플랫폼이 그것을 어떻게 처리하는지 지켜보라는 것이었습니다.

20분 후, 답이 나왔습니다. 플랫폼은 아무 말도 하지 않았습니다.

플래그도 없었습니다. 정정도 없었습니다. 출처도 없었습니다. 그저 통과 점수와 “훌륭한 페이싱”이라는 메모 하나뿐이었습니다.

이것은 한 핀테크 기업이 이 테스트를 실행하고 무엇을 발견했는지, 그리고 그 이후 어떤 조치를 취했는지에 대한 이야기입니다.

준비 단계: 명확하게 확인 가능한 사실 하나

이 회사는 중견기업과 엔터프라이즈 가맹점을 대상으로 결제 처리 및 부정거래 탐지 플랫폼을 판매합니다. 이들의 제품은 복잡합니다: 여러 단계의 가격 정책, 거래량에 따른 할인, 정산 기한, 그리고 지역과 거래 유형에 따라 달라지는 컴플라이언스 요건.

6개월 전, 이들은 한 가지 구체적인 세부사항을 변경했습니다: 신규 가맹점에 대한 표준 정산 기한이 새로운 자금세탁방지(AML) 심사 요건으로 인해 “영업일 기준 3일”에서 “영업일 기준 5일”로 바뀌었습니다. 이 변경 사항은 문서화되었고, 세일즈팀에도 통지되었으며, 내부 지식 베이스도 업데이트되었습니다.

하지만 Sales Enablement 팀장은 자신의 AI 트레이닝 플랫폼이 여전히 “3일”이라고 말하는 담당자를 잡아낼 수 있는지 실제로 테스트해본 적이 없었습니다.

그는 이 사실을 감사 대상으로 골랐습니다 — 명확한 전/후 값을 가진, 확인하기 쉬운 발언이었습니다.

테스트: 이전 값을 자신 있게 말하기

그는 블로그가 제안한 대로 직접 테스트를 실행했습니다.

플랫폼에서 일반적인 연습 세션을 시작했습니다. 대화의 자연스러운 지점에서, 이전 값을 부드럽고 완전히 자신 있게 말했습니다: “네, 신규 가맹점은 영업일 기준 3일 내에 정산을 받을 수 있습니다.”

머뭇거림도 없었습니다. “제 생각에는”도 없었습니다. “확인해보겠습니다”도 없었습니다. 실제 통화에서 우수한 담당자가 할 법한, 자신 있고 유창한 발언 그대로였습니다.

그는 세션을 완료하고 피드백을 확인했습니다.

결과: 침묵

플랫폼은 높은 점수를 주었습니다. 공감: 우수. 반론 처리: 교과서적. 페이싱: 강력함. 종합 평가: 통과.

그가 했던 그 구체적인 발언 — “3일 내 정산” — 은 전혀 언급되지 않았습니다. 플래그도, 정정도, 심지어 언급조차 없었습니다.

플랫폼은 그의 톤, 구조, 전달 방식을 채점했습니다. 그 아래에 있는 사실을 체크할 방법은 전혀 없었습니다.

그는 블로그가 추천한 두 번째 테스트도 실행했습니다: “불충분(insufficient)” 버전이었습니다. 완전히 틀린 것은 아니지만 필수 공시 사항 — 구체적으로는 고거래량 가맹점에 대한 표준 리스크 공시 — 이 빠진 발언을 말했습니다. 플랫폼은 이것도 아무 언급 없이 통과시켰습니다.

두 번의 테스트. 두 번의 실패. 총 20분.

침묵의 대가

Sales Enablement 팀장은 이 결과를 VP of Sales에게 공유했습니다. 그는 놀라지 않았습니다.

그는 2개 분기 동안 실주 딜 리뷰를 추적해왔습니다. 그 기간 동안:

  • 실주 딜의 **13%**는 구매자가 평가 과정에서 부정확한 제품 정보를 발견한 경우였습니다
  • 고객지원 에스컬레이션의 **9%**는 실제와 맞지 않는 정산 기한을 안내받은 가맹점으로부터 발생했습니다
  • 신규 담당자가 인증을 받기까지 평균 8주가 걸렸고, 인증 이후에도 다수가 내부 제품 지식 평가에서 떨어졌습니다

트레이닝 플랫폼의 대시보드는 높은 완료율과 개선되는 공감 점수를 보여주었습니다. 하지만 이 지표들은 트레이닝이 ‘실행되었다’는 것을 측정한 것이었지, 지식이 ‘존재한다’는 것을 측정한 것이 아니었습니다.

감사에서 확인된 침묵이 그 이유를 설명해주었습니다. 플랫폼은 담당자들이 올바른 것을 배우고 있는지 알 방법이 없었습니다. 그저 그들이 말할 때 그럴듯하게 들리는지만 알고 있었습니다.

이 업계가 중요한 이유

잘못된 정산 기한은 단순히 딜 하나를 잃는 것 이상의 문제를 만듭니다. 가맹점은 예상 정산일을 기준으로 현금 흐름을 계획합니다. 담당자가 3일을 약속했는데 실제로 5일이 걸리면, 가맹점의 운영에 차질이 생기고, 이는 곧 에스컬레이션으로 이어집니다.

여기에는 공시 측면도 있습니다. 핀테크 제품에는 담당자가 일관되게 포함해야 하는 필수 안내 문구와 관할권별 문구가 따라옵니다. 정산 기한을 잘못 자신 있게 말하거나, 필수 공시를 빠뜨리는 담당자는 단순한 스타일 오류를 저지르는 것이 아닙니다 — 이런 숫자 중심의 기술적인 세일즈에서는 늦게 발견될수록 특히 비용이 큰 유형의 사실적 격차입니다.

핀테크 기업의 Sales Enablement 팀장은 이렇게 솔직하게 말했습니다:

“저희는 단순히 딜을 잃고 있는 게 아니었습니다. 실제와 맞지 않는 기대치를 설정하고 있었고, 이게 몇 달 뒤에 고객지원 티켓으로 계속 나타났습니다. 트레이닝 플랫폼은 그중 아무것도 보지 못했습니다.”

개입: 침묵을 구체성으로 교체하기

이 회사는 자사 플랫폼을 두 가지 감사 테스트를 모두 통과하는 EOS (akaeos.com) 로 교체했습니다.

연습 세션에서 같은 발언 — “3일 내 정산” — 이 나왔을 때, EOS는 이를 다르게 처리했습니다:

  1. 발언을 추출했습니다. 그 문장은 대화의 흐름 속에 묻히지 않고, 확인 가능한 하나의 주장으로 분리되었습니다.
  2. 회사 자체 문서와 대조했습니다. 플랫폼은 이 발언을 현재의 가맹점 온보딩 가이드와 대조하여 검증했습니다 — 결제 처리업체에게 “정산 기한”이 보통 무엇을 의미하는지에 대한 범용 AI의 기억이 아니라요.
  3. 출처가 명시된 구체적인 판정을 내렸습니다. 침묵 대신, 피드백은 이렇게 말했습니다:

“모순(Contradicted): 신규 가맹점은 영업일 기준 5일의 정산 기한이 적용됩니다. Merchant Onboarding Guide v6.2, Section 4.1 참조.”

불충분 버전의 테스트도 같은 처리를 받았습니다. 빠진 공시 사항은 이를 요구하는 정책에 대한 구체적인 참조와 함께 플래그되었습니다.

이 차이는 미묘하지 않았습니다. 한 플랫폼은 자신감을 채점했습니다. 다른 하나는 사실을 검증했습니다.

90일 후의 결과

이 회사는 45명의 담당자를 대상으로 90일간 파일럿을 진행했습니다.

연습 세션당 사실 오류 수는 68% 감소했습니다 (2.8 → 0.9) — 이것이 핵심 결과입니다.

하지만 Sales Enablement 팀장은 진짜 변화는 더 단순했다고 말했습니다:

“이전에는 담당자들이 실제로 뭐라고 말하는지 전혀 알 수 없었어요. 대시보드는 훌륭해 보였지만, 누가 사실을 제대로 말하고 있는지는 알 수 없었죠. 이제는 알 수 있어요. 어떤 담당자든, 어떤 발언이든, EOS의 매니저 대시보드를 통해 그것이 지지되었는지, 모순되었는지, 불충분한지 볼 수 있고, 출처도 확인할 수 있습니다.”

당신의 스택에 이 20분짜리 감사를 실행해보셨나요? 12페이지 분량의 리포트 Beyond Roleplay: The Rise of the Sales Knowledge Engine에서 완전한 10가지 질문 스택 감사, 그 뒤에 있는 사실 기반 검증 아키텍처, 그리고 새로운 것을 평가하기 전에 물어야 할 데이터 주권 질문들을 확인하세요. [백서 다운로드 →]

이 감사가 중요한 이유

그 블로그 글에서 설명한 감사는 복잡하지 않습니다. 새로운 툴도, 트라이얼 계정도, 세일즈 콜도 필요하지 않습니다. 로그인 하나와 바뀐 것을 이미 알고 있는 사실 하나만 있으면 됩니다.

하지만 대부분의 조직은 이 테스트를 실행하지 않습니다. 대시보드를 신뢰합니다. 플랫폼이 담당자의 발언을 체크하고 있다고 가정합니다. 딜이 무산되기 전까지는, 혹은 간단한 테스트를 실행하고 플랫폼이 아무 말도 하지 않는 것을 지켜보기 전까지는 그 격차를 발견하지 못합니다.

이 이야기 속 회사는 테스트를 실행했고 20분 만에 그 격차를 발견했습니다. 그 침묵은 자신들의 트레이닝 프로그램이 무엇으로부터 자신들을 보호하고 있는지 — 그리고 무엇으로부터 보호하고 있지 않은지 — 정확히 알려주었습니다.

세일즈 리더를 위한 시사점

현재 사용 중인 스택에 이 감사를 실행해본 적이 없다면, 당신의 플랫폼이 사실을 체크하고 있는지, 아니면 자신감만 채점하고 있는지 알 수 없습니다.

테스트는 간단합니다. 바뀐 사실 하나를 고르세요. 연습 세션에서 이전 값을 자신 있게 말해보세요. 피드백을 자세히 읽어보세요.

플랫폼이 그 발언에 대해 아무 말도 하지 않는다면, 격차를 발견한 것입니다. 이것은 가설이 아닙니다 — 당신은 방금 자신의 플랫폼에서, 자신의 문서를 가지고, 약 20분 만에 그것이 일어나는 것을 직접 지켜본 것입니다.

당신의 문서가 지식 체크로 바뀌는 걸 확인하세요. EOS는 제품 문서를 연습과 검증 가능한 지식으로 전환합니다 — 발언 추출, 사실 기반 검증, 그리고 담당자가 실제로 무엇을 아는지 드러내는 자동 생성 퀴즈까지. akaeos.com에서 5석까지 무료로 시작하거나, **[전체 백서 다운로드]**하세요.

Leave a Reply

Your email address will not be published. Required fields are marked *