A.I🇰🇷, 모든 기사

하나의 점수로는 알 수 없던 것을 해결한 한 법률 서비스 기업

Sales Enablement 팀장에게는 모든 담당자의 성과를 정확히 보여주는 대시보드가 있었습니다.

88점. 72점. 94점. 숫자는 깔끔했고, 비교하기 쉬웠고, 위로 보고하기도 편했습니다. 그는 트렌드를 볼 수 있었고, 개선 정도를 추적할 수 있었고, 누가 어려움을 겪고 있는지 식별할 수 있었습니다.

하지만 88점을 받은 특정 담당자를 코칭하기 위해 매니저와 마주 앉았을 때, 그는 대시보드가 해결해줄 수 없는 문제에 부딪혔습니다. 매니저는 그 담당자가 왜 12점을 잃었는지 알 수 없었습니다. 머뭇거림 때문이었을까요? 페이싱 때문이었을까요? 제품 관련 사실을 잘못 말해서였을까요? 아니면 컴플라이언스 공시를 빠뜨려서였을까요?

숫자 하나만으로는 알 수 없었습니다. 그리고 “왜”를 모르면, 효과적으로 코칭할 수 없었습니다.

이것은 한 법률 서비스 기업이 단일 점수만으로는 충분하지 않다는 것을 발견하고, 대신 무엇을 구축했는지에 대한 이야기입니다.

준비 단계: 두 명의 담당자, 하나의 점수

이 회사는 로펌과 기업 법무팀에 법률 지원 및 문서 서비스를 제공합니다. 이들의 세일즈팀은 정밀함을 기대하는 까다로운 구매자들에게 복잡한 서비스 패키지 — 소송 지원, 전자증거개시, 매니지드 리뷰, 컴플라이언스 컨설팅 — 를 판매합니다.

이들의 트레이닝 플랫폼은 모든 연습 세션을 0~100점 척도로 채점했습니다. 이 점수는 톤, 페이싱, 반론 처리, 제품 지식, 컴플라이언스 언어를 전부 하나의 숫자로 합산한 종합 점수였습니다.

이 문제는 두 명의 담당자가 같은 날 연습 세션을 끝냈을 때 드러났습니다. 둘 다 88점을 받았습니다.

담당자 A는 페이싱과 머뭇거림에서 점수를 잃었습니다. 그는 제품을 완벽히 알고 있었지만, 확신 없이 들렸습니다. 그의 코칭 니즈는 명확했습니다: 자신감, 전달력, 속도.

담당자 B는 부드럽고 자신감 있는 퍼포먼스를 보여주었습니다. 페이싱은 훌륭했습니다. 반론 처리는 교과서적이었습니다. 하지만 그는 실제로는 성립하지 않는 서비스 역량을 말했습니다 — 그리고 플랫폼은 이를 플래그하지 않았는데, 콘텐츠 자체를 체크하고 있지 않았기 때문입니다.

두 명의 담당자. 하나의 점수. 완전히 다른 코칭 니즈.

“그 숫자는 저 둘이 같다고 말해줬어요. 하지만 그들은 같지 않았죠. 한 명은 전달력에 도움이 필요했고, 다른 한 명은 우리 서비스가 실제로 뭘 포함하는지 배워야 했어요. 이건 같은 대화가 아닌데, 점수는 그 둘을 구분할 방법을 전혀 주지 않았습니다.”

붕괴된 점수의 대가

이 회사는 18개월 동안 점수 기반 플랫폼을 사용해왔습니다. 그 기간 동안 Sales Enablement 팀장은 설명할 수 없는 패턴들을 발견했습니다:

  • 높은 점수를 받은 담당자들이 여전히 실제 통화에서 사실 오류를 만들어내고 있었습니다
  • 매니저들은 구체적이고 실행 가능한 코칭을 하는 데 어려움을 겪었습니다 — 담당자가 낮은 점수를 받았다는 건 알았지만, 무엇을 고쳐야 할지는 몰랐습니다
  • 같은 실수가 여러 담당자에게서 반복해서 나타났지만, 점수 데이터로는 그 패턴을 드러낼 수 없었습니다

근본적인 문제는 구조적인 것이었습니다. 점수는 톤, 페이싱, 제품 정확성, 컴플라이언스를 전부 하나의 숫자로 붕괴시켰고, 일단 붕괴되고 나면 그 디테일을 다시 꺼낼 수 없었습니다.

담당자가 점수를 잃었을 때, 매니저는 그것이 톤 때문인지 제품 관련 사실 때문인지 알 수 없었습니다. 그리고 그 구분이 없으면, 코칭은 뭉뚱그려질 수밖에 없었습니다: “제품 지식을 개선하세요” 대신 “여기 당신이 틀리게 말한 구체적인 발언이 있고, 여기 그 출처가 있습니다”라고 말할 수 없었던 것입니다.

개입: 점수 대신 판정을 더하다

이 회사는 점수만 주던 플랫폼을 EOS (akaeos.com) 로 교체했습니다. EOS는 점수 아래에 클레임 단위 판정이라는 두 번째 레이어를 추가합니다.

“이 세션이 얼마나 잘 진행되었는가”만 묻는 대신, EOS는 담당자가 한 각각의 구체적인 발언에 대해 이렇게 묻습니다: 그 발언이 실제로 정확했는가? 모든 발언은 세 가지 판정 중 하나를 받습니다:

  • Supported(지지됨) — 발언이 현재의 제품 및 정책 문서와 일치함
  • Contradicted(모순됨) — 발언이 해당 문서와 직접 충돌함
  • Insufficient(불충분함) — 발언이 그 자체로는 검증하기에 너무 모호하거나, 정확성 여부를 바꿀 수 있는 단서 조건, 예외, 또는 필수 공시가 빠져 있음

Insufficient 판정이야말로 실제 코칭 가치가 대부분 담겨 있는 곳으로 드러났습니다 — 그리고 이것은 단순한 점수로는 전혀 표현할 수 없는 카테고리이기도 합니다.

“Insufficient”가 모든 것을 바꾼 이유

어떤 담당자가 서비스가 “전체 문서 리뷰를 커버합니다”라고 말했다고 해봅시다. 이 발언은 방향성 있게는 사실입니다 — 그 서비스는 실제로 문서 리뷰를 포함합니다. 하지만 이것이 특정 사건 유형에만 해당되는 것이고 담당자가 그 제한 사항을 언급하지 않았다면, 이 발언은 완전히 지지된다고 보기도 어렵습니다. 이것은 그 중간 어딘가에 있습니다: 핵심 포인트는 맞지만, 고객에게 실제로 중요한 디테일이 빠져 있는 것입니다.

이진법(맞다/틀리다) 시스템에는 이런 발언을 넣을 마땅한 자리가 없습니다. Supported로 표시하면 실제 격차가 수정되지 않은 채 넘어가고, Contradicted로 표시하면 문제를 과장해서 담당자가 대부분 맞게 말한 것에 대해 방어적으로 만듭니다. Insufficient로 플래그하면 정확히 무슨 일이 있었는지 말해줍니다: 핵심 발언은 맞았고, 여기 빠진 구체적인 조건이 있다는 것입니다.

이 구분은 컴플라이언스 언어에서 특히 더 중요했습니다. 여러 통화에서 EOS는 발언을 Insufficient로 플래그했는데, 담당자가 틀린 말을 해서가 아니라, 필수 공시 — 컴플라이언스팀이 특정 서비스 라인에 요구하는 표준 업무 범위(scope-of-engagement) 단서 조항 — 가 전혀 언급되지 않았기 때문이었습니다. 이것은 틀린 사실과는 다른 종류의 격차이며, 법률 서비스 기업에서는 종종 더 비싼 대가를 치르는 쪽입니다: 6개월 뒤에 터지는 업무 범위 분쟁은, 결국 소리 내어 말해진 적 없는 단서 조항으로 거슬러 올라가는 경우가 많습니다.

이것이 매니저가 실제로 실행할 수 있는 코칭 메모입니다. “사건 유형 제한은 항상 언급하세요”는 구체적인 지시입니다. “제품 지식을 개선하세요”는 그렇지 않습니다.

첫 달 동안 발견한 것

이 회사는 30명의 담당자를 대상으로 파일럿을 진행했습니다.

세 가지 패턴이 나타났습니다:

  1. 점수가 전체 이야기를 말해주지 않았습니다. 종합 점수가 높은 여러 담당자들이 상당수의 Insufficient 발언을 갖고 있었습니다 — 방향성은 맞지만 중요한 단서 조건이 빠진 것입니다. 기존의 점수 기반 시스템은 그 격차를 드러내지 않은 채 합격점을 주고 있었습니다.
  2. 가장 흔한 오류는 중간 카테고리에 있었습니다. 담당자들이 명백히 거짓인(Contradicted) 발언을 하는 경우는 드물었습니다. 하지만 대체로 맞지만 핵심 예외나 제한, 공시가 빠진 Insufficient 발언은 자주 만들었습니다. 이런 오류들이 나중에 고객 불만이나 업무 범위 분쟁으로 표면화될 가능성이 가장 높았습니다.
  3. 매니저들이 마침내 구체적으로 코칭할 수 있게 되었습니다. “제품 지식을 개선하세요”라고 말하는 대신, 매니저들은 “전자증거개시 커버리지를 논의할 때는 항상 데이터 용량 제한을 언급하세요”라고 말할 수 있게 되었습니다. EOS의 매니저 대시보드를 통해, 판정들이 그들에게 필요한 구체성을 제공했습니다.

“이전에는 담당자가 개선할 여지가 있다는 건 알 수 있었어요. 하지만 무엇을 개선해야 하는지는 누구에게도 말해줄 수 없었죠. 이제는 할 수 있습니다. ‘이 발언은 Insufficient로 나왔어요 — 여기 당신이 빠뜨린 조건이 있어요.’ 이게 실제로 행동을 바꾸는 코칭 대화입니다.”

  • 당신의 트레이닝 플랫폼은 점수를 주고 있나요, 아니면 진단을 내리고 있나요? 12페이지 분량의 리포트 Beyond Roleplay: The Rise of the Sales Knowledge Engine에서 클레임 추출, 사실 기반 검증 파이프라인, 그리고 모호한 점수를 실행 가능한 코칭으로 바꾸는 판정 시스템을 확인하세요. [백서 다운로드 →]

판정이 단일 점수보다 나은 이유

점수는 세션이 어떻게 진행되었는지 말해줍니다. 왜 그런지는 말해주지 않습니다 — 그리고 “왜”야말로 실제로 코칭 가능한 유일한 부분입니다.

두 담당자가 완전히 다른 이유로 같은 점수를 받을 수 있습니다. 한 명은 전달력에서 점수를 잃었습니다. 다른 한 명은 제품 정확성에서 점수를 잃었습니다. 이것은 같은 코칭 대화가 아니며, 점수 하나만으로는 매니저가 그 둘을 구분할 방법이 없습니다.

판정은 점수가 놓치고 있는 레이어를 더해줍니다. 판정은 점수를 대체하지 않습니다 — 점수 아래에 자리 잡아, 코칭을 가능하게 하는 디테일을 제공합니다. 정밀함이 중요하고 부분적인 진실이 업무 범위 분쟁을 만들 수 있는 법률 서비스 기업에서, 이 구분은 모든 것이었습니다.

세일즈 리더를 위한 시사점

당신의 트레이닝 플랫폼이 단일 숫자만 주고 그 이상은 아무것도 주지 않는다면, 코칭 대화가 겉돌기 전까지는 보이지 않을 문제를 안고 있는 것입니다.

점수는 무언가 개선이 필요하다는 것을 말해줍니다. 무엇을 개선해야 하는지는 말해주지 않습니다. 판정 — Supported, Contradicted, Insufficient — 은 담당자가 정확히 무엇을 맞게 말했는지, 무엇을 대체로 맞지만 불완전하게 말했는지, 무엇을 완전히 틀리게 말했는지 알려줍니다. “제품 지식을 개선하세요”를 “여기 당신이 놓친 구체적인 발언이 있고, 여기 그 출처가 있습니다”로 바꿔줍니다.

이것이 일반적인 피드백과 실제로 행동을 바꾸는 코칭의 차이입니다.

  • 담당자가 뭘 틀렸는지 더 이상 추측하지 마세요. EOS는 단일 점수 대신, 담당자가 하는 모든 발언에 대해 구체적이고 실행 가능한 판정 — Supported, Contradicted, Insufficient — 을 제공합니다. akaeos.com에서 5석까지 무료로 시작하거나, **[전체 백서 다운로드]**하세요.

Leave a Reply

Your email address will not be published. Required fields are marked *