Sales Enablement 팀장에게는 원하는 단어를 모든 통화 스크립트에서 검색할 수 있는 툴이 있었습니다.
“무제한.” “48개월.” “완전 호환.” 그는 어떤 용어든 즉시 찾을 수 있었습니다. 플랫폼은 모든 등장 위치를 하이라이트하고 타임스탬프를 찍어주었으며, 맥락을 리뷰할 수 있게 해주었습니다.
하지만 실제 연습 통화의 정확성을 직접 확인해보면, 키워드 검색이 완전히 놓친 발언들을 계속 발견했습니다.
한 담당자는 “그 카테고리에 있는 건 거의 다 호환된다고 보시면 됩니다”라고 말했습니다. 키워드 “완전 호환”은 등장하지 않았습니다. 다른 담당자는 “전담 임상 지원을 받으실 수 있어요”라고 말했습니다. 키워드 “24/7″은 스크립트에 어디에도 없었습니다. 세 번째 담당자는 “주요 시장 전체에서 승인받았어요”라고 말했습니다. 키워드 “FDA cleared”는 전혀 등장하지 않았습니다.
검색 툴은 하라고 시킨 것을 정확히 찾아내고 있었습니다. 그 외의 모든 것을 놓치고 있었을 뿐입니다.
이것은 한 의료기기 기업이 키워드 검색이 검증이 아니라는 사실을 발견하고, 대신 무엇을 구축했는지에 대한 이야기입니다.
준비 단계: 끊임없이 바뀌는 제품 카탈로그
이 회사는 병원과 영상센터에 진단 영상 시스템을 개발하고 판매합니다. 이들의 제품군은 복잡합니다: 서로 다른 기능을 가진 여러 시스템, 분기마다 업데이트되는 소프트웨어 버전, 릴리스마다 바뀌는 호환성 매트릭스, 시장과 용도에 따라 달라지는 규제 승인 현황.
65명의 세일즈팀은 복잡한 B2B 세일즈 사이클을 담당합니다. 평균적인 딜에는 여러 이해관계자가 참여합니다 — 영상의학과 전문의, IT 디렉터, 구매팀, 병원 행정팀. 모든 대화에는 제품 관련 발언이 포함됩니다 — 사양, 호환성, 규제 현황, 지원 약속.
Sales Enablement 팀장은 모든 연습 세션을 전사하고 키워드를 검색할 수 있는 통화 분석 플랫폼에 투자했었습니다. 그는 이것이 오류를 잡아내기에 충분하다고 생각했습니다. 그것은 틀린 생각이었습니다.
테스트: 키워드 검색이 놓치는 것 찾아내기
그는 간단한 테스트를 실행했습니다. 최근 연습 통화 5개를 플랫폼이 전사한 스크립트로 들으면서, 담당자가 회사 제품에 대해 말한 모든 사실적 발언을 직접 하나씩 추출했습니다. 그런 다음 자신이 수동으로 추출한 것과 플랫폼의 키워드 검색이 잡아냈을 것을 비교했습니다.
- 통화 1: 담당자가 “주요 EMR 대부분과는 거의 다 호환됩니다”라고 말했습니다. 플랫폼의 “완전 호환” 검색은 아무것도 찾지 못했습니다. 담당자가 지원된다고 암시한 주요 EMR 중 하나는 실제로는 지원되지 않았습니다.
- 통화 2: 담당자가 “언제든 도와드릴 수 있는 전담 임상 애플리케이션 전문가를 배정받으실 거예요”라고 말했습니다. 플랫폼의 “24/7 지원” 검색은 아무것도 찾지 못했습니다. 실제 지원은 영업시간 내에만 가능했고, 24시간 응답 SLA가 적용되었습니다.
- 통화 3: 담당자가 “미국과 유럽 대부분에서 승인받았습니다”라고 말했습니다. 플랫폼의 검색은 “FDA cleared”라는 문구를 찾아냈지만, “유럽 대부분”이 정확한지는 평가할 수 없었습니다 — 실제로 몇몇 주요 유럽 시장은 담당자가 언급하지 않은 추가 승인이 필요했습니다.
- 통화 4: 담당자가 “소프트웨어 업데이트는 보통 포함되어 있어요”라고 말했습니다. 키워드 검색은 “소프트웨어 업데이트”를 찾아냈지만 “보통”이라는 표현이 얼마나 큰 역할을 하는지는 알 수 없었습니다 — 일부 업데이트는 포함되었지만, 메이저 버전 업그레이드는 포함되지 않았습니다.
- 통화 5: 담당자가 “주요 조영제라면 어떤 것과도 호환됩니다”라고 말했습니다. 키워드 검색은 “조영제”를 찾아냈지만 “어떤 것과도”가 정확한지는 알 방법이 없었습니다. 담당자가 호환된다고 암시한 조영제 중 몇 가지는 실제로 호환되지 않았습니다.
다섯 번의 통화. 다섯 개의 놓친 발언. 플랫폼의 플래그는 0건.
놓친 발언의 대가
Sales Enablement 팀장은 이 결과를 VP of Sales에게 공유했습니다. 그는 놀라지 않았습니다. 그는 2개 분기 동안 판매 후 이슈를 추적해왔습니다. 그 기간 동안:
- 설치 후 지원 티켓의 **12%**는 세일즈 과정에서 부정확한 제품 정보를 받은 고객으로부터 발생했습니다
- 설치 지연의 **9%**는 잘못된 것으로 드러난 호환성 가정이 원인이었습니다
- 첫 해에 이탈한 고객의 **7%**가 “세일즈 과정에서 설정된 기대치가 실제와 맞지 않았다”고 답했습니다
키워드 검색 플랫폼은 리포트를 생성하고 있었습니다. 오류를 예방하고 있지는 않았습니다.
“저희는 문제가 될 것 같은 단어는 전부 검색할 수 있었어요. 하지만 저희가 뭘 찾아야 하는지 모르는 것은 검색할 수 없었죠. 그리고 진짜 실수는 바로 그 지점에서 일어나고 있었습니다.”
개입: 키워드 검색을 클레임 추출로 교체하기
이 회사는 미리 정의된 용어에 의존하지 않는 EOS (akaeos.com) 로 키워드 검색 플랫폼을 교체했습니다.
특정 단어를 검색하는 대신, EOS는 각 연습 세션에서 모든 사실적 발언을 추출하고, 각각을 회사의 실제 제품 문서와 대조했습니다:
- 키워드가 아니라 클레임을 추출했습니다. 플랫폼은 “완전 호환”이나 “24/7″을 찾지 않았습니다. 자연스러운 발화를 확인 가능한 개별 명제로 파싱했습니다. 담당자가 “주요 EMR 대부분과는 거의 다 호환됩니다”라고 말하면, 플랫폼은 이를 EMR 호환성에 대한 클레임으로 추출했습니다. 담당자가 “미국과 유럽 대부분에서 승인받았습니다”라고 말하면, 이를 규제 승인에 대한 클레임으로 추출했습니다.
- 각 클레임을 문서와 대조해 검증했습니다. 추출된 모든 클레임은 회사의 현재 호환성 매트릭스, 규제 승인 목록, 서비스 계약 조건과 대조되었습니다.
- 출처가 명시된 구체적인 판정을 내렸습니다. 키워드를 하이라이트하는 대신, 모순되는 클레임을 명확한 출처와 함께 플래그했습니다:
“모순(Contradicted): Epic 통합은 현재 버전에서 지원되지 않습니다. Compatibility Matrix v6.3, Section 2.1 참조.”
“모순(Contradicted): 독일은 추가 규제 승인이 필요합니다. Regulatory Status by Market, Appendix B 참조.”
이 차이는 미묘하지 않았습니다. 한 플랫폼은 이미 알고 있는 단어를 검색했습니다. 다른 하나는 예상하지 못했던 클레임까지 식별해냈습니다.
첫 30일, 숫자로 보면
이 파일럿은 아직 초기 단계입니다 — 35명, 한 달째입니다. 그래서 여기 있는 결과는 성숙한 롤아웃의 90일 전후 비교가 아닙니다. 키워드 검색을 멈추고 클레임 추출을 시작하자마자 거의 곧바로 드러난 스냅샷입니다.빈칸이나 “—”로 표시된 셀은 데이터가 빠진 게 아닙니다 — 그게 바로 핵심입니다. 키워드 검색 플랫폼은 클레임 정확성 자체를 전혀 측정하고 있지 않았기 때문에, 대부분의 행에는 비교할 만한 이전 기준선이 존재하지 않습니다. 그 기준선의 부재야말로 통화 1~5의 감사가 정확히 드러낸 것입니다.
첫 한 달 동안 발견한 것
- 담당자들은 자신이 틀렸다는 것을 인지하지 못한 채 발언하고 있었습니다. 5년 동안 이 회사에 근무한 한 담당자는 1년 넘게 호환성 관련 발언을 잘못 말해왔다는 사실을 발견했습니다 — 아무도 체크하지 않았기 때문에 아무도 잡아내지 못한 것이었습니다.
- 가장 흔한 오류는 명시적 발언이 아니라 암묵적 발언에 있었습니다. 담당자들은 “이 제품은 FDA 승인을 받았습니다”를 틀리게 말하는 경우는 드물었습니다. 하지만 실제보다 더 넓은 범위의 규제 커버리지를 암시하는 경우는 자주 있었습니다 — 몇몇 핵심 시장이 아직 승인 대기 중인데도 “주요 시장 대부분에서 승인받았다”고 말하는 식이었습니다.
- 매니저들은 이전에는 볼 수 없었던 것을 마침내 볼 수 있게 되었습니다. EOS의 매니저 대시보드를 통해, Sales Enablement 팀은 어떤 제품 영역에서 가장 많은 모순 클레임이 발생하는지 확인할 수 있었고, 그에 맞춰 트레이닝을 타겟팅할 수 있었습니다. 이전에는 추측만 했습니다. 이제는 데이터가 있습니다.
“첫 달 만에, 몇 년째 시스템에 남아있던 오류들을 발견했습니다. 담당자들이 부주의했기 때문이 아니라, 예전 플랫폼이 아예 체크를 하지 않았기 때문입니다. 그렇게 설계되지 않았던 거예요. 단어를 검색하는 것이었지, 발언을 평가하는 게 아니었으니까요.”
당신의 트레이닝 스택은 키워드를 검색하고 있나요, 아니면 클레임을 추출하고 있나요? 12페이지 분량의 리포트 Beyond Roleplay: The Rise of the Sales Knowledge Engine에서 전체 평가 프레임워크, 10가지 질문 스택 감사, 그리고 어떤 벤더에게든 물어야 할 데이터 주권 질문들을 확인하세요. [백서 다운로드 →]
키워드 검색이 실패하는 이유
키워드 검색은 특정 용어를 찾는 데는 유용합니다. 하지만 세일즈 대화는 대본대로 이루어지지 않습니다. 담당자는 바꿔 말합니다. 헷지(hedge)합니다. 줄여서 말합니다. 암묵적인 발언을 합니다.
“주요 EMR 대부분과는 거의 다 호환됩니다”라고 말하는 담당자는 호환성에 대한 발언을 하고 있는 것입니다 — 하지만 “완전 호환”을 검색하는 키워드 검색은 이를 완전히 놓칩니다. “미국과 유럽 대부분에서 승인받았습니다”라고 말하는 담당자는 규제에 대한 발언을 하고 있는 것입니다 — 하지만 “FDA cleared”를 검색하는 키워드 검색은 그 일부만 찾아내고 나머지는 평가할 수 없습니다.
근본적인 문제는 구조적입니다. 키워드 검색은 실제로 무엇이 주장되었는지 이해하지 못합니다. 그저 문자열을 매칭할 뿐입니다. 반면 클레임 추출은 즉흥적인 발화를 확인 가능한 개별 명제로 전환합니다 — 각각이 소스에 대해 독립적으로 참/거짓으로 판정될 수 있을 만큼 구체적인 문장으로요. 스크립트는 어떤 말이 있었는지 알려줍니다. 클레임 추출은 실제로 무엇이 주장되었는지 알려줍니다.
세일즈 리더를 위한 시사점
당신의 트레이닝 플랫폼이 사실 오류를 잡아내기 위해 키워드 검색에 의존하고 있다면, 설치 후 이슈가 책상 위에 올라오기 전까지는 보이지 않는 사각지대를 안고 있는 것입니다.
키워드 검색은 이미 무엇을 찾아야 하는지 알고 있는 것만 잡아냅니다. 바꿔 말한 표현, 헷지된 언어, 복합적인 발언, 암묵적인 비교는 놓칩니다. 반면 사실 기반 검증 시스템은 무엇을 찾아야 하는지 미리 알 필요가 없습니다. 표현 방식과 무관하게 모든 발언을 추출하고, 각각을 당신의 실제 문서와 대조합니다.
호환성 발언이 시스템이 실제로 병원에서 작동하는지를 결정하고, 규제 관련 발언이 판매 가능 여부 자체를 결정하는 의료기기 기업에서, 이 차이는 중요합니다.
당신의 문서가 지식 체크로 바뀌는 걸 확인하세요. EOS는 제품 문서를 연습과 검증 가능한 지식으로 전환합니다 — 발언 추출, 사실 기반 검증, 그리고 담당자가 실제로 무엇을 아는지 드러내는 자동 생성 퀴즈까지. akaeos.com에서 5석까지 무료로 시작하거나, **[전체 백서 다운로드]**하세요.
Leave a Reply