이 카테고리의 벤더 데모는 대부분 비슷해 보입니다. 현실적인 목소리, 세련된 페르소나, 진짜 대화처럼 느껴지는 롤플레이. 하지만 그중 어느 것도 담당자가 하는 말이 실제로 사실과 대조되는지는 알려주지 않습니다.
이 열 가지 질문은 그것을 알려줍니다. 다음 데모에서 이 질문들을 던지고, 정직한 “예” 하나당 1점씩 매겨보세요. 대부분의 RFP가 한 달에 걸쳐 밝혀내는 것보다 많은 것을 15분 만에 알 수 있을 겁니다. 지금 쓰고 있는 스택에도 똑같이 적용해 보시고 — 저희를 검토 중이시라면 EOS에도 적용해 보세요. 이 글 마지막에 저희 스스로를 채점해 두었습니다.
1. 범용 모델 지식이 아니라 여러분 자신의 문서와 대조해 사실을 검증하는가?
이것이 근본적인 질문입니다. 답변이 그럴듯하게 들리는지만 확인하는 플랫폼은 정확성이 아니라 유창함을 채점하고 있는 것입니다. 정말 중요한 것은 “비슷한 제품은 보통 이렇다”는 모델의 일반적인 감각이 아니라, 여러분의 제품 문서, 가격표, 정책 문구와 대조해 각 주장을 확인하는 것입니다.
2. 모든 검증 판정 뒤에 있는 출처 — 정확한 문구 — 를 보여줄 수 있는가?
출처 없는 판정은 의견에 불과합니다. “모순” 또는 “부정확” 판정이 실제로 어느 문서의 어느 부분에 근거하는지 보여달라고 요청하세요. 라벨만으로는 부족합니다. 많은 플랫폼이 판정, 짧은 설명, 트랜스크립트 인용까지는 보여주지만, 근거가 되는 문서의 실제 구절까지는 보여주지 않습니다. 이는 “출처를 인용한다”는 것보다 실질적으로 약한 주장이며, 지금 어느 쪽을 제공받고 있는지 알아둘 가치가 있습니다.
3. 모순되는 주장과 모호하거나 불완전한 주장(고지 누락 포함)을 구분하는가?
정답/오답의 이분법 시스템으로는 “완전히 틀림”과 “대체로 맞지만 조건이 빠짐”의 차이를 표현할 수 없습니다. 그 플랫폼이 두 가지 이상의 판정 결과를 갖고 있는지 물어보세요. 그리고 구체적으로, 방향은 맞지만 필수 조건이나 고지 사항이 빠진 주장을 어떻게 처리하는지 물어보세요. 실제 코칭의 가치 — 그리고 실제 컴플라이언스 리스크 — 는 종종 바로 이 구분에 있습니다.
열 가지 질문 전체의 배경 논리와 프레임워크가 궁금하신가요? 저희의 12페이지 리포트 『Beyond Roleplay: The Rise of the Sales Knowledge Engine』에서는 클레임 추출, 팩트 기반 검증, 그리고 여섯 가지 데이터 주권 질문을 — 저희 자신도 아직 완전히 통과하지 못한 항목을 포함해 — 자세히 다룹니다. [화이트페이퍼 다운로드 →]
4. 각 담당자가 실제로 틀린 주장으로부터, 범용 문제 은행이 아니라 채점형 퀴즈를 자동 생성하는가?
일반적인 복습 교육은 구체적인 격차를 메우지 못합니다. 낮은 점수의 세션에서 그 담당자가 실제로 틀린 내용을 바탕으로 퀴즈가 자동으로 만들어지는지, 아니면 “보정 학습”이 그저 모두에게 같은 코스를 배정하는 것을 의미할 뿐인지 물어보세요. 이것이 실제 격차에 반응해 발동하는지, 아니면 성과와 무관하게 모든 세션에 범용 퀴즈가 붙는지도 함께 확인할 가치가 있습니다.
5. 테스트한 주장, 문서 버전, 날짜를 담은 내보내기 가능한 인증 기록을 만드는가?
이것은 “우리가 이걸로 교육했다”를 감사관이나 규제 당국에 보여줄 수 있는 무언가로 바꿔주는 기록물입니다 — 어떤 주장을, 어떤 버전의 문서를 기준으로, 언제 테스트했는지. 세션 이력과 퀴즈 점수도 유용하지만, 그것은 내보내기 가능하고 날짜가 찍힌 인증 기록과는 다릅니다. 존재한다는 말만 듣지 말고 실제로 하나 보여달라고 하세요.
6. 문서가 바뀌면 기존 인증이 자동으로 만료되고 재시험되는가?
가격이나 정책이 바뀌는 순간부터 지식은 낡기 시작합니다. 기반 문서가 바뀌었을 때 담당자의 “인증됨” 상태에 무슨 일이 일어나는지 물어보세요 — 바뀐 사실만을 대상으로 자동으로 만료되고 표적화된 재시험이 실행되는지, 아니면 누군가가 변경 사항을 알아채고 수동으로 새 퀴즈를 배정해야 하는지. 이 정직한 답이 바로 항상 최신 상태를 유지하는 시스템과 첫날 데모만 좋은 시스템을 가르는 지점입니다.
7. 업로드된 실제 통화도 연습 세션과 동일한 엄밀함으로 평가할 수 있는가?
연습 세션은 통제된 환경입니다. 실제 통화는 그렇지 않습니다. 업로드된 실제 통화 녹음을 전사한 뒤, 커뮤니케이션과 제품 지식 주장 모두에 대해 롤플레이와 동일한 검증을 적용해 평가할 수 있는지 물어보세요. 그 아래로 내려가면 완전한 리포트를 받을 수 없는 길이나 품질의 하한선이 있는지도 확인할 가치가 있습니다. 매우 짧은 녹음은 완전한 리포트를 만들어내지 못할 수 있습니다.
8. 팀 전체가 반복해서 틀리는 구조적인 공백을 드러내는가?
개인의 점수는 그 한 사람에 대해서만 알려줍니다. 더 가치 있는 질문은 그것을 취합해서 보여주는지입니다 — 한 사람이 아니라 팀 전체가 어떤 제품이나 주제에 약한지. 이 질문을 할 때는 구체적으로 물어보세요 — “우리가 어떤 제품에 약한가”와 “모두가 반복해서 틀리는 정확한 주장이 무엇인가”는 완전히 다른 수준의 디테일입니다. “구조적 통찰”을 내세우는 모든 플랫폼이 후자까지 제공하는 것은 아닙니다.
9. 데이터 주권에 관한 질문에 서면으로 답할 수 있는가?
통화 녹음, 업로드된 문서, 가격 전략은 민감한 정보입니다. 무엇이든 여러분의 환경 밖으로 나가기 전에, 다음에 대한 서면 답변을 받으세요 — 어떤 서드파티 AI 벤더가 데이터를 처리하는지, 그 콘텐츠가 공유 모델 학습에 쓰이는지, 보관·삭제 조건은 무엇인지, 프라이빗 또는 온프레미스 배포가 존재하며 정식으로 일반 제공되고 있는지, 데이터가 지리적으로 어디에 저장되는지, 그리고 직원이 어떻게 교육·검증되었는지를 보여주는 규제 당국용 기록이 있는지. “서비스 제공업체”라는 일반적인 문구가 담긴 개인정보 처리방침은, 이 여섯 가지 질문에 대한 구체적인 서면 답변과는 다릅니다 — 그 차이를 직접 물어보세요.
10. 여러분의 담당자들이 실제로 영업하는 언어로 작동하는가?
이것은 두 단계로 물어보세요. 벤더는 때로 더 쉬운 쪽에만 답하기 때문입니다 — 제품 인터페이스 자체가 어떤 언어로 작동하는지, 그리고 별개로 트레이닝 콘텐츠 — 롤플레이, 퀴즈, 평가 — 가 실제로 어떤 언어로 생성될 수 있는지. 이 두 숫자는 종종 다르며, 벤더의 마케팅 페이지는 그중 하나만 반영하고 있을 수 있습니다.
저희 스스로를 채점한다면
이 체크리스트를 어떤 플랫폼에도 실제로 쓸 수 있게 만들려면, 저희 자신에게도 적용할 각오가 있어야 합니다. 오늘 기준 EOS의 정직한 위치는 다음과 같습니다.
확실히 “예”: 주장은 범용 모델 지식이 아니라 여러분이 업로드한 문서와 대조해 확인됩니다(Q1). 판정은 정답/오답의 이분법을 넘어서며, 주장은 정확, 부정확, 확인 불가, 또는 핵심은 맞지만 조건이 빠진 경우의 일부 정확으로 분류될 수 있습니다(Q3). 낮은 점수를 받은 연습 세션이나 업로드된 통화에서는 그 담당자가 실제로 틀린 내용을 바탕으로 퀴즈가 생성될 수 있으며, 틀린 주장이 충분하지 않으면 추가 제품 문제로 채워집니다(Q4). 업로드된 실제 통화 녹음은 연습 세션과 동일한 주장 단위의 평가를 받습니다. 다만 매우 짧은 녹음은 완전한 리포트를 만들어내지 못할 수 있습니다(Q7).
아직 아닌 것: 저희가 보여드리는 것은 판정, 짧은 이유, 트랜스크립트 인용이며, 그 근거가 되는 문서의 실제 구절은 아닙니다. 따라서 진정한 의미의 출처 인용은 아직 주장할 수 없습니다(Q2). 문서 버전과 날짜를 담은 내보내기 가능한 인증 기록은 현재 만들지 않습니다(Q5). 또한 문서를 업데이트해도 기존 결과가 자동으로 만료되거나 재시험이 실행되지 않으며, 이는 여전히 수동 단계입니다(Q6).
부분적인 것: 매니저는 팀이 어떤 제품에 약한지, 그리고 담당자별 제품 정확도를 볼 수 있습니다 — 이는 실제 구조적 통찰이지만, “모두가 반복해서 틀리는 정확한 주장”이 아니라 제품 수준에 머뭅니다(Q8). 데이터 주권 측면에서, 저희 개인정보 처리방침에는 고객 콘텐츠가 모델 학습에 사용되지 않는다는 내용이 명시되어 있고, 음성 롤플레이는 이름이 공개된 벤더(OpenAI 및 Google의 모델) 위에서 작동합니다. 클라우드 제품은 리전 선택 기능 없이 한국에서 호스팅되고 있으며, 프라이빗 또는 온프레미스 배포는 셀프서브가 아닌 프리뷰 단계에 머물러 있습니다. 보관 조건은 개인정보 처리방침에 명시되어 있지만, 고객용 DPA와 이름이 명시된 서브프로세서 목록은 오늘 기준 셀프서브 문서가 아니라 보안 담당자와의 대화가 필요한 사안입니다(Q9). 언어와 관련해서는, 제품 인터페이스 자체는 영어, 한국어, 일본어로 작동하며, 트레이닝 콘텐츠는 이에 더해 중국어, 프랑스어, 독일어, 스페인어, 포르투갈어, 베트남어, 태국어, 인도네시아어로도 생성할 수 있습니다(Q10).
가짜 벤치마크도, 부풀림도 없습니다. 만약 어떤 벤더가 이 열 가지 질문 전부에 단 하나의 단서 조항도 없이 “예”라고 답한다면, 믿기 전에 실제로 그 자리에서 보여달라고 하세요.
Leave a Reply