A.I🇰🇷, 모든 기사

범용 LLM이 제품 주장을 팩트체크할 수 없는 이유

AI 코치는 영업 담당자에게 고객 응대가 완벽했다고 알려줍니다.

강한 공감대. 훌륭한 진행 속도. 명확한 반론 대응.

그리고 대화 중반, 영업 담당자는 자신감 있게 이렇게 말합니다.

“저희 엔터프라이즈 플랜은 API 호출이 무제한입니다.”

AI는 높은 점수를 줍니다. 다만 한 가지 문제가 있습니다. 귀사의 가격표에는 엔터프라이즈 플랜의 API 호출이 월 1,000만 건까지라고 되어 있습니다.

대화는 나무랄 데 없었습니다. 하지만 제품 정보는 틀렸습니다. 그리고 AI 코치가 그 주장을 자사 문서와 대조 확인하지 않았다면, 그것을 알 방법은 없었습니다.

언어 모델은 여러분의 제품을 알지 못합니다

현대 AI에 대한 가장 큰 오해 중 하나는 AI가 여러분의 사업을 “안다”는 것입니다. 그렇지 않습니다.

대규모 언어 모델은 자연스러운 대화를 만들어내는 데 놀라울 정도로 뛰어납니다. 개념을 설명하고, 문서를 요약하고, 실제와 같은 고객 응대를 시뮬레이션할 수도 있습니다. 하지만 확실하게 할 수 없는 것은 여러분 회사의 최신 제품 카탈로그, 지난달의 가격 변경, 혹은 법무팀이 지난주 승인한 컴플라이언스 문구를 정확히 기억하는 일입니다. 그 정보는 모델이 아니라 여러분의 회사에 속한 것입니다.

영업 담당자가 제품에 관한 주장을 할 때, AI 코치에게는 그것을 확인할 신뢰할 수 있는 근거가 필요합니다. 그렇지 않으면 추측할 수밖에 없습니다. 그리고 자신감 있고 유창한 말투로 포장된 추측, 그것이 바로 환각(할루시네이션) 입니다.

그럴듯함은 사실과 다릅니다

대부분의 AI 코칭 플랫폼이 바로 이 지점에서 문제에 부딪힙니다. 어떤 발언은 완전히 틀렸어도, 지극히 타당하게 들릴 수 있습니다.

“저희 보증 기간은 48개월입니다.” “저희 소프트웨어는 Platform X와 직접 연동됩니다.” “이 기능은 Professional 플랜에 포함되어 있습니다.”

이 발언들은 모두 믿을 만하게 들립니다. 그리고 모두 사실이 아닐 수도 있습니다. 범용 모델은 이런 발언이 사실인지 알지 못합니다 — 수백만 개 다른 기업 제품에서 학습한 패턴을 바탕으로, 그것이 그럴듯하게 들리는지만 알 뿐입니다. 이는 영업에서 위험한 차이이며, 세일즈 트레이닝에서의 LLM 할루시네이션의 핵심 문제입니다. 그럴듯하게 들리는 오답과 정답은, 그럴듯함만 확인하는 시스템에게는 똑같아 보입니다.

고객은 그럴듯하게 들리는 것을 사지 않습니다. 사실에 근거해 구매합니다.

판정이 하나로는 부족한 이유

AI 코치에게 각 주장을 “맞음” 또는 “틀림”으로 판정하게 하고 싶어지는 것은 자연스러운 일입니다. 하지만 실제로는 그 정도의 해상도로는 충분하지 않습니다 — 주장이 틀렸을 때 실패하는 방식은 크게 두 가지로 나뉘며, 담당자는 그중 어느 쪽인지 알아야 합니다.

모순 — 주장이 자사 문서와 직접 충돌하는 경우입니다. 가격표에는 월 1,000만 건이라고 되어 있는데 *”API 호출 무제한”*이라고 말하는 것은 모순입니다. 정확한 숫자가 이미 존재하는데, 담당자가 그와 다른 숫자를 말한 것입니다.

불충분 — 주장이 반드시 거짓은 아니지만, 발언한 그대로는 확인할 수 없는 경우입니다. 정책상 반드시 포함해야 하는 고지 사항 없이 *”이건 완전히 준수합니다”*라고 말하는 담당자는 엄밀히 틀린 말을 한 것은 아닙니다 — 다만 문서가 그 상태로는 뒷받침할 수 없는 말을 한 것입니다. 규제가 있는 영업 현장에서는 이 항목이 가장 비싼 경우가 많습니다. 어조와 자신감만 확인하는 시스템에는 이것이 보이지 않기 때문입니다.

여기에 지원 — 주장이 현재 문서와 일치하고 출처까지 있는 경우 — 을 더하면, 점수 하나 대신 세 가지 판정을 얻게 됩니다. 이 해상도가 팩트 기반 검증을 실제로 실행 가능하게 만드는 이유입니다. “모순, 정확한 수치는 이렇습니다”와 “불충분, 빠진 것은 이렇습니다”는 담당자에게 고쳐야 할 것을 완전히 다른 두 가지 방식으로 알려줍니다. “틀렸습니다”라는 말은 아무것도 알려주지 않습니다.

모든 기업에는 자사만의 ‘진실의 원천’이 필요합니다

해법은 더 똑똑한 언어 모델이 아닙니다. 더 나은 근거입니다.

팩트 기반 시스템은 모델의 일반적인 학습 데이터에 의존하는 대신, 기업이 이미 가지고 있는 것 — 자사 웹사이트, 제품 문서, 가격표, 교육 자료 — 으로부터 지식 베이스를 구축하는 데서 출발합니다. 주장은 같은 카테고리의 유사 제품이 보통 어떻게 작동하는지에 대한 모델의 기억이 아니라, 바로 출처와 대조됩니다.

제품과 가격이 바뀌면서, 이 지식 베이스도 계속 최신 상태로 유지되어야 합니다 — 원본 문서로부터 다시 동기화하여, 7월에 이루어진 검증이 10월 시점에도 실제로 사실인 내용을 반영하도록 해야 합니다. 시스템을 처음 구축했을 때 사실이었던 내용이 아니라 말입니다.

피드백은 점수만 매기는 게 아니라 설명해야 합니다

기존 AI 코칭의 가장 큰 약점 중 하나는 어조, 진행 속도, 정확성을 전부 하나의 숫자로 뭉뚱그린 종합 점수입니다.

이 둘을 분리하는 것은 중요합니다. 연습 세션에서는 어떻게 전달했는지에 대한 평가와 말한 내용이 사실이었는지에 대한 평가를 각각 따로 낼 수 있습니다. 이 구분이 있어야 매니저는 자신 있게 전달하는 담당자와 정확하게 전달하는 담당자의 차이를 알 수 있습니다 — 앞서 든 예시에서처럼, 이 둘은 같은 담당자가 아닙니다.

주장을 검증할 수 없을 때, 더 유용한 응답은 “틀렸습니다”가 아닙니다. 왜 확인할 수 없었는지에 대한 설명입니다 — 어떤 문서를 확인했는지, 그 문서에 실제로 뭐라고 쓰여 있는지, 그리고 발언한 그대로의 주장을 뒷받침하려면 어떤 근거가 필요한지 말입니다. “제품 지식을 향상시키세요” 같은 일반적인 피드백은 무엇을 다르게 해야 하는지 알려주지 않습니다. 출처는 알려줍니다.

기업별 맞춤 평가가 더 나은 코칭을 만듭니다

성공의 정의는 조직마다 다릅니다. 어떤 기업은 기술적 정확성을 무엇보다 우선시할 수 있습니다. 다른 기업은 규제 준수를 강조할 수 있습니다. 또 다른 기업은 가격 일관성을 가장 중요하게 여길 수 있습니다 — 실제로 그 지점에서 거래를 놓치고 있기 때문입니다.

바로 이 때문에 대부분의 롤플레잉 플랫폼에 내장된 것과 같은 고정된 범용 루브릭은, 아무리 잘 설계되어 있어도 부족할 수밖에 없습니다. 그런 루브릭은 여러분의 업계에 특정 고지 사항이 요구된다는 것도, 여러분의 가격 정책에 경쟁사에는 없는 조건이 있다는 것도 알 방법이 없습니다. 검증 시스템은 여러분의 문서에서 출발해야 하며, 이상적으로는 제품과 정책이 발전함에 따라 팀이 직접 “정확함”과 “필수임”의 의미를 다듬어 나갈 수 있어야 합니다.

코칭이 더 일관되어집니다

영업 매니저들은 자연스럽게 서로 다르게 코칭합니다. 어떤 매니저는 디스커버리를 중시하고, 어떤 매니저는 반론 대응을 강조하며, 또 어떤 매니저는 기술적 정확성을 무엇보다 중요하게 여깁니다. 그 자체는 바뀔 필요가 없습니다.

바뀌는 것은 그 밑바탕입니다. 모든 담당자가 동일한 최신 문서를 기준으로 평가받을 때, 모든 매니저는 실제로 무엇이 발언되었는지 — 그리고 그것이 실제로 사실이었는지 — 에 대해 같은 사실 위에서 코칭하게 됩니다. 코칭 스타일은 계속 다를 수 있습니다. 하지만 판정은 다르지 않습니다.

AI 세일즈 코칭의 다음 세대

1세대 AI 세일즈 코칭은 영업 담당자가 더 잘 전달하도록 가르쳤습니다. 다음 세대는 더 정확하게 전달하도록 도와야 합니다.

현실적인 롤플레이를 생성하는 일은 업계 전반에서 빠르게 표준이 되어가고 있습니다. 영업 담당자가 실제로 무엇을 말했는지 검증하는 일 — 그리고 그 검증을 모델의 일반적인 가정이 아니라 기업 자체의 근거에 기반하게 하는 일 — 은 훨씬 더 어렵습니다. 그리고 훨씬 더 가치 있습니다.

2026년 AI로부터 가장 큰 이점을 얻는 조직은 단순히 연습용 대화를 더 많이 생성하는 데 그치지 않을 것입니다. 그들은 모든 주장에 대해 지원, 모순, 불충분이라는 세 가지 정직한 답 중 하나를 내리는 트레이닝 프로그램을 구축하고, 영업 담당자가 자신감 있게 들리는 것뿐 아니라 실제로 정확해지도록 학습하게 만들 것입니다.

Leave a Reply

Your email address will not be published. Required fields are marked *