낮은 점수는 배움이 시작되어야 하는 지점입니다. EOS에서는 제품 지식 결과가 약하면 하나의 루프가 시작됩니다: 담당자가 틀린 내용으로 만든 퀴즈, 그리고 그 문제들을 다시 불러오는 복습 일정입니다. 유용한 루프이지만, 이 루프가 무엇을 하는지, 매니저가 그것의 무엇을 볼 수 있는지, 그리고 무엇을 한다고 주장하지 않는지를 정확히 짚어둘 가치가 있습니다.
보충 퀴즈(remedial quiz)를 촉발하는 것
세션의 제품 지식 점수가 80 미만이면, EOS는 백그라운드에서 그 세션에서 담당자가 틀린 주장을 바탕으로 한 퀴즈를 그 담당자를 위해 생성합니다. 퀴즈를 채울 만큼 틀린 주장이 충분하지 않으면 같은 제품에 대한 문제가 추가됩니다. 문제는 객관식이거나 서술형일 수 있습니다.
누구도 요청할 필요가 없습니다. 담당자는 자신의 퀴즈 영역에서 그것을 발견하며, 매니저에게는 알림이 가지 않습니다. 보충 퀴즈가 만들어졌는지 알고 싶은 매니저는 퀴즈 활동을 따로 확인해야 합니다.
보충 퀴즈는 그것이 만들어진 담당자의 것입니다. 한 사람에게 묶인 유일한 종류의 퀴즈입니다.
담당자가 그것으로 하는 일
퀴즈 페이지에서 담당자에게는 “Start a quiz” 아래에 두 가지 경로가 있습니다.
New quiz에서는 제품을 고르거나 EOS가 대신 골라주게 할 수 있습니다. EOS가 고를 때는 먼저 그 담당자 본인의 보충 퀴즈 문제를 우선하고, 그다음 이미 복습 기한이 된 문제, 그다음 점수가 가장 약한 제품에 대한 일반 문제 순으로 우선합니다.
Review에는 “Revisit the questions you missed(틀린 문제 다시 보기)”라고 표시되어 있습니다. 기한이 된 것이 있으면 “due for review(복습 기한)”라는 라벨이 붙은 개수와 Start review 버튼이 표시됩니다. 기한이 된 것이 없으면 모두 끝냈다고 표시됩니다. 홈 대시보드에도 기한이 된 복습의 수를 보여주는 작은 칩이 있습니다.
담당자에게 보이는 것은 개수이지 목록이 아닙니다. Review 패널에는 기한이 된 문제의 본문이 표시되지 않으므로, 무엇이 기한인지는 복습을 시작해야 알 수 있습니다. 한 번의 복습에서는 한 번에 제한된 수만 출제되므로, 쌓인 양이 많으면 여러 번에 나누어 해야 합니다.
퀴즈 페이지에는 담당자 본인의 통계도 표시됩니다: 총 시도 횟수, 정답률, 스트릭(streak, 연속 일수), 그리고 퀴즈 정답률이 가장 낮은 제품인 Focus areas(중점 영역)이며, 각각 Practice 버튼이 있습니다.
복습 일정이 작동하는 방식
담당자가 답한 모든 문제에는 그 담당자 전용의 복습 날짜가 생깁니다. 아직 아무도 시도하지 않은 문제에는 날짜가 없습니다.
담당자가 그 문제를 계속 맞힐수록 간격은 길어집니다. 틀리면 다음 복습은 하루 뒤로 돌아옵니다. 일정은 개별 문제와 개별 담당자에게 속하므로, 같은 문제를 푸는 두 담당자는 각자 다른 날짜를 가지며, 퀴즈나 제품에 모두에게 공통된 날짜가 하나 있는 것이 아닙니다.
이것은 담당자가 답한 모든 문제에 적용되며, 어떻게 만들어졌든 상관없습니다: 온보딩 때의 일반 제품 퀴즈, 보충 퀴즈, 또는 관리자가 직접 작성한 문제. 모두 같은 Review 풀로 들어갑니다.
관리자를 위한 세부 사항 하나: 오너나 관리자가 채점을 수정하면, 정답으로 표시하더라도 그 문제의 다음 복습은 하루 뒤로 초기화됩니다.
이 퀴즈들 뒤에 있는 검증이 무엇을 확인하는지 살펴보세요. 저희의 12페이지 리포트 『Beyond Roleplay: The Rise of the Sales Knowledge Engine』에서는 클레임 추출, 팩트 기반 검증, 그리고 지식 격차가 어떻게 발견되고 후속 조치가 이루어지는지에 대해 어떤 벤더에게든 물어볼 가치가 있는 질문들을 다룹니다. [화이트페이퍼 다운로드 →]
각 답변 후에 담당자가 보는 것
제출 직후 담당자는 Correct(정답) 또는 Incorrect(오답)와 그 이유를 설명하는 짧은 메모를 봅니다. 서술형 답변은 그 문제의 루브릭에 비추어 모델이 채점하며, 담당자는 이후에 그 루브릭을 확인할 수 있습니다. 문제에 해설이 있으면 그것도 표시되고, 출처 이름과, 링크가 보존된 경우 링크도 함께 표시됩니다. 틀린 객관식 문제는 정답도 함께 보여줍니다.
작은 주의점이 두 가지 있습니다. 링크가 사실의 출처가 된 정확한 페이지를 가리킨다는 보장은 없으며, 출처 이름만 있고 링크가 없는 경우도 있습니다. 그리고 채점 자체가 실패하면 그 시도는 Incorrect로 기록되고 피드백은 진짜 설명이 아니라 오류 메시지가 되므로, 예상보다 가혹한 결과가 나왔다면 한 번 더 확인해 볼 가치가 있습니다. 관리자는 채점을 수정할 수 있습니다.
알림은 없고, 아무것도 만료되지 않는다
EOS는 복습 기한이 되어도 이메일이나 다른 어떤 알림도 보내지 않습니다. 담당자는 퀴즈 페이지나 대시보드를 열 때만 기한 개수를 봅니다. 그 화면들을 한 번도 열지 않으면 복습은 그냥 기한이 된 상태로 남습니다.
기한이 지난 복습은 쌓이며 만료되지 않습니다. 문제는 그 담당자가 다시 답할 때까지 기한이 된 상태로 남고, 답해도 움직이는 것은 그 문제의 날짜뿐입니다. 이것은 과소평가하기 쉽습니다: 퀴즈 페이지를 열지 않는 팀에는 기한이 된 문제가 조용히 쌓입니다.
매니저가 볼 수 있는 것
조직 관리자와 오너는 퀴즈 페이지의 조직 통계를 열 수 있으며, 팀이 다시 봐야 할 문제가 몇 개인지를 보여주는 팀 전체 숫자 하나가 표시됩니다. 거기서 팀 전체의 시도 기록을 열어 교육생, 제품, 문제 유형, 정답/오답, 기간으로 필터링할 수 있고, 개별 시도를 열어 문제, 교육생의 답변, 판정, 피드백, 다음 복습 날짜를 확인할 수 있습니다.
조직 대시보드에는 두 가지 보기가 더 있습니다. Curriculum Gap 히트맵은 각 교육생의 제품별 퀴즈 정답률을 보여주며, 셀을 클릭하면 그 사람의 해당 제품 시도 기록이 열립니다. “관심 필요” 목록은 약 일주일간 활동이 없었거나, 세션 점수나 퀴즈 정답률이 하락한 교육생을 표시합니다.
트레이너에게는 이러한 보기가 보이지 않습니다. 팀 전체 기한 개수, 팀의 퀴즈 시도 기록, 문제 관리 도구는 조직 관리자와 오너를 위한 것입니다.
이 루프가 하지 않는 것
이 루프는 깔끔해 보이기 때문에, 무엇이 빠져 있는지 직접 말해두는 것이 좋습니다.
세션 점수는 바뀌지 않습니다. 퀴즈 결과가 갱신하는 것은 퀴즈 정답률과 복습 일정뿐입니다. 그것을 촉발한 통화를 다시 채점하는 일은 없습니다.
무엇도 ‘해결됨’으로 표시하지 않습니다. ‘격차 해소’나 ‘숙달’ 상태는 없습니다. 정답이 이어져도 그 문제의 다음 복습이 더 뒤로 밀릴 뿐이고, 그 문제는 풀에 남아 있습니다. 이 루프는 시도와 정답률을 기록하고 다음 복습을 예약합니다. 실수가 고쳐졌다고 말해줄 수는 없습니다.
반복된 실수를 세지 않습니다. EOS는 모든 시도를 보관하지만, 어떤 담당자가 같은 문제나 같은 주장을 몇 번 틀렸는지는 어디에도 표시되지 않습니다. “관심 필요” 목록이 표시하는 것은 활동 중단이나 최근의 하락이지, 한 문제에서의 반복된 실수가 아닙니다. 정답률이 계속 낮지만 최근에 변화가 없는 사람은 전혀 표시되지 않습니다. 기한이 지난 복습도 표시 사유가 아니며, 누가 어떤 문제에서 밀려 있는지를 보여주는 담당자별 목록도 없습니다.
특정 한 사람을 겨냥할 수 없습니다. 관리자는 공용 문제를 작성하거나 제품에 대한 문제 세트를 생성할 수 있지만, 특정 개인에게 퀴즈를 배정하거나 누군가의 보충 퀴즈를 직접 만들 수는 없습니다. 그것들은 점수가 계기가 된 본인을 위해 자동으로 만들어집니다.
제품이 바뀌어도 오래된 문제가 자동으로 퇴역하지 않습니다. 승인된 제품을 편집하면 이후의 채점과 새로 생성되는 문제에 쓰이는 지식은 갱신되지만, 이미 시스템에 있는 퀴즈 문제를 다시 쓰거나 비활성화하거나 삭제하지는 않으며, 예정된 복습도 지워지지 않습니다. 편집 후 새 퀴즈를 생성하면 기존 세트 옆에 새 세트가 추가됩니다. 관리자가 오래된 문제를 비활성화하거나 삭제할 때까지, 담당자는 이전 제품 정보를 바탕으로 작성된 내용으로 계속 출제될 수 있습니다.
이를 어떻게 활용할까
여기서 몇 가지 실천 습관이 나옵니다.
개수만이 아니라 시도 기록을 보세요. 팀의 기한 개수는 쌓인 양이 있다는 것을 알려줍니다. “관심 필요” 목록에 있는 사람들의 시도 기록과 히트맵에서 약해 보이는 셀을 열어보면, 그들이 실제로 무엇을 놓치고 있는지 알 수 있습니다.
담당자에게 복습이 어디에 있는지 알려주세요. 알림이 없으므로 기한이 된 복습이 표시되는 유일한 곳은 퀴즈 페이지입니다. 그렇게 말해두면 도움이 됩니다.
제품을 바꾼 뒤에는 오래된 문제를 확인하세요. 더 이상 맞지 않는 문제를 비활성화하면 오래된 사실을 계속 복습시키는 일을 막을 수 있습니다.
요약
보충 퀴즈와 복습 일정은 약한 결과를 매니저의 노력 없이 자체 일정으로 돌아오는 후속 조치로 바꿔줍니다. 하지만 격차가 해소되었음을 확인하거나, 끈질긴 격차를 누군가에게 알리거나, 도움 없이 카탈로그를 따라가지는 않습니다. 이 루프를 증명이 아니라 유용한 자극으로 다루는 것이 정직함을 지키는 길입니다.
자사 문서가 그대로 지식 점검이 되는 순간을 확인하세요. EOS는 귀사의 제품 문서를 실전 연습과 증명 가능한 지식으로 바꿉니다 — 주장 추출, 팩트 기반 검증, 그리고 영업 담당자가 실제로 무엇을 아는지 보여주는 자동 생성 퀴즈까지. app.akaeos.com에서 최대 5석까지 무료로 시작하거나, **[화이트페이퍼 전체 다운로드]**해 보세요.
Leave a Reply