The format the highest-stakes assessment in the world never abandoned, and what it takes to run it for two hundred students instead of two.
세상에서 가장 중요한 평가들이 끝내 버리지 않은 형식. 그리고 두 명이 아니라 200명에게 적용하려면 무엇이 필요한지.
A viva voce is an examination where a student answers out loud, in real time, to someone who can follow up. The follow-up is the whole thing: it is what separates an examination from a quiz, and it is why the format survived in medicine, doctoral study and professional licensing long after it disappeared from ordinary classrooms.
Arithmetic, not doubt about validity. One examiner, fifteen minutes, three hundred students is seventy five hours before anyone marks anything. Written exams won the nineteenth century because a hall could sit an entire cohort at once. Every serious analysis of the retreat lands in the same place: the format was too expensive, not too weak.
Conversational models can hold a grounded, adaptive conversation about a specific document. That does not make an AI a substitute for an examiner's judgment, and we would not claim it does. It makes the routine part of the conversation, the asking, cheap enough to give to everybody, so the expensive part, the judging, is spent where it matters.
Latin for 'with the living voice'. An oral examination where a student answers questions in real time from an examiner who can ask follow-up questions based on the answers given.
When they are structured, yes. Research on structured oral examinations in health-professions education finds reliability comparable to written formats. Unreliability is a property of unstructured vivas: no rubric, no consistent coverage, no record.
Only if the rubric excludes delivery. Fluency, accent, pace and hesitation should carry no weight; the assessment is about whether the student can account for their own work. That has to be enforced in the criteria rather than left to the examiner's discretion.
For a check attached to a single submission, five to seven minutes is usually enough for two real follow-ups. A full viva on a body of work is a different exercise and runs considerably longer.
구술시험은 학생이 실시간으로, 후속 질문을 던질 수 있는 사람 앞에서 소리 내어 답하는 시험이에요. 핵심은 후속 질문이에요. 그게 시험과 퀴즈를 가르고, 일반 교실에서 사라진 뒤로도 의학, 박사 과정, 전문 자격에서 이 형식이 살아남은 이유예요.
타당성에 대한 의심이 아니라 산수예요. 시험관 한 명, 15분, 학생 300명이면 채점을 시작하기도 전에 75시간이에요. 필기시험이 19세기를 이긴 건 강당 하나에 한 학년을 앉힐 수 있었기 때문이고요. 이 후퇴에 대한 진지한 분석은 모두 같은 결론에 닿아요. 형식이 약해서가 아니라 비쌌기 때문이에요.
대화형 모델은 특정 문서에 근거해 적응적인 대화를 진행할 수 있어요. 그렇다고 AI가 시험관의 판단을 대신한다는 뜻은 아니고, 저희도 그렇게 주장하지 않아요. 대화에서 반복적인 부분, 즉 묻는 일을 모두에게 줄 수 있을 만큼 싸게 만드는 거예요. 그래서 비싼 부분, 판단하는 일을 정말 필요한 곳에 쓰게요.
라틴어로 '살아 있는 목소리로'라는 뜻이에요. 학생이 실시간으로 답하고, 시험관이 그 답을 바탕으로 후속 질문을 던질 수 있는 시험이에요.
구조화되어 있으면 그래요. 보건의료 교육의 구조화된 구술시험 연구는 필기 형식에 필적하는 신뢰도를 보고해요. 신뢰도 문제는 구조가 없는 구술시험의 속성이에요. 루브릭도, 일관된 범위도, 기록도 없는 경우요.
루브릭이 전달을 제외할 때만요. 유창함, 억양, 속도, 머뭇거림은 비중이 없어야 해요. 평가 대상은 학생이 자기 작업을 설명할 수 있는가예요. 시험관 재량에 맡기지 말고 기준에서 강제해야 해요.
제출물 하나에 붙는 확인이라면 5~7분이면 실제 후속 질문 두 번에 보통 충분해요. 결과물 전체에 대한 정식 구술시험은 다른 일이고 훨씬 길어요.
A real five minute oral check and the report it produces.