Oral assessment

Oral exams, for classes that were never small enough to run them

The format the highest-stakes assessment in the world never abandoned, and what it takes to run it for two hundred students instead of two.

구술 평가

구술시험을 감당할 수 없었던 수업들을 위해

세상에서 가장 중요한 평가들이 끝내 버리지 않은 형식. 그리고 두 명이 아니라 200명에게 적용하려면 무엇이 필요한지.

A viva voce is an examination where a student answers out loud, in real time, to someone who can follow up. The follow-up is the whole thing: it is what separates an examination from a quiz, and it is why the format survived in medicine, doctoral study and professional licensing long after it disappeared from ordinary classrooms.

What it measures that a document cannot

  • Whether the reasoning behind a choice exists, or only the choice.
  • Whether the student can operate at the edge of what they prepared, which is where understanding actually lives.
  • Whether the work in front of them is theirs, without anyone having to accuse them of anything.
  • How they think when the answer is not already written down, which is the thing most employers and graduate programmes are actually selecting for.

Why classrooms gave it up

Arithmetic, not doubt about validity. One examiner, fifteen minutes, three hundred students is seventy five hours before anyone marks anything. Written exams won the nineteenth century because a hall could sit an entire cohort at once. Every serious analysis of the retreat lands in the same place: the format was too expensive, not too weak.

What changes the arithmetic

Conversational models can hold a grounded, adaptive conversation about a specific document. That does not make an AI a substitute for an examiner's judgment, and we would not claim it does. It makes the routine part of the conversation, the asking, cheap enough to give to everybody, so the expensive part, the judging, is spent where it matters.

What to look for

  • Questions grounded in the submission, not drawn from a bank. A generic question invites a rehearsed answer.
  • Adaptive follow-ups. A fixed script measures preparation. Depth measures understanding.
  • A reviewable record. Transcript, audio, and the reasoning behind any score. An assessment with consequences must be auditable.
  • Delivery excluded from the grade. Accent, fluency and hesitation must carry zero weight, and you should be able to verify that rather than take it on faith.
  • A human decision at the end. Software should present evidence. A person should set the grade.
  • Accommodations built in, including an instructor-run alternative that is not recorded as a lesser version.

What is a viva voce?

Latin for 'with the living voice'. An oral examination where a student answers questions in real time from an examiner who can ask follow-up questions based on the answers given.

Are oral exams reliable?

When they are structured, yes. Research on structured oral examinations in health-professions education finds reliability comparable to written formats. Unreliability is a property of unstructured vivas: no rubric, no consistent coverage, no record.

Can oral exams be graded fairly for students who are not fluent speakers?

Only if the rubric excludes delivery. Fluency, accent, pace and hesitation should carry no weight; the assessment is about whether the student can account for their own work. That has to be enforced in the criteria rather than left to the examiner's discretion.

How long should an oral check be?

For a check attached to a single submission, five to seven minutes is usually enough for two real follow-ups. A full viva on a body of work is a different exercise and runs considerably longer.

구술시험은 학생이 실시간으로, 후속 질문을 던질 수 있는 사람 앞에서 소리 내어 답하는 시험이에요. 핵심은 후속 질문이에요. 그게 시험과 퀴즈를 가르고, 일반 교실에서 사라진 뒤로도 의학, 박사 과정, 전문 자격에서 이 형식이 살아남은 이유예요.

문서가 하지 못하는 측정

  • 선택 뒤의 추론이 존재하는지, 아니면 선택만 있는지.
  • 준비한 것의 경계에서 움직일 수 있는지. 이해는 바로 거기에 있어요.
  • 누구도 학생을 고발하지 않고, 눈앞의 작업이 그 학생의 것인지.
  • 답이 이미 적혀 있지 않을 때 어떻게 사고하는지. 고용주와 대학원이 실제로 고르고 있는 게 그거예요.

교실이 이 형식을 포기한 이유

타당성에 대한 의심이 아니라 산수예요. 시험관 한 명, 15분, 학생 300명이면 채점을 시작하기도 전에 75시간이에요. 필기시험이 19세기를 이긴 건 강당 하나에 한 학년을 앉힐 수 있었기 때문이고요. 이 후퇴에 대한 진지한 분석은 모두 같은 결론에 닿아요. 형식이 약해서가 아니라 비쌌기 때문이에요.

산수를 바꾸는 것

대화형 모델은 특정 문서에 근거해 적응적인 대화를 진행할 수 있어요. 그렇다고 AI가 시험관의 판단을 대신한다는 뜻은 아니고, 저희도 그렇게 주장하지 않아요. 대화에서 반복적인 부분, 즉 묻는 일을 모두에게 줄 수 있을 만큼 싸게 만드는 거예요. 그래서 비싼 부분, 판단하는 일을 정말 필요한 곳에 쓰게요.

무엇을 봐야 하나요

  • 제출물에 근거한 질문. 문제은행에서 뽑은 질문이 아니어야 해요. 일반적인 질문은 연습한 답을 불러요.
  • 적응형 후속 질문. 고정된 대본은 준비 정도를 재요. 깊이가 이해를 재고요.
  • 검토 가능한 기록. 전사, 음성, 그리고 점수의 근거까지요. 결과가 따르는 평가는 감사 가능해야 해요.
  • 성적에서 제외된 전달. 억양, 유창함, 머뭇거림의 비중은 0이어야 하고, 믿어 달라는 말이 아니라 확인할 수 있어야 해요.
  • 마지막에 사람의 결정. 소프트웨어는 근거를 제시하고, 성적은 사람이 정해야 해요.
  • 내장된 편의 제공. 열등한 버전으로 기록되지 않는 교원 직접 진행 대체 방식까지 포함해서요.

구술시험이란 무엇인가요?

라틴어로 '살아 있는 목소리로'라는 뜻이에요. 학생이 실시간으로 답하고, 시험관이 그 답을 바탕으로 후속 질문을 던질 수 있는 시험이에요.

구술시험은 신뢰할 수 있나요?

구조화되어 있으면 그래요. 보건의료 교육의 구조화된 구술시험 연구는 필기 형식에 필적하는 신뢰도를 보고해요. 신뢰도 문제는 구조가 없는 구술시험의 속성이에요. 루브릭도, 일관된 범위도, 기록도 없는 경우요.

말하기가 유창하지 않은 학생에게 공정하게 채점할 수 있나요?

루브릭이 전달을 제외할 때만요. 유창함, 억양, 속도, 머뭇거림은 비중이 없어야 해요. 평가 대상은 학생이 자기 작업을 설명할 수 있는가예요. 시험관 재량에 맡기지 말고 기준에서 강제해야 해요.

구술 확인은 얼마나 길어야 하나요?

제출물 하나에 붙는 확인이라면 5~7분이면 실제 후속 질문 두 번에 보통 충분해요. 결과물 전체에 대한 정식 구술시험은 다른 일이고 훨씬 길어요.

Watch one, end to end.

A real five minute oral check and the report it produces.

처음부터 끝까지 한 번 보세요.

실제 5분짜리 구술 확인과 그 결과 리포트예요.