저희가 만드는 모든 것은 구술 평가가 어떻게 이해를 드러내는지 — 그리고 어떤 한계가 있는지 — 에 대한 연구에 기반해요. 저희의 연구를 투명하게 공유하고, 아직 가설인 부분은 분명히 표시하며, 그 근거에 책임을 지고 있어요.
구술 평가가 글만으로는 보이지 않는 이해를 드러낼까?
AI 점수가 경험 많은 교사 패널과 같은 범위 안에 들어올까?
언어 배경, 장애 여부, 사회경제적 지표에 따라 점수가 달라지지는 않을까?
구술 평가가 예정되어 있다는 사실이, 학생이 제출 전에 자기 글을 다루는 방식을 바꿀까요?
워킹 페이퍼
대규모 교육에서 확장성 때문에 오랫동안 밀려나 있던 구술 평가가, 생성형 AI에 대한 대응으로 다시 검토될 가치가 있는 이유를 비평적으로 살펴본 리뷰예요. 구술 평가와 서술형 평가를 비교한 근거, 인출(retrieval)과 대화에 관한 인지과학, 그리고 AI 매개 구술 평가에 관한 초기 연구를 종합해, 대화형 AI가 과거 구술 시험을 소수 환경에만 가두었던 비용 제약을 완화할 수 있다고 주장해요. 다만 이 핵심 주장은 입증된 결과가 아니라 검증이 필요한 가설임을 분명히 하고, 이를 검증할 연구 의제를 함께 제시해요. 아직 동료 심사를 거치지 않았어요.
위 리뷰의 실증적 후속 연구예요. 파트너 학교들과 함께 AI 매개 구술 평가가 경험 많은 교사의 판단과 얼마나 일치하는지(타당도), 학생 집단에 따라 결과가 달라지는지(형평성), 그리고 이 형식이 학생의 준비와 학습 방식을 어떻게 바꾸는지를 살펴보고 있어요. 데이터 수집이 진행 중이며, 근거가 뒷받침될 때에만 결과와 그 한계를 함께 공개할 거예요.
저희의 방식
연구 방법론 — 연구 설계, 측정 방법, 분석 — 을 문서화하고, 파트너 학교에는 요청 시 공유해요.
AI 점수는 경험 많은 교사 패널과의 비교로 보정되며, 일치율을 지속적으로 검토해요.
언어적 배경, 장애 여부, 사회경제적 지표에 따른 점수 격차가 있는지 적극적으로 검증해요. 격차가 발견되면 원인을 추적해요.
Viva 점수는 참고 신호일 뿐이에요. 최종 채점은 항상 교사가 결정해요. 모든 화면에서 이 점을 명확히 하고 있어요.