서·논술형 평가는 학생의 고차원적 사고력과 표현 능력을 측정하는 핵심적인 평가 방법이다. 그러나 채점 공정성에 대한 부담, 그리고 채점에 소요되는 노력과 시간 확보의 어려움으로 현장 안착에 제약이 많은 방법이기도 하다.
1960년대에 학생이 작성한 글을 자동으로 채점하고자 하는 목적으로 개발된 PEG(Project Essay Grade) 이후 자동채점은 자질(feature) 엔지니어링 기반의 머신러닝 모델, 딥러닝 모델, 대규모 언어 모델(LLM), 생성형 AI로 이어지면서 기술적 발전을 이루고 있다.
학생이 작성한 답안을 평가하는 것은 인간 채점자에게도 고도의 인지 과정을 요구한다. 이에 AI 자동채점 기술은 인간 채점자가 겪는 채점 과정을 동일하게 모방하는 방식이 아니라 인간 채점자가 부여한 점수와의 일치도를 높이는 방향으로 발전하고 있다.
AI 기술이 발전하면서 점수나 등급을 예측하는 성능 또한 보다 향상되고 있으나, 점수 예측의 과정이나 근거가 교육적으로 타당성을 갖추고 있는지, 점수 예측의 근거를 인간이 이해할 수 있는 방식으로 설명 가능한지에 대해서는 여전히 해결해야 할 과제들이 많다. 기술의 발전은 항상 밝은 면과 어두운 면이 동시에 존재한다. 본고에서는 AI 자동채점의 양면성을 살펴보고, 어떻게 하면 보다 현명하게 AI 자동채점을 활용할 수 있을지에 대해서 논의하고자 한다.
AI 자동채점이 주는 긍정적 변화
서·논술형 응답을 인간이 채점할 때에는 피로도, 채점 순서, 필체, 후광효과 등 채점해야 하는 요소와는 무관한 요인에 의해 채점의 정확성이 흔들릴 수 있다. 그러나 사전에 정의된 채점 기준과 답안의 내용만을 기계적으로 연산하는 자동채점은 인간 채점과 비교할 때 상대적으로 높은 수준의 일관성을 확보할 수 있고, 많은 답안을 한 명의 교사가 담당하여 채점해야 하는 수고로움을 덜어줄 수 있다.
또한 자동채점은 학생 입장에서 즉각적인 피드백을 받는 장점이 있다. 서·논술형 평가를 통해서 학생의 학습이 보다 유의미하게 일어나기 위해서는 교사가 없는 환경에서도 학습한 내용을 서·논술형으로 작성하게 하는 연습이 필요하다. 그러나 교사가 수많은 학생의 답안을 즉각적으로 채점하고 피드백하는 것은 거의 불가능하기 때문에 학교에서도 서·논술형 평가가 확대되기가 어렵고, 그만큼 학생들에게도 연습의 기회가 제공되기 어려웠다. 그러나 AI 자동채점은 학생이 응답을 제출한 직후 점수뿐만 아니라 채점 기준별 충족 여부, 핵심 개념의 포함 여부, 답안 수정을 위한 피드백 등을 즉각적으로 제공할 수 있다는 점에서 학생의 학습을 지원하는 서·논술형 평가를 구현할 수 있다는 기회를 제공한다.
AI 자동채점의 기술 한계에 따른 제약
AI 자동채점은 점수를 어떤 방식으로 산출하느냐에 따라 크게 세 흐름으로 살펴볼 수 있다. 물론 기준에 따라서 보다 다양한 흐름으로 살펴볼 수 있겠지만, 편의상 본고에서는 ‘채점자질 기반 머신러닝’, ‘신경망 기반의 딥러닝’, ‘LLM 기반의 생성형 AI’의 세 가지 방법으로 살펴보고자 한다.
채점자질 기반 접근은 글의 길이, 문법 사용의 정확성, 어휘 활용의 다양성, 문장 복잡성 등 답안에서 채점하고자 하는 내용에 대해서 수량적 산출이 가능한 특징을 설계하고, 이러한 특징에 대한 산출 값을 근거로 점수를 예측하게 하는 방법이다. 이때 사용되는 특징을 ‘채점자질(feature)’이라고 부를 수 있다. 머신러닝 방법에서 채점자질은 해당 분야의 전문가에 의해서 설계되기 때문에 교육적 원리나 이론이 반영될 수 있고, 점수 예측에 활용되는 변인이 명확하기 때문에 평가의 타당성을 확보하기가 상대적으로 용이하다.
그러나 한계도 존재한다. 예를 들어 ‘내용의 풍부함’을 확인하기 위해서는 수량적 산출이 가능한 ‘다양한 어휘 사용’과 같은 채점자질을 활용하여 간접적인 측정을 하기 때문에 자칫 평가가 표층 자질만 반영하게 된다는 비판을 받을 수 있다. 그럼에도 불구하고 앞서 기술한 장점들 때문에 해외에서는 대단위 평가에서 채점자질 기반의 머신러닝 방법을 많이 사용하고 있다.
다음으로 신경망 기반 딥러닝 방법은 채점자질 엔지니어링 과정이 없이, 수많은 학생 답안과 점수의 관계를 학습하면서 기계가 이 둘의 관계를 스스로 찾아내도록 하는 방법이다. 따라서 이 방법은 사전에 구축된 AI 학습용 데이터의 품질에 많은 영향을 받게 되고, 소위 블랙박스 모델이라고 불리는 특성, 즉 어떤 과정으로 이 점수가 산출되었는지를 설명하기가 어렵다는 단점이 있다.
끝으로 최근에 가장 많이 사용되고 있는 생성형 AI를 활용하는 자동채점 방법이 있다. 생성형 AI는 점수 예측 외에 채점의 근거를 제시하고, 피드백을 제시할 수 있다는 점에서 교육적으로 매우 큰 장점이 있다. 그러나 생성형 AI는 입력된 문맥을 바탕으로 가장 개연성이 높은 언어적 응답을 확률적으로 생성하는 방식이기 때문에 AI가 제시하는 출력이 아무리 유창하더라도 이것이 교육적 정확성과 타당성으로 직결되지는 않는다. 또한 동일한 조건에서 동일한 답안과 채점 기준을 입력하더라도 점수와 피드백이 동일하게 재현된다고 보장하기 어렵다는 점에서 채점의 일관성 확보의 제한점이 있다.
AI 자동채점이 교사의 평가 전문성에 미치는 영향
앞서 AI 자동채점의 방법을 세 가지 흐름으로 설명하면서 각 방법론이 가지고 있는 기술적 한계를 제시하였다. 이러한 기술적 제약 외에도 장기적으로는 AI 자동채점이 교사에게 어떠한 영향을 미칠 수 있는지를 심도 있게 고려해야 한다.
서·논술형 응답을 채점하는 것은 복잡한 채점 기준을 해석하고 이를 응답에 적용하면서 경계 사례를 판정하는 고도의 전문성을 요구한다. 그러나 AI 자동채점을 활용하게 되면서 AI 점수가 인간 교사의 판단보다 먼저 제시되면 앵커링 효과가 발생할 수 있다. 즉 AI가 3점을 먼저 부여하면 인간 교사는 독립적인 평가를 하기보다는 3점을 기준에 놓고 좀 더 엄격하게 채점할 것인가, 좀 더 관대하게 채점할 것인가를 고민하게 되는 것이다. 또한 처음 몇 건은 AI의 채점 결과와 자신의 채점 결과를 비교하면서 검토하다가 확신이 생기면 이후는 AI에 대해 과도하게 신뢰하면서 유의미한 검토 과정을 생략하게 될 수도 있다. 이 외에도 AI 채점의 의존도가 높아지면서 장기적으로는 교사가 가지고 있는 채점 전문성이 저하되는 탈숙련화 현상이 발생할 수도 있다.
이는 AI 자동채점 자체가 가지고 있는 문제점이 아니라 교육에서 활용의 문제에 해당한다. 어떤 기술이든 잘못된 활용을 하게 되면 부정적인 결과를 불러올 수밖에 없다. 그러므로 AI 자동채점이 교사가 가지고 있는 본래의 평가 전문성을 흔들거나 약화시키지 않도록 하는 것이 중요하다.
앞으로 나아갈 길
AI 자동채점은 교사의 채점 행위를 대체하는 기술이 아니라, 교사의 채점을 보완하고, 교사의 채점 전문성을 증강시키는 도구로 규정되어야 한다. 최종 점수와 피드백 내용에 대한 책임은 인간 교사가 가지고 있어야 하고, 채점의 모든 과정을 AI에게 위임하기보다는 특정 과정에서 분절적으로 AI를 활용하는 것을 권장한다.
예를 들어 AI로 점수를 바로 산출하지 않고 학생 답안 중 유사한 답안을 군집화해서 채점을 보다 효율적으로 수행하거나, 특정 키워드의 포함 여부와 같이 기계적으로 일관성 있게 확인해야 하는 내용에 대해서만 AI를 사용하거나, 교사의 채점 과정에서 갑자기 일관성이 떨어지거나 특이 사항이 발생하지 않았는지를 모니터링하는 데에는 AI를 활용할 수 있다. 또한 AI를 인간 교사의 채점 전문성을 신장하는 데에도 활용할 수도 있다. 예를 들어 채점 기준의 적합성을 AI가 점검하도록 하거나, 특이한 답안이나 경계에 해당하는 답안을 AI가 추출하도록 하여 이에 대한 채점을 인간 교사로 하여금 연습하게 할 수 있다.
AI 자동채점은 서·논술형 평가를 확대할 기회의 장을 열어주기도 하면서 동시에 교육적 타당성과 해석 가능성 문제를 제기하며 장기적으로는 과의존에 따른 교사의 평가 전문성 저하를 불러올 수도 있다. 그러나 교육 분야에서 AI의 활용은 더 이상 뒤로 물러설 수 있는 상황은 아니다.
이에 AI 자동채점에 대해 찬성과 반대의 입장으로 접근하기보다는, 보다 안전하고 현명하게 활용하기 위한 방안을 고민하는 것이 적절할 것이다. AI와 인간 교사의 역할을 명확하게 명시하고, 자칫 AI 활용으로 인해 인간 교사의 평가권과 전문성이 주변화되지 않도록 관련 규제나 제도를 마련하는 것이 중요할 것이다. 이러한 노력을 통해 AI 자동채점으로 하여금 서·논술형 평가가 보다 쉽게 안착되고 나아가 학생들의 학습의 질을 높여줄 수 있기를 기대해 본다.
