서울대 합격생이 쩔쩔맨 6월 모의평가 ‘킬러문항’ 챗GPT도 틀려

“국어는 언어와 매체가 어려웠던 것 같다. 평가원과 나 사이의 암묵적인 약속이 단어의 발음 결과를 옆에 같이 제시해준다는 거다. ‘넓다’의 발음이 ‘널따’인지 ‘넙따’인지 알려주는 식이다. 38번 문제에 그게 없어서 당황했다. 여기서 시간을 많이 뺏겼다.”

유튜브 채널 ‘스튜디오 샤’의 영상에 출연한 한 서울대 재학생이 ‘2024학년도 대학수학능력시험 6월 모의평가’(6월 모평) 국어 영역을 풀고 남긴 후기다. 이 학생은 2020학년도 대학수학능력시험(수능)에서 국어 1등급을 받아 서울대에 정시로 합격했다. 하지만 이 영상에서 6월 모평을 풀어본 결과 ‘킬러문항’으로 불리는 초고난도 문제 3개에 발목을 잡히며 2등급을 받았다. 이미 서울대에 합격한 학생에게도 수능과 모평의 변별력 유지를 위해 출제돼온 킬러문항이 결코 쉽지 않은 것이다.

이 영상에 등장한 서울대 재학생들은 “6월 모평은 전반적으로 실험을 많이 한 느낌”이라고 입을 모았다. 특히 어려웠다는 수학 영역에 대해서는 “14번 문제의 계산이 너무 길고 복잡해 검산이 계속 틀리게 나왔다”거나 “원래는 수열 문제가 나올 곳이 아닌데 수열이 나오는 등 처음 보는 유형이 많았다”는 반응이 이어졌다.

서울대 재학생들이 ‘2024학년도 대학수학능력시험 6월 모의평가’를 직접 풀어본 영상의 한 장면. [유튜브 캡처]

“정답은 ④번” 챗GPT도 오답 연발

킬러문항은 통상 배점이 높고 정답률이 10% 미만인 문제를 일컫는다. 윤석열 대통령은 킬러문항의 대표적 예로 국어 영역 비문학 문제, 과목 융합형 문제를 꼽았다. 6월 모평 국어 영역 킬러문항을 오픈AI의 생성형 인공지능(AI) 챗GPT(GPT-3.5 버전)는 풀 수 있을지 시험해보니, 챗GPT도 오답을 내놓는 등 실수를 연발했다. 지문 내용을 기계적으로 인식하는 AI조차 답을 헷갈릴 정도로 문제가 어렵다는 뜻이다.



챗GPT는 첫 문제부터 오답을 생성했다. 사회과목과 융합된 ‘공포 소구에 대한 연구’ 비문학 지문(4~7번 문항)을 챗GPT에 입력하고 배점이 가장 큰 6번 문제를 풀게 하자 챗GPT는 ④번을 답으로 제시했다. 교육과정평가원(평가원)이 발표한 6번 문제의 정답은 ⑤번이다. 챗GPT는 ④번이 답인 이유로 6번 문제 ‘보기’에 “집단 2와 집단 4 모두 공포 소구에 대한 반응이 없었다고 명시돼 있다”는 점을 들었는데, ‘보기’에 집단 4는 공포 통제 반응이 작동했다고 쓰여 있다(상자 참조). ‘보기’를 잘못 이해한 것이다. 같은 문제를 연달아 여러 번 풀게 해도 챗GPT 답은 한결같았다.

물론 챗GPT가 정답을 맞힌 문항도 있었다. 챗GPT는 과학 관련 비문학 지문인 ‘고체 촉매의 구성 요소’를 읽고 3점짜리 10번 문제의 답을 ④번이라고 했다. ④번이 정답인 이유에 대해서는 “‘보기’와 지문 3번째 문단 내용을 종합해 추론한 결과”라는 취지로 설명했는데, 이는 EBS의 6월 모평 국어 영역 해설지에 풀이된 내용과 거의 똑같았다.

비문학 외에 어려웠다는 평가를 받은 언어와 매체, 화법과 작문 문제를 풀게 했을 때도 챗GPT는 여러 차례 틀린 답을 내놨다. 이들 문제에는 고어와 특수문자, 이미지 등이 다수 포함돼 있어 챗GPT가 그것을 인식하는 데 어려움이 있었기 때문이다. 멀티모달(Multi-Modal) 기능을 갖춘 GPT-4 버전으로 이 같은 킬러문항을 풀게 하면 또 다른 결과가 나올 수 있다.

서울대 재학생들과 챗GPT까지 애먹은 까다로운 6월 모평을 계기로 정부의 대입정책에 지각변동이 일어나고 있다. 정부의 교육개혁 우선순위로 꼽히는 ‘공정한 수능’이 그 가늠자라 할 수 있는 6월 모평에서 진척을 보이지 못한 탓이다.

윤 대통령은 지난해 말부터 교육부에 “6월 모평에서 킬러문항을 50%가량 줄이라”고 지시한 것으로 알려졌다. 하지만 6월 모평에 지시가 반영되지 않자 6월 15일 이주호 사회부총리 겸 교육부 장관의 업무 보고 자리에서 “공교육 교과과정에서 다루지 않는 분야의 문제는 수능 출제에서 배제해야 한다”고 재차 말한 데 이어, 최근 참모들에게도 킬러문항에 대해 “수십만 명의 학생을 대상으로 한 부적절하고 불공정한 행태” “약자인 우리 아이들을 가지고 장난치는 것”이라고 강하게 비판했다. 6월 19일 이규민 평가원장은 6월 모평에 대한 책임을 지고 전격 사임했다.

정부는 당장 올해 수능부터 킬러문항 출제를 배제할 방침이다. 그 대신 킬러문항 없이도 수능의 적정 난이도를 확보할 수 있도록 출제 기법을 고도화하는 등 시스템을 점검한다는 계획이다.

일타 강사들은 수요 업고 수백억대 연봉

국민의힘 이태규 국회 교육위원회 간사(왼쪽)와 이주호 사회부총리 겸 교육부 장관이 6월 19일 국회에서 ‘학교 교육 경쟁력 제고 및 사교육 경감 관련 당정 협의회’를 진행하고 있다. [뉴스1]

정부가 지나치게 어려운 수능을 정조준한 이유는 킬러문항 출제가 사교육시장의 성장과 높은 상관관계를 갖기 때문이다. 윤 대통령은 6월 15일 이 장관에게 “과도한 배경지식을 요구하거나 대학 전공 수준의 비문학 문항 등 공교육 교과과정에서 다루지 않는 부분의 문제를 수능에 출제하면 이런 것은 무조건 사교육에 의존하라는 것 아닌가” “교육당국과 사교육 산업이 한편(카르텔)이이라는 말인가”라며 이례적으로 ‘카르텔’이라는 단어까지 사용해 비판한 것으로 전해졌다.

실제 교육 현장에서는 킬러문항 대비를 위한 사교육이 필수인 상황이다. 최상위권 학생들이 몰리는 대형 입시학원에서는 강사, 대학(원)생 등이 직접 만든 킬러문항을 문제당 수백만 원에 사들인 뒤 학생들에게 교재 형태로 제공한다. 학원에 킬러문항을 만들어 공급하는 주체 중에는 현직 교사 또는 교수인 전 수능 출제위원도 포함돼 있다. 이런 문제를 미리 접해본 학생들은 실전에서도 킬러문항에 익숙할 수밖에 없기에 공교육만으로는 문제를 푸는 데 역부족이라는 목소리가 나오는 것이다. 수험생들이 모인 유명 온라인 카페에서도 “서울, 고3 미적분 킬러문항 학원 정보 좀 공유해달라” “◯◯쌤 킬러문항 자료를 구하고 있다” 같은 게시물을 어렵지 않게 볼 수 있다.

이른바 ‘일타강사’ ‘스타강사’는 킬러문항 대비 수요를 등에 업고 자신의 몸값을 불리고 있다. 이들 강사의 연봉은 수백억 원대에 달하는 것으로 알려졌다. 수학 일타강사 정승제 씨는 5월 한 TV 예능프로그램에 출연해 자신의 연봉이 “100억 원 이상”이라고 답한 바 있다. 사회탐구 스타강사로 유명한 이지영 씨도 2020년 유튜브 라이브 방송에서 통장 잔고 130억 원을 인증하며 “2014년 이후로 연봉이 100억 원 아래로 내려간 적 없다”고 말했다. 또 다른 수학 일타강사 현우진 씨의 경우 소속 학원에서 받는 연봉만 200억 원이 넘는 것으로 추정된다.

수학 일타강사 현우진 씨가 정부의 킬러문항 배제 방침을 비판하며 자신의 인스타그램에 올린 게시물. [인스타그램 캡처]

일부 강사는 정부의 킬러문항 배제 방침을 비판했다가 “밥그릇 지키기”라는 시선을 받기도 했다. 현우진 씨는 6월 17일 자신의 인스타그램에 “애들만 불쌍하다”는 내용의 게시물을 업로드했다. 같은 날 역사 영역 스타강사인 이다지 씨도 자신의 인스타그램에 “학교마다, 선생님마다 가르치는 게 천차만별이고 심지어 개설되지 않는 과목도 있는데 ‘학교에서 다루는 내용만으로 수능을 칠 수 있게 하라’는 메시지라…”라고 지적했다. 이를 두고 한 누리꾼은 “사교육 중심의 비정상적 교육 생태계에서 가장 큰 수혜를 누려온 사람들이 자신의 이익을 위해 학생들을 위하는 척 위선적 행태를 보이고 있다”고 비판했다. 전여옥 전 새누리당(현 국민의힘) 의원도 자신의 블로그에서 현 씨를 겨냥해 “그렇게 애들이 불쌍하면 킬러문항 무료 강의, 무료 문제집을 배포하라”고 직격했다.

“교육과정 준수하면 불수능도 정당성 인정될 것”

수험생과 학부모들은 혼란스러워하는 모습이다. 수능 5개월을 앞두고 입시정책이 바뀐다는 데 대한 걱정과 불안이 앞서는 것이다. 다만 정부는 이 같은 혼란도 “사교육계에서 장사를 위해 부추기는 것”이라며 “대형 입시학원과 전 출제위원 등 교육계 인사들 간 카르텔을 끊는 것이 우선”이라고 보고 있다. 실제 학원가에는 “이제 킬러보다 준킬러가 더 중요하다”거나 “중위권 학생에게는 지금이 기회”라는 새로운 마케팅이 등장했다. 이에 교육부는 6월 22일부터 2주간 사교육 ‘이권 카르텔’ 사례와 학원의 허위·과장 광고에 대한 집중 신고 기간을 운영하기로 했다.

전문가들은 킬러문항을 없앤다는 정부의 입시 정책 방향성 자체에는 대체로 동의하는 분위기다. 가장 큰 우려를 낳은 변별력과 관련해서도 “변별력 유지는 충분히 가능하다”고 보는 시각이 우세하다. 이만기 유웨이 교육평가연구소장은 “학력고사 시절이나 수능 초기만 봐도 킬러문항 없이 학생들의 학업 성취 능력을 변별하는 데 큰 어려움이 없었다”며 “최상위권 변별은 안 될지 모르지만 여러 과목에 걸쳐 시험을 치르는 수능 특성상 종합적인 평가를 통해 변별력을 유지할 수 있다”고 말했다. 사단법인 사교육걱정없는세상의 신소영 정책팀장은 “2014년 선행학습금지법이 시행된 이후 정규 교육기관에서 교과과정을 벗어난 시험 문제를 출제하는 것은 위법이 됐다”며 “하지만 수능은 국가에서 출제하는 시험임에도 그동안 이 법의 적용을 받지 않아 과도한 상대평가, 사교육 과열에 일정 부분 가담한 측면이 있다”고 설명했다. 이어 신 팀장은 “킬러문항의 정확한 정의는 단순히 정답률이 낮은 문제가 아니라 국가 교육과정을 ‘위반한’ 문제”라며 “아무리 불수능(어려운 수능)이라 해도 교육과정을 준수해 출제된 문제라면 수험생과 학부모, 교육계 관계자 모두 정당성을 인정할 것”이라고 덧붙였다.