고등학생 약 천 명을 대상으로 한 연구가 정신이 번쩍 드는 결과를 냈습니다. AI 조교가 있을 때 연습 성적은 48% 올랐습니다. 그런데 조교를 회수하자 그 집단은 애초에 조교를 받은 적 없는 학생들보다 시험을 못 봤습니다. 17% 낮았습니다. 그러니 질문은 AI가 학습에 좋으냐 나쁘냐가 아니라 이것입니다. 기계가 무엇이든 답할 수 있을 때, 무엇이 여전히 당신의 머릿속에 있어야 하는가?
2025년 한 연구팀이 튀르키예 고등학생 약 천 명을 대상으로 한 실험 결과를 PNAS에 발표했습니다. 학생들은 여러 집단으로 나뉘었습니다. 한 집단은 수학을 연습하는 동안 GPT-4 기반 조교를 사용했고, 한 집단은 답 대신 힌트를 주도록 안전장치를 건 버전을 사용했으며, 한 집단은 아무것도 쓰지 않았습니다.
도구가 손에 있는 동안 AI 집단의 성적은 뚜렷하게 높았습니다. 일반 조교 집단은 48% 향상, 안전장치를 건 집단은 127% 향상이었습니다.
그다음 도구를 회수하고 혼자 시험을 치르게 했습니다. 안전장치 없는 조교를 썼던 집단은 조교를 한 번도 받아본 적 없는 학생들보다 17% 낮은 성적을 냈습니다.
도구를 쓰던 자기 자신보다 낮은 것이 아닙니다. 한 번도 써본 적 없는 사람들보다 낮았습니다.
안전장치가 있던 집단 — 해답이 아니라 힌트를 받은 집단 — 은 그 피해를 대체로 피했습니다. 눈에 띄는 숫자보다 이 세부가 더 중요합니다. 실제로 무엇이 일을 하고 있는지를 알려주기 때문입니다.
헤드라인만 읽으면 정반대의 두 이야기를 얻게 됩니다. AI가 교육을 혁신하고 있다, 혹은 AI가 우리의 사고력을 파괴하고 있다. 증거는 그 사이에 있습니다. 다만 게으른 「양쪽 다 일리가 있다」는 식이 아니라, 뚜렷한 형태를 지닌 채로 그렇습니다.
지금까지의 메타분석은 대체로 긍정적입니다. 4천 명 이상이 참여한 실험 연구 35편을 종합한 분석은 AI가 학습 성과에 중간 정도의 긍정적 효과를 낸다는 것을 발견했습니다. 개인화된 AI 튜터링은 실제로 꽤 잘 작동합니다.
그러나 더 많은 것을 드러내는 연구가 하나 있습니다. 판(Fan)과 동료들은 대학생 117명에게 네 가지 조건에서 에세이를 쓰게 했습니다. ChatGPT와 함께, 인간 전문가와 함께, 글쓰기 분석 도구와 함께, 그리고 아무 도움 없이. ChatGPT 집단의 에세이 점수가 가장 많이 올랐습니다. 그런데 연구진이 지식 획득과 새 과제로의 전이를 측정했을 때, 집단 간에 유의한 차이가 없었습니다.
두 발견을 겹쳐 놓으면 날카로운 요약이 나옵니다. AI는 결과물을 확실하게 개선하고, 만드는 사람은 확실하게 개선하지 않습니다.
더 나은 에세이. 맞은 연습 문제. 더 나아지지 않은 필자.
기제는 신비롭지 않습니다. 오래전에 확립된 학습 원리들이고, AI가 하필 그 각각의 약한 지점을 누르고 있을 뿐입니다.
답을 스스로 만들어내는 단계를 없앱니다. 로디거와 카픽(Roediger & Karpicke)은 2006년에 답을 인출하는 것이 다시 읽는 것보다 기억을 훨씬 더 강화한다는 것을 보였습니다. 이 분야에서 가장 튼튼한 발견 중 하나입니다. 그런데 AI를 쓰는 기본 방식은 이렇습니다. 당신이 묻고, 그것이 답하고, 당신이 읽습니다. 가장 값진 단계가 건너뛰어집니다.
바람직한 어려움을 지웁니다. 비요크 부부는 공부 중의 어떤 장애물이 장기 파지를 높인다는 것을 보였습니다. 회상해야 하는 것, 기다려야 하는 것, 스스로 풀어내야 하는 것. AI는 장애물을 제거하도록 설계되어 있습니다. 유용한 장애물까지 포함해서 말입니다.
그리고 이해했다는 착각을 증폭시킵니다. 위험한 대목입니다. 피셔, 고두, 카일(Fisher, Goddu & Keil, 2015)은 단지 인터넷을 검색하는 것만으로도 사람들이 자기 머릿속 지식을 과대평가하게 된다는 것을 발견했습니다. 검색한 것과 무관한 주제에서까지 그랬습니다. 「나는 이것을 안다」와 「나는 이것에 닿을 수 있다」의 경계가 흐려집니다.
AI가 쓴 설명은 대개 일관되고 구조가 좋고 읽기 편합니다. 그리고 유창함이야말로 우리의 자기평가가 잘못 신뢰하는 바로 그 단서입니다. 다 읽고 나면 명료하게 느껴지고, 그 명료함이 이해로 오인됩니다.
연구자들은 그 결과에 이름을 붙였습니다. 메타인지적 게으름(metacognitive laziness)입니다. 학습자가 넘겨주는 것이 과제만이 아니라 자기 학습에 대한 점검과 평가까지라는 뜻입니다.
공정하게 말하자면, 인간은 아주 오래전부터 기억을 외주 주어 왔습니다.
대니얼 웨그너(Daniel Wegner)는 1980년대에 교류 기억을 기술했습니다. 가족이나 일하는 팀에서 각자가 지식의 일부를 갖고, 누구에게 물어야 하는지를 모두가 압니다. 형제의 전화번호를 기억하지 않는 것은 휴대폰이 기억하기 때문이고, 조리법을 기억하지 않는 것은 책이 기억하기 때문입니다.
2011년 스패로, 리우, 웨그너(Sparrow, Liu & Wegner)는 인터넷에 대해 이것을 측정했습니다. 정보가 계속 남아 있으리라 믿을 때 사람들은 내용을 덜 기억하고 어디서 찾을지를 더 잘 기억합니다. 기억은 사라지지 않고 내용에서 색인으로 옮겨갑니다.
그렇다면 AI는 무엇이 새로울까요. 두 가지입니다. 예전에는 찾아낸 것을 여전히 읽고 종합해야 했지만 이제는 그럴 필요가 없습니다. 그리고 예전에는 검색이 조각을 돌려주어 직접 조립해야 했지만, 이제는 완성된 형태로 — 일관되고 그럴듯하게 — 도착합니다. 틀렸을 때조차 그렇습니다.
이것이 진짜 질문이고, 답은 「전부」도 「아무것도」도 아닙니다. 어떤 종류의 지식은 도덕적인 이유가 아니라 구조적인 이유로 외주가 불가능합니다.
첫째, 실시간으로 돌아가야 하는 모든 것. 대화는 한 차례에 수백 밀리초로 움직입니다. 문장 중간에 단어를 찾아볼 수 없습니다. 상대가 질문을 끝내고 당신을 바라보고 있을 때 도와줄 앱은 없습니다. 언어 학습자에게 이것은 가장 분명한 답입니다. 어휘와 소리와 문법 반사는 반드시 머릿속에 있어야 합니다. 다른 곳에서 가져올 시간이 없기 때문입니다.
둘째, 답을 평가하는 데 필요한 모든 것. 언어 모형은 자신 있고 유창하게 틀릴 수 있습니다. 그것을 잡아내는 사람은 그 주제를 이미 충분히 아는 사람뿐입니다. 배경지식이 없으면 기계를 검증할 수 없고 그저 믿을 수밖에 없으며, 그 순간 학습은 위임이 됩니다.
셋째, 애초에 질문을 떠올리는 데 필요한 모든 것. 존재하는 줄 모르는 것은 검색할 수 없습니다. 어떤 질문이 물을 가치가 있는지 알려주는 것은 머릿속의 지식입니다. 부수를 아는 사람은 낯선 한자를 보고 왼쪽 요소가 무슨 뜻인지 묻지만, 모르는 사람에게는 획의 덩어리만 보입니다.
넷째, 이해가 기대고 있는 모든 것. 레히트와 레슬리(Recht & Leslie, 1988)의 고전적 연구가 있습니다. 야구를 아는 읽기 부진 아동이 야구를 모르는 읽기 우수 아동보다 야구에 관한 글을 더 잘 이해하고 더 잘 기억했습니다. 이해는 내용과 무관한 일반 기능이 아니라 이미 아는 것에 의존합니다. 이것은 AI에 그대로 적용됩니다. 그 설명을 이해하는 정도는 당신의 배경지식이 허락하는 만큼입니다.
다섯째, 도식을 이루는 모든 것. 인지부하 이론에서 전문가의 작업기억은 초보자보다 넓지 않습니다. 다만 장기기억에 미리 조직된 큰 덩어리를 갖고 있어 각 덩어리가 한 칸만 차지할 뿐입니다. 좁은 통로를 넘어서는 유일한 방법이 이것입니다. 지식을 외주 준다고 통로가 넓어지지는 않습니다. 그저 비어 있게 될 뿐입니다.
정직함은 반대편에도 적용됩니다. 어떤 것들은 더 이상 머릿속 자리를 차지할 만하지 않습니다.
평생 몇 번 쓰지 않고 찾아볼 여유도 충분한 참조용 사실들. 정확한 수치, 날짜, 표. 거의 건드리지 않는 도구의 세부 문법. 순서가 중요하지 않은 긴 목록.
공통점은 이렇습니다. 드물게 쓰이고, 급한 적이 없으며, 다른 무언가를 이해하는 토대가 아닙니다. 이 세 가지가 판별 기준입니다.
언어 학습은 아마 답이 가장 날카로운 분야일 것입니다. 그 내용의 상당 부분이 외주 불가능한 종류이기 때문입니다.
AI에게 지문을 번역시킬 수는 있지만, 누군가 당신에게 말하는 동안 대신 들어달라고 할 수는 없습니다. 단어를 찾아볼 수는 있지만, 한 쪽에 모르는 단어가 서른 개라면 하나하나 찾는 것은 더 이상 읽기가 아닙니다. 어떻게 발음하는지 물어볼 수는 있지만, 당신의 입을 대신 훈련해줄 사람은 없습니다.
여기에 짚어둘 만한 진짜 역설이 있습니다. AI는 언어를 이해하는 일을 거의 공짜로 만들었지만, 언어를 사용하는 일의 값은 예전 그대로입니다. 그 둘 사이의 간격이 바로 학습이 실제로 일어나는 자리입니다.
서두의 연구가 핵심 단서를 줍니다. 힌트만 받은 집단은 피해를 피했습니다. 중요한 것은 AI를 쓰느냐가 아니라 무거운 일을 누가 하고 있느냐입니다.
가르치게 하지 말고 시험을 보게 하십시오. 「이 내용으로 열 문제를 내고 채점해줘」의 학습 가치가 「이걸 설명해줘」보다 훨씬 큽니다. 인출 효과를 되돌려놓는 방법입니다.
먼저 산출하고 나중에 제출하십시오. 문장을 먼저 쓰고 나서 무엇이 잘못됐는지 물으십시오. 먼저 번역하고 나서 비교하십시오. 부수를 보고 먼저 추측하고 나서 찾아보십시오. 이 순서는 생성 단계를 지켜주고, 뒤집힌 순서는 그것을 파괴합니다.
답 말고 힌트를 요청하십시오. 「답은 주지 말고 다음 단계만 짚어줘」라는 간단한 요청이, 그 학생들을 보호했던 안전장치를 그대로 재현합니다.
쉽다는 느낌을 의심하십시오. 곧바로 고개가 끄덕여지는 설명은 이해했다는 증거가 아닙니다. 증거는 내일 화면을 닫고도 그것을 다시 구성할 수 있는지입니다. 자주 시험해 보십시오.
그리고 정말 잘하는 일에 쓰십시오. 피드백입니다. 언제나 문장을 봐주고, 문법을 짚어주고, 더 자연스러운 표현을 제안하는 도구는 예전에는 개인 교사만이 줄 수 있었습니다. 이것은 진짜 가치이고, 당신이 산출하고 기계가 논평하는 방향에 있습니다. 그 반대가 아닙니다.
「기계가 무엇이든 답할 수 있는데 무엇을 기억해야 하는가」라는 질문은 학습이 답의 축적이라고 전제합니다. 만약 그랬다면 학습은 정말로 낡은 것이 되었을 것입니다.
그러나 학습은 한 번도 그런 것이 아니었습니다. 장기기억 속의 지식은 네트워크가 끊겼을 때를 위한 백업 저장소가 아닙니다. 그것은 당신이 그것으로 생각하는 재료입니다. 설명을 어디까지 따라갈 수 있는지, 오류를 얼마나 확실하게 알아채는지, 애초에 어떤 질문이 떠오르는지, 그리고 누군가 답을 기다리고 있을 때 무엇을 말할 수 있는지를 그것이 결정합니다.
기계는 질문에 답하는 데 아주 능합니다. 그러나 질문할 수 있는 사람을 만들어내지는 못합니다. 그 부분은 여전히 당신의 머릿속에서 한 조각씩 지어져야 합니다.
같은 내용을 쉬운 말로 다시 들려줍니다 — 어린 독자를 위해, 또는 요점만 빠르게 잡고 싶은 분을 위해.
기계가 무엇이든 답할 수 있다면, 기억할 값이 있는 것은 무엇이 남는가?
이 질문은 배움이 답의 축적이라고 전제한다. 한 번도 그런 적이 없었다.
답을 스스로 만들어 내는 단계를 없앤다. 기억에서 끌어내는 일은 다시 읽는 일보다 훨씬 크게 기억을 굵게 한다. 이 분야에서 가장 단단한 발견 가운데 하나다. 그런데 AI를 쓰는 기본 방식은 이렇다. 묻고, 답을 받고, 읽는다. 가장 값진 단계가 통째로 건너뛰어진다.
쓸모 있는 어려움을 지운다. 공부 중의 어떤 장애물 — 떠올려야 하는 것, 기다려야 하는 것, 스스로 풀어야 하는 것 — 은 남는 양을 늘린다. AI는 장애물을 없애도록 설계되었고, 여기에는 그 유용한 것들도 포함된다.
그리고 이해했다는 느낌을 부풀린다. 위험한 대목이 이것이다. 인터넷을 검색하는 것만으로도 사람들은 자기 머릿속 지식의 양을 더 크게 어림한다. 검색한 것과 무관한 주제에서까지. 나는 이것을 안다와 나는 이것에 닿을 수 있다 사이의 선이 흐려진다.
AI의 설명은 대개 일관되고, 짜임새 있고, 읽기 쉽다. 그리고 수월함이야말로 우리의 자기 평가가 잘못 믿는 단서다. 다 읽고 나면 또렷하게 느껴지고, 또렷함이 이해로 오인된다.
공정하게 말하자. 사람은 오래전부터 그래 왔다. 가족이나 팀 안에서 각자 지식의 일부를 쥐고, 누구에게 물어야 하는지 모두가 안다. 형제의 전화번호를 기억하지 않는 것은 전화기가 기억하기 때문이다.
그리고 정보가 계속 남아 있으리라 믿을 때, 사람들은 내용을 덜 기억하고 어디서 찾는지를 더 잘 기억한다. 기억이 사라지는 것이 아니라 내용에서 색인으로 옮겨 간다.
그러면 무엇이 새로운가. 두 가지다. 예전에는 찾은 것을 읽고 엮어야 했지만 이제는 아니다. 그리고 예전의 검색은 조각을 돌려주었지만, 이제 답은 완성되고 일관되고 그럴듯한 채로 도착한다. 틀렸을 때에도.
전부도 아니고 아무것도 아닌 것도 아니다. 어떤 지식은 넘길 수가 없다. 도덕이 아니라 구조 때문이다.
첫째, 실시간으로 돌아야 하는 모든 것. 대화는 한 차례에 수백 밀리초로 움직인다. 문장 한복판에서 낱말을 찾아볼 수는 없다. 상대가 질문을 마치고 당신을 바라볼 때, 어떤 앱도 돕지 못한다.
언어 학습자에게 이것이 가장 분명한 답이다. 어휘와 소리와 문법의 반사는 머릿속에 있어야 한다. 다른 어디에서 가져올 시간이 없기 때문이다.
둘째, 그 답을 판단하기 위해 필요한 모든 것. 기계는 자신 있고 유창하게 틀릴 수 있다. 그것을 잡아내는 사람은 이미 충분히 아는 사람뿐이다. 배경 지식이 없으면 검증할 수 없고 믿을 수만 있는데, 그러면 배움이 위임으로 바뀐다.
셋째, 애초에 그 질문을 갖기 위해 필요한 모든 것. 존재하는 줄 모르는 것은 찾아볼 수 없다. 부수를 아는 사람은 낯선 글자를 보고 왼쪽 부분이 무슨 뜻이냐고 묻는다. 모르는 사람은 묻지 않는다.
장기 기억 속의 지식은 네트워크가 끊길 때를 대비한 백업이 아니다. 그것은 당신이 그것으로 생각하는 재료다. 설명을 얼마나 따라갈 수 있는지, 오류를 얼마나 미덥게 알아채는지, 어떤 질문이 애초에 떠오르는지, 누군가 답을 기다릴 때 무엇을 말할 수 있는지를 그것이 정한다.
기계는 질문에 답하는 데 아주 뛰어나다. 그러나 질문할 수 있는 사람을 만들어 내지는 못한다.
이 글들은 학습 과학과 언어학에서 정립된 연구를 종합한 것입니다. 주요 출처 및 참고 자료:
이 물음은 집중이 훈련하면 커지는 근육이라고 전제합니다. 가장 튼튼한 증거는 훈련된 몫이 거의 옮겨 가지 않는다고 말하고,...
시간이 없다, 소질이 없다, 나이가 많다 — 이것들은 설명일 뿐 원인이 아닙니다. 잴 수 있는 것은 더 심심합니다. 시각과 장소와...
한 가지 일이 아니라 네 가지입니다. 서로 십억 배쯤 차이 나는 시계 위를 달립니다. 400밀리초의 파형, 하룻밤 사이에 잠기는...