AI로 공부하면 실력이 늘까요? 연습은 48% 올랐고 시험은 17% 뒤처졌습니다

한줄 요약: AI와 함께 공부하면 당장의 성적은 오르지만, AI를 치우고 치른 시험에서는 AI 없이 공부한 학생들보다 뒤처질 수 있습니다. 고등학생 약 1,000명 실험에서 확인된 결과입니다. 다만 하락이 사라진 그룹이 있었고, 그 차이는 도구가 아니라 사용 방식에 있었습니다. 이 글은 그 실험을 풀어 설명하고, 사고를 AI에 맡기지 않기 위해 제가 실제로 실행한 원칙을 담았습니다.

요즘 무언가를 배우는 일이 아주 쉬워졌습니다. 모르는 것은 AI에게 물으면 바로 답이 오고, 유튜브를 열면 알고리즘이 배울 만한 영상을 계속 가져다줍니다. 그런데 이상한 경험을 하게 됩니다. 분명히 배웠다는 느낌은 드는데, 막상 혼자 해 보려면 남는 것이 없습니다.

저만의 느낌인가 싶었는데, 이 현상을 정확히 측정한 실험이 있었습니다.

고등학생 약 1,000명에게 GPT-4를 준 실험

펜실베이니아대 연구진이 터키의 한 고등학교에서 학생 약 1,000명을 대상으로 실험을 했습니다. 수학 연습 시간에 학생들을 세 그룹으로 나눴습니다. 한 그룹은 일반 챗봇 형태의 GPT-4를 쓰게 했고, 다른 그룹은 답을 바로 알려주지 않도록 안전장치를 설계한 튜터형 GPT-4를 쓰게 했고, 나머지는 AI 없이 공부했습니다. 그리고 나중에 AI 없이 시험을 치렀습니다.

실험 결과: 연습에서는 모두 올랐지만, 시험은 갈렸습니다

1. 일반 챗봇형 GPT-4 연습 +48% / 시험 -17% 답을 바로 받아 쓰던 학생들은 AI가 사라지자 AI 없이 공부한 학생보다 낮은 점수를 받았습니다
2. 안전장치 튜터형 GPT-4 연습 +127% / 시험 차이 없음 힌트만 주고 답은 직접 풀게 한 그룹은 연습 효과가 가장 컸고, 시험에서는 AI 없이 공부한 그룹과 통계적으로 구분되지 않았습니다
3. AI 없이 공부 기준선 두 AI 그룹의 시험 성적을 비교한 기준입니다

차이를 만든 것은 AI 사용 여부가 아니라, 사고를 누가 했느냐였습니다

숫자를 막대 길이로 보면 이렇습니다.

같은 GPT-4, 안전장치가 성패를 갈랐습니다

AI 없이 공부한 그룹 대비 성적 차이, %

자료: Bastani 외, PNAS 122권 26호(2025), Table 1

주의할 점이 하나 있습니다. 안전장치를 단 튜터형도 시험 성적을 올려 주지는 못했습니다. 하락을 없앴을 뿐입니다. 결국 시험장에서 발휘되는 실력은 연습 시간에 내 머리가 한 사고의 양만큼만 쌓인다는 뜻입니다.

문제는 AI가 아니라 위탁입니다

이 실험이 AI로 공부하지 말라는 이야기는 아닙니다. 같은 도구를 쓰고도 한 그룹은 손해를 봤고 한 그룹은 보지 않았으니까요. 갈림길은 사고 과정을 통째로 맡기느냐, 막힌 지점만 도움을 받느냐입니다.

물론 이 실험은 터키의 한 고등학교, 수학 한 과목에서 나온 결과라 그대로 일반화할 수는 없습니다. 다만 저는 이 구분이 우리가 AI와 콘텐츠를 소비하는 방식에도 닿아 있다고 봅니다. 무엇을 볼지조차 추천 알고리즘에 맡기는 시청도, 답을 통째로 받아 붙여넣는 질문도 사고의 주체를 넘긴다는 점에서 같은 구조이기 때문입니다.

사고를 위탁하는 사용	사고를 기르는 사용
문제를 통째로 주고 답을 받아 적는다	내가 먼저 풀어 보고, 막힌 지점만 묻는다
무엇을 볼지 추천 피드에 맡긴다	배울 것을 먼저 정하고 직접 찾아 본다
AI 요약만 읽고 끝낸다	요약으로 고르고, 원문은 직접 읽는다
AI가 낸 결과를 그대로 쓴다	내 언어로 다시 써 보고 어긋난 데를 찾는다

표의 왼쪽이 편합니다. 그리고 왼쪽에 머무는 동안 “배웠다는 느낌”은 계속 듭니다. 논문에서 서늘한 대목이 여기입니다. 답을 받아 적던 학생들은 그 방식이 자기 학습을 해치고 있다는 사실을 스스로 알아차리지 못했다고 연구진은 적었습니다. 느낌은 실력을 보증하지 않습니다.

그래서 저는 추천 피드 앱을 지웠습니다

원칙을 세운 다음 제가 한 일은 거창하지 않습니다. 추천 피드로 소비하던 앱들을 지웠습니다. 계기도 솔직하게 적으면, 장염으로 며칠 앓아누워 쇼츠에 절여져 본 뒤였습니다. 흥미로운 영상이 끝없이 이어졌는데, 며칠이 지나고 보니 그 시간에서 남은 것이 없었습니다.

추천이 고른 것을 보는 시간

1. 고르는 주체 알고리즘 체류 시간이 목표라서, 나의 성장은 목표가 아닙니다
2. 끝나고 남는 것 배웠다는 느낌 혼자 해 보면 남아 있지 않습니다

내가 고른 것을 만드는 시간

1. 고르는 주체 나 배울 것을 먼저 정하고, 도구는 그 방향으로만 씁니다
2. 끝나고 남는 것 만든 것과 실력 글 한 편, 자동화 하나처럼 손에 잡히는 결과가 남습니다

요한 하리는 《도둑맞은 집중력》에서 사람의 주의력을 가져가기 위해 온갖 기법이 동원되는 산업 구조를 지적합니다. 추천 피드는 여러분이 한 번 더 화면을 넘기도록 설계되고, 체류 시간이 곧 광고 매출이 됩니다. 그 구조 안에서 “배울 만한 영상”을 계속 받아 보는 일은, 공부의 얼굴을 한 소비에 가깝습니다.

배우는 자리에서 만드는 자리로 옮겨 가고 싶다면, 이 블로그의 n8n 첫 자동화 따라하기처럼 결과물이 손에 남는 작은 제작부터 시작하는 것을 권합니다. AI 자동화의 낯선 용어들이 벽이라면 API가 뭔가요?부터 시작하는 개념 사전 시리즈가 있습니다.

더 깊이 읽고 싶다면

• Generative AI without guardrails can harm learning (PNAS, 2025) 본문에서 소개한 실험의 원문입니다. 링크는 무료 전문이 공개된 PMC판입니다.
• 요한 하리, 《도둑맞은 집중력》 주의력을 가져가는 산업 구조를 다룬 책입니다. 추천 피드를 지운 뒤 읽으면 더 잘 읽힙니다.

이 글의 실험 수치는 PNAS 2025년 6월 게재 논문 원문(122권 26호, 펜실베이니아대 연구진, 터키 고교생 대상)에서 2026년 8월 31일에 직접 확인했습니다: 일반 챗봇형은 연습 +48%에 시험은 대조군보다 17% 낮음, 튜터형은 연습 +127%에 시험은 대조군과 통계적으로 유의한 차이 없음.