“AI를 쓰면 생각을 안 하게 되는 것 아닌가”는 흔한 걱정입니다. 이 질문을 무작위 실험으로 확인한 결과가 2026년 8월 27일 OpenAI 경제 연구팀 발표로 공개됐습니다. 보코니 대학 연구진과 OpenAI가 함께한 실험이고, 결론은 한 줄로 줄이기 어렵습니다. AI가 채워 준 부분과 사고 훈련이 채워 준 부분이 서로 달랐습니다. 이 글에서는 발표와 논문 본문에서 확인되는 설계와 수치를 먼저 정리하고, 그 결과를 일하는 사람이 어디까지 옮겨 쓸 수 있는지 따져 봅니다.
실험은 이렇게 설계됐다
발표에 따르면 참가자는 보코니 대학 학부 1학년 1,000여 명입니다. 논문 본문에는 정확히 1,053명으로 적혀 있습니다. 학생들은 대학 기념품 매장의 인지도와 이용률을 높이는 마케팅 방안을 쓰는 실제 비즈니스 사례 과제를 받았습니다. 논문 기준으로 45분 동안 컨설턴트 스타일의 추천안을 180단어 안팎으로 쓰는 과제였습니다.
학생들은 수업 시간대 단위로 무작위 배정되어 네 그룹 중 하나에 들어갔습니다.
| 그룹 | 받은 것 | 인원(논문 표기) |
|---|---|---|
| 대조군 | 둘 다 없음(훈련 대신 위약 게임) | 249명 |
| 훈련만 | 인과 추론 훈련 | 256명 |
| ChatGPT만 | ChatGPT(GPT-4o) 사용 | 197명 |
| 둘 다 | 훈련 + ChatGPT | 351명 |
인과 추론은 원인과 결과를 연결하고, 어떤 해결책이 왜 효과가 있거나 없을 수 있는지 설명하는 사고 방식입니다. 훈련은 AI와 무관했고, 게임과 사례, 질문, 피드백으로 구성된 활동이었습니다. 제출물은 훈련받은 평가자가 5점 척도 평가 기준표로 채점했고, 별도로 자동 텍스트 분석이 아이디어 수와 다양성, 인과 추론의 흔적, 전문가 3명의 제안과의 유사성을 수치로 계산했습니다. 논문에는 평가자가 석사과정 학생 20명이고 한 제출물을 3명이 채점했다고 나옵니다.
ChatGPT가 바꾼 것: 점수와 일관성
ChatGPT를 쓴 학생들은 5점 척도에서 거의 1점 더 높은 점수를 받았습니다.
논문 수치로는 대조군 평균 약 2.09점에서 약 0.83~0.86점 올랐고, 통계적으로 유의했습니다. 답안에는 아이디어가 더 많았고, 논리가 더 분명했으며, 전문가 제안과도 더 비슷했습니다.
발표의 표현대로 AI는 초보자가 더 전문가다운 결과물을 내도록 도왔습니다.
여기서 놓치기 쉬운 문장이 하나 있습니다. 학생들은 과제를 ChatGPT에 그대로 맡기지 않았습니다. 무엇을 물을지 정하고, 돌아온 답을 평가하고, 최종 제출물에 무엇을 넣을지 직접 골라야 했습니다. 즉 이 결과는 “질문하고 고르는 사람이 있는 상태에서의 AI 효과”입니다.
훈련이 바꾼 것: 아이디어의 폭
인과 추론 훈련을 받은 학생들은 자기 아이디어가 효과를 낼 이유와 실패할 수 있는 상황을 더 분명하게 설명했습니다. 그런데 기념품 매장의 인지도와 이용률이라는 두 기준만 보는 평가 기준표에서는 점수가 오르지 않았습니다. 논문은 오히려 훈련만의 효과가 점수 기준으로는 약간 음수에 가까웠고 유의한 근거가 없다고 적습니다.
대신 텍스트 분석에서는 다른 결과가 보였습니다. 훈련을 마친 학생들은 그룹 전체로 더 폭넓은 아이디어를 냈고, 그 아이디어들이 서로 더 달랐습니다. 평가 기준표가 “표준 목표를 얼마나 잘 맞췄는가”만 보기 때문에, 남들이 생각하지 못한 아이디어는 점수에 드러나지 않았다는 뜻입니다.
둘을 함께 받으면
두 가지를 함께 받은 그룹은 각각의 이점을 모두 보였습니다. 발표 기준으로 아이디어의 다양성은 훈련만 받은 그룹과 비슷했고, 평가 점수와 아이디어 수는 ChatGPT만 쓴 그룹과 비슷했습니다. 여기에 논리적 일관성이 더 높았고, 이유를 찾고 전제를 의심한 흔적도 더 많았습니다. 논문 초록은 훈련과 ChatGPT가 만나면 일관된 논리, 반증을 고려하는 논리, 작동 원리를 이해하려는 시도가 늘어난다고 요약합니다.
| 측정 항목 | ChatGPT만 | 훈련만 | 둘 다 |
|---|---|---|---|
| 평가 기준표 점수 | 크게 상승 | 뚜렷한 상승 없음 | ChatGPT만과 비슷 |
| 아이디어 수 | 증가 | 증가 | ChatGPT만과 비슷 |
| 아이디어 다양성 | 높이지 않음(해치지도 않음) | 증가 | 훈련만과 비슷 |
| 논리적 일관성·전제 점검 | 일관성 증가 | 이유 설명 증가 | 가장 높음 |
위 표는 발표 본문과 논문 요약의 서술을 항목별로 옮겨 정리한 것입니다. 논문에는 아이디어 수가 훈련 그룹과 ChatGPT 그룹 모두에서 높고, 두 조건이 만나면 더 늘어난다고 적혀 있습니다. 정확한 계수는 논문 부록의 표에서 확인하셔야 합니다.
평가 방식이 결과를 가린다
이 실험이 던지는 가장 실용적인 문제는 평가입니다. AI 덕분에 누구나 매끄럽고 전문가 같은 답안을 만들 수 있게 되면, 최종 답안만 보고는 이해도를 판단하기 어렵습니다. 논문도 같은 점을 지적합니다. 다양한 아이디어의 가치는 표준 해법이 아니라 다양성을 요구하는 평가 체계가 있어야 드러난다는 것입니다.
그래서 발표는 가장 전형적이고 완성도 높은 답안만이 아니라 독창성, 추론, 다양한 접근을 보여 준 결과물도 보상해야 한다고 말합니다. 학교만의 이야기가 아닙니다. 팀에서 보고서를 받는 사람도 “잘 쓴 글”과 “새로운 생각이 담긴 글”을 다른 칸으로 나눠 봐야 같은 함정을 피할 수 있습니다.
일하는 사람에게 옮기면
학생 실험이므로 그대로 단정하기보다 가설로 옮겨 쓰는 편이 안전합니다. 아래는 이 결과에서 끌어낸 작업 순서 예시입니다. 실험에서 검증된 절차가 아니라 제가 정리한 제안입니다.
| 순서 | 할 일 | 이 실험에서 근거가 되는 부분 |
|---|---|---|
| 1 | AI를 열기 전에 내 답을 먼저 세 줄 적는다 | 질문과 선택의 주도권은 사람에게 있었다 |
| 2 | AI에게 초안 정리와 빠진 항목 점검을 맡긴다 | 품질과 일관성은 AI 쪽에서 올랐다 |
| 3 | “이 방법이 실패하는 조건은?”을 AI와 나 둘 다에게 묻는다 | 반증을 따지는 논리가 훈련과 결합될 때 늘었다 |
| 4 | 남들과 다른 각도 하나를 직접 고른다 | 다양성은 훈련 쪽에서 올랐다 |
가상 예시를 하나 들어 보겠습니다. 동네 카페가 신메뉴를 알리는 방법을 고민한다고 가정합니다. 먼저 사람이 “단골이 가져온 지인에게 쿠폰을 준다”는 아이디어를 쓰고, 왜 효과가 있을지 한 문장으로 적습니다. 그다음 AI에게 문장을 다듬게 하고, 이 방법이 실패할 상황을 세 가지 말하게 합니다. 실패 조건이 “평일 점심에 지인을 데려올 시간이 없다”로 나오면, 그 시간대에 맞는 대안을 사람이 다시 정합니다. 이 과정에서 AI는 정리와 점검을, 사람은 방향과 가정을 맡습니다.
이 결과를 읽을 때 조심할 점
- 한 대학, 한 과제입니다. 1학년 경영·경제 전공이 45분 동안 180단어 안팎으로 쓴 마케팅 추천안입니다. 법률 문서나 코드 작성, 긴 보고서에 같은 비율로 적용된다는 근거는 이 실험에 없습니다.
- 도구는 GPT-4o입니다. 모델이 바뀌면 점수 상승 폭도 달라질 수 있습니다. 새 모델에서는 다시 재 봐야 할 값입니다.
- 훈련은 짧았습니다. 수업 시간에 진행한 활동 형태라서, 몇 달씩 이어지는 교육과 같은 효과를 낸다고 볼 수 없습니다.
- 평가자는 기준표를 따랐습니다. 같은 답안도 다양성을 보상하는 기준으로 채점하면 순위가 달라질 수 있습니다. 논문이 직접 강조하는 부분입니다.
- 저자 일부가 OpenAI 소속입니다. 제품을 만드는 회사가 참여한 연구라는 점은 읽는 쪽이 알고 있어야 합니다. 논문 본문에도 소속이 적혀 있으니 직접 확인할 수 있습니다.
자주 막히는 지점
| 막히는 상황 | 원인으로 의심할 것 | 해 볼 일 |
|---|---|---|
| AI를 써도 결과물이 다 비슷하다 | 앞단에서 정한 가정과 각도가 같다 | AI를 열기 전에 내 가설을 먼저 적는다 |
| 매끄러운데 새로운 게 없다는 평을 듣는다 | 완성도만 보고 고쳤다 | “남들이 안 쓸 각도 하나”를 따로 요구한다 |
| AI 답을 그대로 믿게 된다 | 실패 조건을 묻지 않았다 | 반례와 빠진 근거를 요청하고 직접 판단한다 |
| 팀원 결과물을 비교하기 어렵다 | 결과물 하나로만 평가한다 | 초안 메모와 선택 이유를 함께 받는다 |
정리
이 실험이 보여 준 것은 “AI가 사람을 대체한다”도 “AI가 생각을 망친다”도 아니었습니다. 일관성과 완성도는 AI가, 아이디어의 폭은 훈련이 올렸고, 둘을 함께 받으면 두 효과가 겹쳤습니다. 도구가 좋아져도 앞단의 질문과 가정은 여전히 사람 몫으로 남습니다. 다만 근거가 한 학교의 한 과제라는 점은 기억해 두세요. 실제 업무에 적용할 때는 작은 일 하나로 먼저 시험해 보는 편이 안전합니다.
기준일: 2026-10-09. 이 글의 수치는 발표 한국어판과 논문 PDF에 적힌 내용을 대조한 것입니다. 모델·약관·후속 연구는 바뀔 수 있으니 적용 전 원문을 다시 확인하세요.
확인 자료
- OpenAI 발표: 더 나은 답안, 더 폭넓은 사고 (2026-08-27) (확인: 2026-10-09)
- 논문 PDF: Training novices to think, or giving them LLMs? Evidence from an RCT (2026-08) (확인: 2026-10-09)
AI 결과물을 어떻게 믿고 쓸지 이어서 보고 싶다면 아래 글이 같은 질문을 다른 각도에서 다룹니다.