한 줄 요약: 데이터 오염은 AI 평가 문제나 정답이 학습 자료에 미리 섞여 점수가 실제 실력보다 높게 나오는 현상입니다. 다만 "겹쳤다"와 "점수가 부풀었다"는 다른 말입니다. 이 글은 GPT-3 논문의 오염 분석(부록 C)과 2024년 오염 조사 논문의 내용, 그리고 공식 저장소와 평가 도구 문서를 바탕으로 새 모델 점수를 볼 때 무엇을 확인하면 되는지 정리합니다.
공식 출처: OpenAI GPT-3 공식 저장소(GitHub) · Microsoft Learn: 생성형 AI 관측 가능성과 평가 · Language Models are Few-Shot Learners (GPT-3 논문, arXiv 2005.14165) · Benchmark Data Contamination of Large Language Models: A Survey (arXiv 2406.04244)
데이터 오염이 뭔가요: 시험 문제를 미리 본 학생
AI 모델은 인터넷의 방대한 글로 학습합니다. 그런데 모델 성적을 매기는 시험 문제(벤치마크)도 인터넷에 올라 있습니다. 시험 문제나 정답, 또는 그 해설이 학습 자료에 들어갔다면 모델은 문제를 "풀어서" 맞힌 것이 아니라 "기억해서" 맞힌 것일 수 있습니다. 이것이 데이터 오염입니다. 사람으로 치면 시험지를 미리 본 학생의 100점과 처음 보는 문제를 푼 학생의 100점은 같은 점수여도 같은 뜻이 아닙니다.
2024년 6월 arXiv에 올라온 조사 논문(Xu 등, University College Dublin 연구진)은 이 현상을 "학습 중 벤치마크 데이터에 노출되어 평가 결과가 왜곡되는 것"으로 정의합니다. 같은 논문은 심각도에 따라 오염을 네 단계로 나눕니다.
오염의 네 단계: 어디까지 새어 들어갔나
조사 논문이 나눈 네 단계를 비개발자 눈높이로 풀면 아래와 같습니다. 단계가 올라갈수록 시험지에 가까워집니다.
| 단계 | 논문의 설명 | 쉬운 비유 |
|---|---|---|
| 의미(Semantic) 수준 | 벤치마크와 같은 주제·출처의 같거나 파생된 내용에 노출 | 같은 교재로 공부함 |
| 정보(Information) 수준 | 메타데이터, 시간 분포, 정답 분포 같은 벤치마크 관련 정보에 노출 | "정답은 ③이 많더라" 같은 출제 경향을 앎 |
| 데이터(Data) 수준 | 벤치마크 데이터 자체에 노출 | 문제지를 봄 |
| 레이블(Label) 수준 | 정답 레이블까지 완전히 노출 | 문제와 정답지를 함께 봄 |
논문은 재미있는 점도 짚습니다. 노출이 완전할수록 오히려 찾아내고 막기는 쉽고, 의미·정보 수준처럼 추상적인 오염일수록 찾기 어렵다고 합니다. 예를 들어 정답과 똑같은 문장은 걸러낼 수 있어도, 그 문제를 푸는 방법을 설명한 해설 글까지 학습 자료에서 빼기는 어렵습니다. 그래서 "정답을 걸러냈다"는 말만으로는 오염이 없다는 보증이 되지 않습니다.
GPT-3는 오염을 어떻게 확인했나: 13단어 겹침 기준
GPT-3 논문(2020, OpenAI)은 이 문제를 드물게 솔직하게 적은 사례입니다. 논문 본문 4장과 부록 C에서 확인되는 내용은 다음과 같습니다.
- 제거를 시도했지만 일부만 지워졌습니다. 연구진은 학습 자료에서 벤치마크와 겹치는 부분을 미리 찾아 지우려 했는데, 논문 표현으로 "버그 때문에 감지된 겹침이 부분적으로만 제거"되었습니다. 학습 비용이 너무 커서 다시 학습시킬 수 없었다고 합니다.
- 그래서 사후 점검을 했습니다. 벤치마크마다 "깨끗한 버전"을 만들었습니다. 사전학습 자료와 13단어(13-gram) 이상 겹치는 예시를 모두 빼고 남은 문제만으로 다시 채점해, 전체 점수와 비교했습니다.
- 기준은 일부러 보수적입니다. 조금이라도 의심되면 오염으로 분류해 "깨끗하다고 확신할 수 있는 부분"만 남기는 방식입니다. 그래서 가짜 경보(실제로는 오염이 아닌데 오염으로 분류)가 섞일 수 있다고 논문이 직접 적습니다.
결과의 큰 흐름은 이렇습니다. 오염 가능성 비율이 높은 벤치마크가 많았지만(논문은 벤치마크의 4분의 1이 50%를 넘었다고 설명), 대부분은 깨끗한 문제만으로 다시 채점해도 점수 변화가 거의 없었습니다. 연구진은 "조심스러운 방법이 오염을 과대평가했거나, 오염이 성능에 영향이 작거나 둘 중 하나"라고 결론 내렸습니다.
겹침 표본은 공개 저장소에서도 볼 수 있습니다. OpenAI의 GPT-3 공식 저장소(github.com/openai/gpt-3)에는 overlap_frequency.md 파일이 있고, 저장소 설명은 이 파일을 "학습 자료와 벤치마크 사이의 13-gram 겹침 표본을 학습 자료 내 빈도순으로 고른 것"이라고 소개합니다. 저장소 자체는 2020년 9월에 보관(읽기 전용) 처리되었고, 겹침을 어떻게 해석할지는 저장소 설명이 아니라 논문 본문에 있습니다. 즉 "13단어가 겹쳤다"는 표본을 보는 것과 "그래서 점수가 부풀었다"고 결론 내리는 것은 별개의 단계입니다.
실제 사례 표: 겹쳤다고 다 부풀린 것은 아니다
논문이 따로 검토한 항목을 표로 모았습니다. 수치는 모두 논문 4장에서 확인한 값입니다.
| 벤치마크 | 의심 비율 | 깨끗한 문제만 채점했을 때 | 논문의 판단 |
|---|---|---|---|
| QuAC·SQuAD2·DROP (독해) | 90% 넘게 의심 | 측정 자체가 어려움 | 논문 분석 결과 지문만 학습 자료에 있고 질문·정답 쌍은 없었음. 배경지식만 얻은 셈 |
| WMT16 독일어→영어 번역 | 25% | 총 효과 1~2 BLEU | 겹친 것은 뉴스 속 사건 문장 조각. 번역 쌍은 아님 |
| PIQA (상식 추론) | 29% | 3%p 하락(상대 4%) | 작은 모델에서도 비슷한 하락 → 암기보다 통계적 편향 의심. 별표(*) 표시 |
| Winograd | 45% | 2.6% 하락 | 학습 자료에서 132개 문제가 실제 발견. 별표(*) 표시 |
| LAMBADA | 실제 오염 상당 | 0.5% 이내 차이 | 영향 작음. 단, 큰 성능 향상이 있어 오염 가능성을 결과에 명시 |
| 위키 언어모델링 4종·Children's Book Test | 거의 전부 포함 | 깨끗한 부분 추출 불가 | 결과 자체를 보고하지 않음 |
이 표에서 읽을 점은 세 가지입니다. 첫째, 같은 "겹침"이라도 지문만 겹친 것과 문제·정답이 겹친 것은 다릅니다. 둘째, 영향이 작았던 항목에도 논문은 가능성을 적었고, 영향이 클 수 있는 항목에는 별표를 달았습니다. 셋째, 깨끗한 부분을 뽑을 수 없는 항목은 아예 점수를 내지 않았습니다. 새 모델 발표에서 이렇게 "못 믿는 점수는 뺐다"고 적은 곳을 만나면 오히려 신뢰할 단서입니다.
직접 계산해 보기: 3%p 하락이 뜻하는 것
PIQA 사례로 숫자를 따져 보겠습니다. 아래는 논문의 수치로 제가 역산한 예시이며, 논문이 직접 제시한 값이 아닙니다.
- 논문은 PIQA 문제의 29%를 의심 문제로 분류했고, 깨끗한 문제만 채점하면 점수가 3%p 낮아졌다고 적었습니다. 이 3%p가 상대 4%에 해당하므로 원래 점수는 약 75% 안팎으로 거꾸로 짐작됩니다(3 ÷ 0.04).
- 전체 점수 = 0.71 × (깨끗한 문제 점수) + 0.29 × (의심 문제 점수) 입니다. 전체가 깨끗한 쪽보다 3%p 높다면, 의심 문제 쪽이 깨끗한 문제보다 약 10%p(3 ÷ 0.29 ≈ 10.3) 높았다는 계산이 나옵니다.
- 다만 이 차이가 "암기 때문"이라고 단정할 수는 없습니다. 논문도 25배 작은 모델에서 비슷한 하락이 나온 점을 들어, 학습 자료에 이미 있던 웹 페이지에서 만든 문제가 원래 더 쉬웠을 가능성(통계적 편향)을 말합니다.
즉 "겹친 문제에서 점수가 높다"는 사실만으로는 오염인지, 원래 쉬운 문제인지 가려지지 않습니다. 오염 판단에는 이런 대조 실험이 필요하고, 그래서 겹침 비율 하나만 보고 "점수가 가짜"라고 말하는 것도 같은 정도로 성급합니다.
발표를 읽을 때 확인할 5가지: 비개발자용 판단표
모델 출시 글이나 뉴스에서 높은 점수를 보았을 때, 아래 순서로 확인해 보세요. 항목은 위 두 논문이 다룬 내용을 독자 입장에서 정리한 것입니다.
| 질문 | 어디서 찾나 | 안심 신호 | 주의 신호 |
|---|---|---|---|
| 오염 검사를 했다고 밝혔나 | 기술 보고서의 평가·한계 절 | 방법(예: 몇 단어 겹침)과 결과를 적음 | "오염 없음" 한 줄만 있음 |
| 깨끗한 부분 점수와 전체 점수를 같이 보여 주나 | 부록 표 | 두 점수를 나란히 제시 | 전체 점수만 제시 |
| 벤치마크가 공개된 시점은 언제인가 | 벤치마크 소개 페이지 | 모델 학습 자료 기준 시점 이후에 공개된 새 평가 | 오래전부터 웹에 공개된 평가 |
| 평가를 만든 쪽과 모델을 만든 쪽이 같은가 | 평가 소개 글 | 외부 기관이 비공개 문제로 평가 | 자사 평가, 문제 전부 공개 |
| 내 일과 닮은 과제로 직접 돌려 볼 수 있나 | 내 업무 자료 | 내 자료 몇 개로 비교했더니 비슷한 경향 | 벤치마크만 높고 내 자료에서는 평범 |
조사 논문이 다룬 대안도 같은 방향입니다. 평가 문제를 정기적으로 새로 만들거나, 학습 자료와 겹치지 않게 다시 쓰거나, 문제를 비공개로 두는 방식들입니다. 한 번 만든 고정 시험지를 계속 쓰는 한 오염 위험은 시간이 갈수록 커집니다.
자주 막히는 지점과 해결
- "오염이 있다 = 점수가 가짜다"로 읽는 경우. GPT-3 논문에서 독해 벤치마크는 90% 넘게 의심됐지만 확인해 보니 정답은 없었습니다. 겹침의 종류를 먼저 봅니다.
- "학습 데이터에서 정답을 지웠다 = 안전하다"로 읽는 경우. 조사 논문은 해설·풀이 같은 의미 수준 노출은 걸러내기 어렵다고 지적합니다. 지웠다는 말은 안전의 일부일 뿐입니다.
- 점수 순위를 그대로 믿는 경우. 같은 점수라도 오염 정도가 다르면 비교가 성립하지 않습니다. 순위가 필요하면 내 과제로 직접 비교하는 쪽이 낫습니다.
- 논문을 읽을 엄두가 안 나는 경우. 부록 전체를 읽을 필요는 없습니다. "contamination", "clean subset", "overlap" 중 하나를 문서 안에서 검색해 해당 문단만 읽으면 됩니다.
내 자료로 직접 평가하기: 공식 문서의 평가 3단계
마지막 확인 항목인 "내 일과 닮은 과제로 직접 돌려 보기"는 감으로 하는 일이 아니라 도구 문서에도 절차로 정리돼 있습니다. Microsoft Learn의 생성형 AI 관측 가능성 문서(Observability in Generative AI)는 평가를 모델 선택, 배포 전, 배포 후의 세 단계로 나누고, 각 단계에서 쓰는 방법을 아래처럼 설명합니다.
| 단계 | 문서가 설명하는 내용 | 독자가 가져갈 점 |
|---|---|---|
| 기반 모델 고르기 | 공개 데이터와 내 데이터로 모델별 품질·안전 비교 | 공개 벤치마크 점수만으로 고르지 않고 내 자료 결과를 함께 봄 |
| 배포 전 평가 | 평가용 데이터셋으로 예외 상황과 안정성 점검, 정확도·근거성·관련성·안전 지표 측정 | 내 자료로 만든 시험지를 따로 두고 모델 교체 때마다 같은 문제를 다시 풂 |
| 배포 후 점검 | 운영 트래픽 일부를 표본으로 계속 평가, 정해진 주기로 시험 데이터셋 재평가해 변화를 감지 | 시간이 지나며 점수가 달라지는지 정기 비교 |
문서는 "자기 데이터를 가져와(bring your own data)" 품질·안전 평가기를 돌릴 수 있다고 안내하고, 평가기에는 계산식으로 점수를 내는 방식과 판정용 모델이 점수와 설명을 붙이는 방식이 있다고 구분합니다. 공개 벤치마크가 학습 자료에 섞였을 가능성은 외부에서 알기 어렵지만, 내가 직접 만든 비공개 문제는 학습 자료에 들어갔을 가능성이 낮다는 점이 이 방법의 핵심 장점입니다. 이는 문서가 직접 한 말이 아니라 위 데이터 오염 논의에서 이어지는 해석이므로, 최종 판단은 두 자료의 내용을 나란히 놓고 하시기 바랍니다.
시험지를 만드는 실무 요령은 단순합니다. 실제 업무에서 자주 나오는 질문 20~30개를 모으고, 정답 기준을 한 줄씩 적고, 모델을 바꿀 때마다 같은 문제를 같은 순서로 풀게 합니다. 개수는 예시이며 정해진 기준이 아닙니다. 중요한 것은 이 시험지를 외부에 올리지 않는 것입니다. 인터넷에 공개된 순간부터 다음 모델의 학습 자료에 들어갈 가능성이 생기고, 그러면 앞서 본 오염 문제가 내 시험지에도 똑같이 생깁니다.
정리
데이터 오염은 AI 점수를 읽을 때 늘 따라다니는 변수입니다. 겹쳤는지, 겹친 것이 정답까지 포함했는지, 깨끗한 문제만 봤을 때 점수가 얼마나 변했는지를 보면 같은 점수의 무게가 달라집니다. 그리고 가장 확실한 확인은 내가 쓸 일과 닮은 문제 몇 개를 직접 돌려 보는 것입니다.
이 글에서 쓴 수치는 아래 두 문서에서 확인한 값입니다. PIQA 역산 부분은 제가 계산한 예시입니다. 제품 기능과 평가 기준은 바뀔 수 있으니 새 모델 발표를 볼 때는 해당 기술 보고서를 직접 확인하세요.
확인 자료
- OpenAI, GPT-3 공식 저장소(overlap_frequency.md 설명 포함), 2026-10-18 열람
- Microsoft Learn, Observability in Generative AI(평가 3단계), 2026-10-18 열람
- Brown 등, Language Models are Few-Shot Learners (GPT-3 논문, 4장 및 부록 C), 2026-10-09 열람
- Xu 등, Benchmark Data Contamination of Large Language Models: A Survey (2024-06-06 제출), 2026-10-09 열람
기준일: 2026-10-09(논문), 2026-10-18(추가한 공식 문서)