Google DeepMind 이중맹검 AI 평가: 벤치마크 점수를 그대로 믿기 어려운 이유

한 줄 요약: AI 평가의 숫자는 모델 능력을 이해하는 출발점이지 결론이 아닙니다. 최근 DeepMind의 이중맹검 평가 논의도 ‘누가 어떤 조건에서 평가했는가’를 함께 보라고 말합니다.

공식 출처: Google DeepMind 발표(원문 주소가 2026년 10월 18일 기준 열리지 않아 링크를 제거했습니다), OpenAI Evals 가이드, Anthropic 평가 설계 가이드

먼저 확인한 핵심

평가자와 모델 정보가 결과에 영향을 줄 수 있는지 봅니다.
같은 과제라도 프롬프트·도구·시간 제한이 다르면 비교가 달라집니다.
벤치마크 점수는 실제 업무 적용 전 별도 검증이 필요합니다.

Google DeepMind 이중맹검 AI 평가: 벤치마크 점수를 그대로 믿기 어려운 이유 source — 공개 가능한 내용을 다시 그린 설명 이미지

왜 이 기준이 필요한가

숫자가 높다는 한 문장보다 평가 설계와 재현 가능성을 같이 읽어야, 새 모델 발표를 과장 없이 활용할 수 있습니다.

Google DeepMind 이중맹검 AI 평가: 벤치마크 점수를 그대로 믿기 어려운 이유 infographic — 핵심 판단 기준 인포그래픽

맹검이 필요한 이유

평가에서 사람이 채점하면 채점자가 아는 정보가 결과에 섞입니다.

어느 회사 모델인지 알면 기대가 개입합니다.
어느 쪽이 새 모델인지 알면 좋게 보려는 경향이 생깁니다.
평가 설계자가 특정 결과를 기대하면 문항 선택에도 영향이 갑니다.

모델 정보를 가리고 채점자도 무엇을 비교하는지 모르게 하면 이런 개입이 줄어듭니다. 다만 완전히 없앨 수는 없습니다. 문체나 형식만으로 어느 모델인지 짐작되는 경우가 있기 때문입니다.

점수가 같아도 비교가 안 되는 조건들

프롬프트 — 같은 과제라도 지시문이 다르면 결과가 달라집니다.
도구 사용 — 검색이나 코드 실행을 허용했는지에 따라 성격이 바뀝니다.
시간·시도 제한 — 여러 번 시도해 가장 좋은 것을 고르는 방식과 한 번만 보는 방식은 다릅니다.
채점 기준 — 정답 일치인지, 사람 선호인지, 모델 채점인지.
버전 — 같은 이름의 모델도 시점에 따라 다릅니다.

이 조건이 공개되지 않은 비교표는 순위만 있고 근거가 없는 셈입니다.

점수 대신 볼 것

분산 — 반복했을 때 편차가 크면 평균의 의미가 약합니다.
실패 사례 — 어떤 종류의 문제에서 틀리는지가 총점보다 유용합니다.
내 과제와의 거리 — 벤치마크 과제가 내가 하려는 일과 얼마나 닮았는지.
재현 가능성 — 같은 조건을 내가 다시 만들 수 있는지.

결국 남의 벤치마크보다 내 과제 몇 개로 직접 돌려 보는 편이 판단에 더 도움이 됩니다.

읽고 나서 확인할 것

이 글의 정보는 게시 시점의 공개 범위와 글쓴이가 정한 판단 기준을 나눠 정리한 것입니다. 제품·서비스의 실제 이용 가능 여부는 공식 안내와 현재 화면을 함께 확인하세요.

업데이트

이 글의 원문 발행 뒤에도 제품 기능·정책·측정 조건은 달라질 수 있습니다. 이 글은 2026년 9월 14일 기준 공식 공개 자료(평가 설계 문서는 2026년 10월 18일 기준)를 바탕으로, 공개된 발표 내용과 그 한계를 설명하는 데 범위를 둡니다. 새 공지에서 제공 범위·제한·수치가 달라졌다면 그 최신 공지가 우선합니다.

확인 자료

기준일: 2026-09-14(발표 자료), 2026-10-18(평가 설계 문서)

공식 평가 가이드가 말하는 설계 원칙

평가를 어떻게 설계해야 하는지는 모델 제공사의 공식 문서에도 비슷한 방향으로 정리돼 있습니다. 아래 내용은 2026년 10월 18일 기준으로 각 문서에 적힌 것만 옮긴 것입니다.

Anthropic 평가 설계 가이드

과제에 맞춰 만듭니다. 실제 과제의 분포를 따라가고, 관련 없는 입력이나 지나치게 긴 입력, 사람끼리도 판단이 갈리는 애매한 사례 같은 경계 상황을 포함하라고 안내합니다.
가능하면 자동으로 채점합니다. 객관식, 문자열 일치, 코드 채점, 모델 채점처럼 자동으로 점수를 매길 수 있는 형태로 문항을 구성하라고 합니다.
적은 수의 고품질 문항보다 많은 수의 문항을 우선합니다. 신호가 조금 약하더라도 자동 채점되는 문항을 많이 두는 편이 낫다는 설명입니다.
채점 모델은 다른 모델로 씁니다. 모델 채점을 쓸 때는 답을 만든 모델과 다른 모델이 채점하도록 권합니다.

이 원칙은 앞에서 본 이중맹검의 취지와 맞닿아 있습니다. 채점하는 쪽이 기대를 갖지 않게 하고, 한두 문항의 우연이 총점을 좌우하지 않게 문항 수를 확보하라는 뜻으로 읽을 수 있습니다.

OpenAI Evals 가이드

OpenAI 문서는 평가를 세 단계로 설명합니다. 먼저 과제를 평가로 기술하고, 테스트 입력으로 실행한 뒤, 결과를 분석해 프롬프트를 고쳐 나갑니다. 평가 하나는 테스트 항목의 구조를 정하는 data_source_config와, 출력이 맞는지 판정하는 testing_criteria(채점기)로 이뤄집니다. 정답은 사람이 붙인 라벨을 기준으로 두고, 모델이 만든 출력과 비교하는 방식이 예시로 나옵니다. 실행 결과에는 전체·오류·실패·통과 개수가 따로 집계되고, 기준별 통과 여부도 따로 나옵니다.

다만 이 문서에는 Evals 플랫폼이 중단 예정이라는 안내도 있습니다. 기존 사용자에게는 2026년 10월 31일에 읽기 전용이 되고 2026년 11월 30일에 종료된다고 적혀 있으며, 더 반복적인 작업에는 Datasets 사용을 권합니다. 도구는 바뀌어도 ‘기대 답을 먼저 정하고, 같은 입력으로 반복해서 채점한다’는 구조는 그대로 참고할 수 있습니다.

NIST AI 위험관리 체계

미국 국립표준기술연구소(NIST)의 AI 위험관리 체계 페이지는 이 체계가 AI 제품과 서비스의 설계, 개발, 사용, 평가 전반에 신뢰성 요소를 반영하도록 돕기 위한 것이라고 설명합니다. 구체적인 측정 방법은 별도의 플레이북과 자료 센터로 안내하고 있어, 이 페이지만으로 평가 절차를 알 수는 없습니다.

공식 문서	평가에서 강조하는 점	이 글의 판단 기준과 연결
Anthropic 평가 설계 가이드	과제 분포 반영, 경계 사례 포함, 자동 채점, 다른 모델로 채점	점수와 함께 채점 방식을 확인합니다
OpenAI Evals 가이드	사람이 붙인 정답 라벨, 채점기 기준, 통과·실패 집계	기준을 공개하지 않은 순위표는 근거가 약합니다
NIST AI 위험관리 체계	설계부터 평가까지 신뢰성 요소 반영	발표 숫자만이 아니라 평가 절차를 함께 봅니다

세 문서 모두 “어떤 문항을, 어떤 기준으로, 누가 채점했는가”를 평가의 일부로 다룬다는 점이 같습니다. 새 모델의 벤치마크 표를 볼 때도 점수 옆에 이 세 가지가 적혀 있는지부터 보면 과장된 비교를 걸러내기 쉽습니다.