도구가 먼저 보여준 15문장으로 규칙을 정했다가 틀렸습니다. 전체 618문장을 다시 세 보니 그 규칙에 맞는 문장은 8%였습니다.
저는 코드를 직접 짜지 않고 AI 에이전트에게 일을 맡겨 블로그 글을 만듭니다. 9월 12일부터 14일까지 사흘 동안 나온 실패를 모아 보니 24건이었고, 그중 5건이 데이터를 잘못 읽은 경우였습니다. 가장 먼저 걸린 것은 말투 규칙이었습니다. 문장 자료를 조회했더니 기본으로 15문장이 나왔고, 전부 단정형이었습니다. 그래서 이 카테고리는 단정형으로 쓴다는 규칙이 만들어졌습니다. 나중에 전체 618문장을 세어 보니 단정형은 8%였고, 그마저 대부분 한 작성자의 문장이었습니다. 검색량 숫자, 평균값, 계절, 영상 자막에서도 같은 식으로 잘못 읽었습니다. 이 글은 그 다섯 번의 착각과, 지금 숫자를 읽기 전에 먼저 확인하는 네 가지를 정리한 것입니다.
15문장이 전부 단정형이었다
글을 쓰기 전에 참고하려고 상위 글들의 문장을 모아 둔 자료가 있습니다. 여기서 카테고리별 말투를 뽑아 원고 기준으로 삼으려 했습니다.
조회 도구를 돌리자 기본 출력으로 15문장이 나왔습니다. 15문장 모두 끝이 단정형이었습니다.
그 자리에서 규칙이 정해졌습니다. 이 카테고리는 단정형으로 쓴다는 규칙입니다.
문제는 15문장이 전체가 아니었다는 점입니다. 도구가 화면에 먼저 보여주는 상위 몇 개였을 뿐입니다.
- 처음 본 것 — 도구 기본 출력 15문장
- 정한 규칙 — 이 카테고리는 단정형
- 빠뜨린 확인 — 전체가 몇 문장인지, 누가 쓴 문장인지
전체 618문장을 세었더니 8%였다
같은 카테고리의 문장을 전부 세어 보니 618문장이었습니다. 그중 단정형은 8%였습니다.
더 중요한 건 출처였습니다. 그 단정형 문장은 대부분 한 작성자의 것이었습니다.
표본 문제는 흔한 일입니다. 예를 들어 구글 트렌드 고객센터는 트렌드가 구글 검색 전체가 아니라 “대체로 필터링되지 않은 표본”을 쓴다고 설명하고, 같은 곳에서 검색 관심도도 절대 검색량이 아니라 0~100으로 환산한 상대값이라고 안내합니다. 숫자가 어떤 표본에서 어떤 방식으로 나왔는지 먼저 봐야 하는 이유입니다.
처음 본 15문장은 전체의 작은 쏠림을 크게 보여준 셈입니다. 표본이 작은 것도 문제였지만, 한쪽에 쏠린 것이 더 큰 문제였습니다.
그 뒤로는 조회할 때 전체 건수를 먼저 출력하게 했습니다. 그리고 샘플이 한 출처에 몰렸는지 같이 봅니다.
| 항목 | 처음 본 것 | 다시 센 것 |
|---|---|---|
| 문장 수 | 15문장 | 618문장 |
| 단정형 비율 | 15문장 전부 | 8% |
| 출처 | 확인 안 함 | 대부분 한 작성자 |
서로 다른 키워드가 모두 127,200이었다
두 번째 착각은 검색량 숫자에서 나왔습니다. 키워드 여러 개의 검색량을 기록했는데, 서로 다른 키워드가 모두 127,200으로 적혀 있었습니다.
원인은 도구가 돌려주는 형식이었습니다. 입력한 키워드 한 줄이 아니라 연관어 목록을 통째로 돌려주고 있었습니다.
그 목록의 첫 숫자를 대상 키워드의 값으로 읽었던 겁니다. 그래서 무엇을 넣든 같은 숫자가 나왔습니다.
지금은 같은 값이 여러 대상에 반복되면 먼저 읽는 방법을 의심합니다. 그리고 입력한 키워드와 정확히 일치하는 줄만 읽습니다.
평균을 한 글의 처방으로 읽었다
세 번째는 비율을 읽는 방법이었습니다. 전체 자료에서 A 방식 16%, B 방식 16%, C 방식 19%라는 분포가 나왔습니다.
이 숫자를 한 글 안에서 세 방식을 섞으라는 뜻으로 받아들였습니다. 하지만 실제 글들은 대부분 하나를 골라 끝까지 씁니다.
분포는 글마다 무엇을 골랐는지로 다시 세어야 쓸 수 있었습니다. 평균은 한 글을 위한 처방이 아니었습니다.
네 번째는 계절이었습니다. 1년 합계나 이번 달 값만 보면 이미 끝난 시즌의 주제를 고르게 됩니다. 지금은 24개월 월별 추이를 보고, 쓰는 시점부터 두 달 이상 수요가 유지되는지 확인합니다.
다섯 번째는 영상을 원천으로 쓴 글이었습니다. 영상을 보지 않고 자막 글자만 읽었더니, 웃음이나 표정처럼 자막에 한 글자도 남지 않는 장면이 글에서 빠졌습니다. 유튜브 고객센터도 자동 자막이 발음·억양·방언·배경 소음 때문에 말을 잘못 옮길 수 있다고 안내합니다.
| 잘못 읽은 방식 | 바꾼 방식 |
|---|---|
| 전체 비율을 한 글 안에 섞기 | 글마다 무엇을 골랐는지 다시 세기 |
| 1년 합계로 수요 판단 | 24개월 월별 추이로 판단 |
| 한 달만 튄 값을 그대로 믿기 | 다른 해 한 해로 다시 계산 |
| 영상 자막만 읽기 | 영상을 구간별로 훑어보기 |
막힌 도구 하나 때문에 옛 데이터로 돌아갔다
그 직전 주에는 한도 오류를 잘못 읽은 일도 있었습니다. 검색량 조회 도구에서 요청이 너무 많다는 오류가 나자, 에이전트들은 하루 한도를 다 쓴 것으로 판단했습니다.
그래서 8월에 저장해 둔 옛 데이터로 돌아가 주제를 골랐습니다. 여러 에이전트가 같은 옛 데이터를 보고 고르다 보니 블로그끼리 주제가 13건 겹쳤습니다.
실제로는 초당 요청 제한이었습니다. 30~60초 쉬고 다시 보내면 통과하는 종류였습니다. MDN 문서는 429 상태 코드가 일정 시간 안에 요청을 너무 많이 보냈다는 뜻이고, 응답에 Retry-After 헤더가 있으면 다시 요청하기까지 기다려야 할 시간을 알려 준다고 설명합니다. 오류 문구만 보고 한도가 끝났다고 단정하지 않고 기다릴 시간부터 확인해야 하는 이유입니다.
데이터 하나가 막히자 주제 고르기를 멈춘 적도 있습니다. 그때 추이를 보는 다른 데이터는 사용률이 0.7%와 0%로 거의 그대로 남아 있었습니다.
- 초당 제한 — 30~60초 쉬고 같은 요청이 통과한다
- 하루 한도 — 몇 분 뒤에도 실패하고 사용량이 100%다
- 옛 데이터로 돌아갔다면 — 보고에 반드시 적는다
지금은 숫자를 읽기 전에 네 가지를 본다
이 착각들은 모두 오류 메시지 없이 지나갔습니다. 숫자는 멀쩡하게 나왔고, 규칙도 그럴듯했습니다.
그래서 지금은 숫자를 받으면 규칙으로 올리기 전에 네 가지를 먼저 확인합니다. 전체가 몇 건인지, 한쪽에 몰리지 않았는지, 도구가 무엇을 돌려주는지, 언제 기준의 값인지입니다.
규칙 문서에도 근거가 된 표본 수를 같이 적습니다. 표본 수가 없는 규칙은 확정이 아니라 가설로 표시합니다.
코드를 몰라도 이 확인은 할 수 있었습니다. 제가 한 일은 AI에게 결과와 함께 전체 건수를 먼저 찍어 달라고 요청한 것이었습니다.
| 바꾸기 전 | 바꾼 뒤 |
|---|---|
| 먼저 보이는 샘플로 규칙을 정한다 | 전체 건수와 출처 쏠림부터 본다 |
| 도구 출력의 첫 숫자를 읽는다 | 입력과 정확히 일치하는 줄만 읽는다 |
| 한도 오류면 옛 데이터로 간다 | 오류 종류를 가르고, 옛 데이터를 쓰면 보고한다 |
| 규칙만 적는다 | 규칙 옆에 근거 표본 수를 적는다 |
자주 묻는 질문
Q. 표본이 몇 개면 규칙으로 정해도 되나요?
A. 정해진 숫자보다 전체 중 몇 건을 봤는지가 먼저입니다. 저는 전체 건수를 먼저 출력하고, 샘플이 한 출처에 몰리지 않았는지 확인한 뒤에만 규칙으로 올립니다. 그전까지는 가설로 표시합니다.
Q. 검색량 숫자가 이상한지 어떻게 알아차리나요?
A. 서로 다른 키워드에 같은 값이 반복되면 먼저 의심합니다. 도구가 입력어 한 줄이 아니라 연관어 목록을 돌려주는 경우가 있어, 입력과 정확히 일치하는 줄만 읽어야 합니다.
Q. 요청이 너무 많다는 오류가 나면 어떻게 하나요?
A. 30~60초 쉬고 같은 요청을 다시 보내 봅니다. 통과하면 초당 제한이고, 몇 분 뒤에도 실패하면 하루 한도일 가능성이 큽니다. 옛 데이터로 대신했다면 그 사실을 보고에 적습니다.
Q. 개발을 몰라도 이런 확인을 할 수 있나요?
A. 할 수 있습니다. 저는 AI에게 결과와 함께 전체 건수를 같이 찍어 달라고 요청합니다. 숫자 한 줄이 늘어날 뿐입니다. 15문장 규칙도 전체가 618문장이라는 숫자를 먼저 봤다면 그대로 정하지 않았을 규칙이었습니다.
확인 자료
- 필자의 AI 작업 운영 규칙 기록 — 실패 분류, 데이터 표본 규칙, 원천이 영상이면 영상을 본다는 규칙 (2026-09-23 기준)
- 필자의 AI 작업 운영 규칙 기록 — 한도 오류는 종류부터 가른다는 규칙 (2026-09-23 기준)
- 필자의 운영 중간점검 기록 2026-09-11 — 사용자 지적과 원인 (2026-09-23 기준)
- Google 트렌드 고객센터 · 데이터 표본 설명 (2026-10-18 기준)
- Google 트렌드 고객센터 · 검색 관심도는 0~100 상대값 (2026-10-18 기준)
- MDN Web Docs · 429 Too Many Requests와 Retry-After (2026-10-18 기준)
- YouTube 고객센터 · 자동 자막 정확도 (2026-10-18 기준)
이 글은 직접 겪은 작업 기록을 정리한 것입니다. 기록에 없는 항목은 본문에 쓰지 않았습니다. 대표 이미지는 이해를 돕기 위한 참고용 이미지입니다.