![[개발 일지] 키워드 5만 개를 모았지만 조회수는 아직 모른다: 중간 지표의 함정](https://blogger.googleusercontent.com/img/a/AVvXsEi2Rr5KgVi4lAR-njFl0vRrzIZODXZOajCliGba3rje4hs5kO9C8tU1wZqSuLdgVK_G6BnPqF1ChIYdPawvlbDMmAVDPSzUD92nhJmZcGeJ9mw1YsOCdsJYxAmzaY4RkCZwvQY03K8zqLR8MRBkmYNJIKIfIKSVcmj4AmXkYiQL3IYDwZRTqM-FnVzrULQ=rw "[개발 일지] 키워드 5만 개를 모았지만 조회수는 아직 모른다: 중간 지표의 함정")
한 줄 요약: 수집량과 완료율이 올라가면 잘 되고 있다고 느끼기 쉽습니다. 그런데 그 숫자들은 대부분 중간 지표라, 진짜 결과와 연결되지 않을 수 있습니다.
기록 성격: 개발 기록. 원본 문서·계정·내부 경로는 공개하지 않습니다.
중간 지표와 결과 지표
- 중간 지표 — 수집 건수, 처리 속도, 완료율, 통과한 검사 항목 수.
- 결과 지표 — 발행한 글이 실제로 읽혔는가.
중간 지표는 내가 통제할 수 있어서 빨리 좋아집니다. 결과 지표는 통제할 수 없고 느리게 움직입니다. 그래서 자연히 앞쪽만 보게 됩니다.
숫자가 커질수록 위험해지는 이유
수집량이 늘면 후보가 많아지고, 후보가 많아지면 고를 것이 늘어난 것처럼 보입니다. 그런데 그중 실제로 읽히는 글로 이어지는 비율이 얼마인지는 별개 문제입니다.
- 같은 성격의 후보가 대량으로 늘어난 것일 수 있습니다.
- 수집 경로 하나가 과대 대표된 것일 수 있습니다.
- 중복을 제거하기 전 숫자일 수 있습니다.
- 무엇보다, 후보의 품질이 아니라 개수만 세고 있는 것일 수 있습니다.
기록에 남겨 두는 문장
진행 상황 문서에 이 문장을 그대로 적어 두었습니다. "조회수 개선은 아직 증명되지 않았습니다. 이것이 유일하게 중요한 지표입니다."
나중에 문서를 다시 열었을 때 중간 지표만 보고 다 됐다고 판단하지 않기 위해서입니다. 잘 되고 있다는 느낌은 기록으로 남지 않지만, 이 문장은 남습니다.
그래도 중간 지표를 보는 이유
결과 지표만 보면 아무것도 못 고칩니다. 조회수가 안 나왔을 때 어디를 손봐야 할지 알 수 없기 때문입니다. 그래서 중간 지표는 원인을 좁히는 용도로만 씁니다.
- 수집이 멈췄으면 후보가 없어서 못 쓴 것입니다.
- 후보는 많은데 발행이 적으면 고르는 단계가 막힌 것입니다.
- 발행은 했는데 안 읽히면 검색어 선택이나 제목이 문제입니다.
- 읽히는데 오래 안 남으면 내용이 기대와 다른 것입니다.
같은 숫자라도 "잘 되고 있다"의 근거로 쓰면 착각이 되고, "어디가 막혔나"의 단서로 쓰면 도구가 됩니다.
언제 증명됐다고 할 것인가
기준을 미리 정해 두지 않으면 나중에 유리한 쪽으로 해석합니다. 그래서 다음을 적어 두었습니다.
- 같은 조건에서 발행한 글 여러 편의 결과를 봅니다. 한 편이 잘 된 것은 근거가 아닙니다.
- 도구를 쓰기 전과 후를 비교합니다. 절대값이 아니라 변화를 봅니다.
- 계절이나 사건 같은 외부 요인이 겹치지 않았는지 확인합니다.
- 안 됐으면 안 됐다고 적습니다. 여기까지가 한 묶음입니다.
숫자가 늘 때 같이 봐야 하는 것
- 중복을 뺀 수인지 확인합니다. 같은 것을 여러 경로로 모으면 그대로 두 배가 됩니다.
- 경로별 비중을 봅니다. 한 곳이 대부분이면 다양성은 늘지 않은 것입니다.
- 실제로 쓴 수와 비교합니다. 모은 것 중 글이 된 비율이 진짜 지표에 가깝습니다.
- 기간을 고정합니다. 누적과 하루치를 섞으면 언제든 커 보입니다.
네 가지를 붙여 보면 큰 숫자가 작아지는 경우가 많습니다. 작아진 숫자가 실제에 가깝습니다.
읽고 나서 확인할 것
이 글은 게시 시점의 진행 상태를 정리한 것입니다. 이후 바뀐 내용은 다음 기록에서 다시 적습니다.