검사기를 만들어 돌렸더니, 검사기가 먼저 틀렸습니다

Pillar: P1 빌더 탐구로그 (B트랙 · 1인칭) · 퍼널: TOFU slug 후보: blog-p1-checker-failed-first 작성: 2026-07-27 · 분량: 약 4,300자

🔵 화자·route 확정 (2026-08-11 · §0-0-1-C 이중 route)

• operating_track: INDEPENDENT_EDITORIAL — 본문 1인칭 11회 실측. 회사 화자로 바꾸면 글이 성립하지 않는다(자기 오류 고백이 논지).
• cta_route: FOUNDER_AI_READINESS — CTA를 붙이므로 §0-0-1-A에 따라 명시 선택.
• entry: content_buildlog_checker ← 구 content_evergreen은 22편이 공유하는 버킷이라 귀속 불가였다.
• 측정 분리: 저장·프로필 방문·대화 = 빌더로그 학습 지표(MKT OS 합산 ❌) / CTA 통과 funnel_lead_submit_success = MKT OS 리드(합산 ⭕).

---

1. 원고 열두 편에 검사기를 돌렸습니다

저희는 외부에 내보내는 글마다 각주 세 가지를 붙이기로 정해두었습니다. 참고한 자료와 확인한 날짜, 이 글에 쓰지 않은 수치, 그리고 만든 방식입니다.

두 번째 항목이 조금 특이합니다. 쓴 걸 밝히는 게 아니라 안 쓴 걸 밝히는 항목이거든요. 확인이 안 돼서 뺀 숫자가 무엇이었고 왜 뺐는지를 적습니다. "확인 안 된 건 싣지 않는다"는 말은 누구나 할 수 있으니, 실제로 뺀 목록을 보여주는 편이 낫다고 봤습니다.

문제는 이 규칙을 정해놓고 원고마다 지켜졌는지 세어보지 않았다는 점이었습니다. 그래서 검사기를 하나 만들었습니다. 원고 폴더를 훑어서 각주 세 가지가 다 있는지 표시하는, 아주 단순한 것이었습니다.

결과는 이랬습니다. 원고 열두 편 중 두 편만 세 가지를 갖췄고, 여섯 편은 하나도 없었습니다.

저는 이 숫자를 그대로 기록에 적었습니다. 게이트를 통과했다고 표시된 원고에도 각주가 없더라고 덧붙였고요. 게이트가 각주를 안 잡고 있다는 결론까지 냈습니다.

---

2. 원고를 열어보니 각주가 있었습니다

그 결론을 적고 나서, 각주를 채우려고 원고를 하나씩 열었습니다.

세 편에는 각주가 이미 다 있었습니다.

제 검사기가 못 찾은 이유는 이랬습니다. 하나는 "이 글에 쓰지 않은 수치" 대신 "이 글에서 쓰지 않은 것"이라고 적혀 있었습니다. 하나는 "참고자료"가 아니라 "참고한 자료"였습니다. 띄어쓰기 하나 차이였습니다. 나머지 하나는 아예 "수치 관련 고지"라는 다른 제목을 쓰고 있었고요.

세 편 다 내용은 규칙대로였습니다. 형식만 제각각이었습니다.

게이트는 제 일을 하고 있었습니다. 틀린 건 제가 만든 검사기였습니다.

이 순서가 저는 좀 아팠습니다. 검사기를 돌리고, 숫자를 얻고, 그 숫자로 결론을 내고, 결론을 기록에 박아 넣은 다음에야 원고를 열었으니까요. 원고를 먼저 열었다면 검사기의 오류는 5분 만에 드러났을 겁니다.

---

3. 그런데 원고를 열어보니 다른 게 나왔습니다

각주를 채우려고 원고를 계속 읽어 내려가다가, 검사기가 애초에 볼 수 없던 것을 발견했습니다.

한 원고 본문에 이런 문장이 있었습니다.

"○○ 연구 결과가 경고한다: AI 사용 빈도가 높을수록 비판적 사고가 낮아진다. ○○○명 연구에서 통계적으로 유의미한 역상관관계가 나왔다."

기관 이름이 있고, 표본 수가 있고, 통계적 유의성까지 언급돼 있습니다. 읽는 사람 입장에서는 확인된 연구로 보입니다.

저희에게는 인용해도 되는 외부 연구를 따로 적어둔 목록이 있습니다. 원문을 실제로 열어서 수치와 맥락까지 대조한 것만 올리는 목록입니다. 그 목록에서 이 연구는 **"기관 이름만 아는 상태"**로 분류돼 있었습니다. 인용하면 안 되는 쪽이었습니다. 표본 수도 목록에 없는 숫자였고요.

솔직히 그 순간, "출처: ○○ 연구"라고만 적고 넘어가고 싶었습니다. 각주 칸만 채우면 형식은 갖춰지니까요.

그 유혹 앞에서 목록을 다시 열어봤고, 거기엔 "미확인" 등급이라고 적혀 있었습니다. 각주에 출처를 적는 것과 인용할 자격을 갖추는 건 다른 일이라는 걸, 이번에 또 한 번 겪었습니다. 각주로 덮으면 오히려 확인된 것처럼 보이게 만듭니다.

문장을 통째로 뺐습니다. 그 자리에는 저희가 직접 관찰한 것을 넣었습니다. 인터뷰 요약본에는 사람이 말끝을 흐리던 지점이 남지 않는다는 이야기입니다. 숫자는 넣지 않았고, 뺐다는 사실과 이유를 그 글의 각주에 적었습니다.

같은 날 다른 원고 두 편에서는 내부 저장소 이름과 도구 이름이 본문에 그대로 적혀 있는 것도 나왔습니다. 이것도 검사기가 볼 수 있는 종류가 아니었습니다.

---

4. 자동은 "있나"를 보고, 사람은 "자격이 있나"를 봅니다

정리하면 이렇습니다.

	자동 검사가 본 것	사람이 열어봐야 나온 것
각주	제목 문자열이 있나	내용이 규칙대로인가
인용	—	이 출처를 인용해도 되는가
식별자	—	밖에 나가면 안 될 이름인가

자동 검사는 있나 없나를 봅니다. 빠르고, 전수로 보고, 지치지 않습니다.

사람이 봐야 하는 건 자격이 있나입니다. 이 출처가 인용 가능한 등급인지, 이 이름이 밖에 나가도 되는지, 이 숫자가 예시인지 측정치인지. 이건 문자열 검사로 만들 수 있는 판단이 아닙니다.

그리고 오늘 저는 그 둘의 순서를 틀렸습니다. 자동 검사 결과를 사실로 확정한 다음 사람이 확인하는 순서로 갔습니다. 반대였어야 합니다.

---

5. 그래서 무엇을 바꿨나

세 가지를 했습니다.

첫째, 잘못 적은 결론을 지우지 않고 정정 이력으로 남겼습니다. "게이트가 각주를 안 잡고 있다"고 적었던 자리에, 그게 틀렸다는 것과 왜 틀렸는지를 그대로 붙였습니다. 지우면 다음에 또 같은 방식으로 틀립니다.

둘째, 각주를 손봤습니다. 아홉 편입니다. 여섯 편은 각주가 아예 없어 새로 썼고, 세 편은 내용은 규칙대로인데 제목이 제각각이라 형식만 맞췄습니다. 스캔한 열두 편 중 발행 후보 열한 편이 이제 규격을 갖췄고, 나머지 한 편은 발행하지 않기로 한 원고라 대상에서 뺐습니다.

채우면서 각 원고의 "쓰지 않은 수치"에 실제로 뺀 것들을 적었습니다. 예를 들면 이런 것들입니다.

• 인터뷰 열 명 중 여덟 명이 거절한다는 비율은 실측이 아니라 설명용 예시라는 것
• 코칭한 인원 수는 규모를 가리키는 표현이지 표본을 정해 수행한 분석이 아니라는 것
• 디자인 개선의 성과를 측정하지 않았다는 것

셋째 항목이 특히 그렇습니다. 개선했다는 글에 개선 수치가 없으면 허전합니다. 그래서 넣고 싶어집니다. 측정을 안 했으니 넣을 수 없고, 안 했다는 사실을 적는 편이 맞습니다.

셋째, 검사기를 고쳤습니다. 다만 이번엔 검사기가 못 보는 영역이 무엇인지도 같이 적어뒀습니다. 인용 자격과 식별자 노출은 사람이 봐야 한다고요.

---

6. 비슷한 이야기를 들었습니다

최근에 저희와 규모도 분야도 다른 팀의 공개 세션을 하나 들었습니다.

오래 남은 대목은, 결국 도착한 자리가 비슷하더라는 것이었습니다. 자동화를 어디까지 밀든 사람이 직접 확인해야 하는 자리가 남는다는 이야기였습니다.

저는 이걸 저희가 스스로 굴러떨어져 가며 배웠다고 생각했습니다. 다른 데서도 비슷한 자리에 도달했다는 걸 알게 되니, 이게 저희 사정이 특별해서 생긴 규칙은 아니었구나 싶었습니다.

(이 문단은 제가 들은 내용에 대한 기억입니다. 발언을 그대로 옮기지 않았고, 회사명·발언자·시점·수치는 적지 않았습니다. 이유는 아래 각주 ②에 적었습니다.)

---

7. 오늘 한 가지만 한다면

검사기를 돌리고 계신다면, 그 검사기가 한 번이라도 틀린 적이 있는지 확인해 보시면 좋겠습니다.

방법은 간단합니다. 검사기가 "통과"라고 한 것 한 건만 골라서 직접 열어보시면 됩니다. 반대로 "실패"라고 한 것 한 건도요. 열 개를 볼 필요는 없습니다. 한 건이면 검사기가 무엇을 보고 무엇을 못 보는지 드러납니다.

저는 오늘 그 순서를 반대로 갔다가, 틀린 결론을 기록에 한 번 남겼습니다.

---

각주

① 참고한 자료 (확인일 2026-07-27)

• 외부 연구·통계 인용 없음. 이 글의 서술은 2026-07-27 자체 원고 감사 작업 로그(R0·1차 경험)에 근거합니다. 검사 결과·정정 이력·조치 내역은 저희 발행 큐 문서와 실행 원장에 남아 있습니다.
• 3절에 언급한 "인용해도 되는 외부 연구 목록"은 저희 내부 운영 규칙입니다. 외부에 공개된 표준이 아닙니다.

② 이 글에 쓰지 않은 수치

• 🔴 3절에서 뺀 연구의 기관명·표본 수·연구 연도 — 그 연구가 저희 인용 목록에서 "미확인" 등급이라 원고에서 뺀 것인데, 이 글에 다시 적으면 같은 일을 반복하는 셈이라 ○○로 가렸습니다. 원문을 확보해 대조하면 그때 밝히겠습니다.
• 🔴 6절 공개 세션의 회사명·발언자·발언 원문, 그리고 시점(구체 시기) — 자동 문자변환 기록만 가지고 있고 원본을 아직 대조하지 못했습니다. 원본 미대조 상태라 실명과 인용문을 싣지 않았습니다. 대신 제가 들은 것에 대한 기억이라는 층위로만 적었고, 수치와 시기는 넣지 않았습니다.
• 원고 편수 — 본문의 편수는 전부 저희 원고 폴더의 실제 파일 수입니다. 스캔 대상 열두 편(발행 후보 열한 편 + 발행하지 않기로 한 한 편), 검사기가 완비로 판정한 두 편, 직접 열어보니 추가로 나온 세 편, 손본 아홉 편(신규 여섯 + 형식만 맞춘 셋). 다만 이건 저희 폴더 사정이지 업계 지표가 아니라서 비율(%)로 환산하지 않았습니다.
• 🔴 이 편수들도 한 번 틀렸습니다. 초안에서 제목은 "11편", 본문은 "열두 편", 5절은 "열한 편"으로 갈렸습니다. 숫자를 확정하기 전에 다시 세라는 글이 자기 숫자를 안 맞춘 셈이라, 발행 전 검증에서 지적받아 고쳤습니다.

③ 만든 방식

AI로 초안을 작성하고 사람이 검증·편집했습니다. 본문에 서술한 검사·정정·제거 작업은 실제로 수행된 것이며, 그 기록이 저희 원장에 남아 있습니다. 생성형 이미지·음성·영상은 사용하지 않았습니다.

---

CTA

밖에 내보내는 글에 검사 규칙을 하나라도 걸어두셨다면, 그 규칙이 실제로 무엇을 잡고 무엇을 놓치는지 2분 진단으로 짚어보실 수 있습니다. 편하신 만큼만 답하셔도 괜찮습니다. https://www.star-t.io/ko/ai-readiness?entry=content_buildlog_checker&utm_source=blog&utm_medium=organic&utm_campaign=buildlog_2026&utm_content=blog-p1-checker-failed-first