업무 자동화에 AI를 붙일 때: 만들기는 AI에게, 내보낼지는 규칙에게 — 초안 72건을 굴려 본 기준

먼저 답부터

업무 자동화에 AI를 붙일 때 가장 먼저 정할 것은 어떤 모델을 쓰느냐가 아니라 AI가 만든 결과를 누가 통과시키느냐다. 혼자 운영하는 서비스에서 AI로 글 초안을 매일 만들어 보니, 만드는 것보다 걸러 내는 장치가 결과를 더 크게 갈랐다.

우리가 실제로 잰 숫자

블로그 초안을 AI가 쓰고, 채점 규칙을 통과한 것만 내보내는 구조를 한 달 넘게 돌렸다. 연재물을 뺀 초안 72건의 지금 상태는 이렇다.

기각이 가장 많다. 처음에는 실패로 보였지만, 기각된 글을 그대로 내보냈다면 사이트 전체가 「가치 낮은 콘텐츠」로 판정받는 쪽에 더 가까워졌을 것이다. 실제로 구글 애드센스는 우리 사이트에 그 판정을 두 번 내렸다.

그래서 정한 기준 세 가지

1. AI가 쓴 결과에는 기계로 셀 수 있는 조건을 건다. 우리는 「본문에 직접 잰 숫자가 하나도 없으면 읽을 가치 점수 5점 이하」를 고정했다. 사람 취향보다 이런 규칙이 매일 똑같이 작동한다.

2. 통과한 뒤 나갈 곳을 먼저 만든다. 실패 11건은 전부 글 품질이 아니라 출구가 없어서 생겼다. 매일 만들고 매일 버리는 자동화는 비용만 쓴다.

3. 비용은 따로 장부에 남긴다. 최근 7일 우리 서버의 AI 호출 비용은 추정 0.32달러였다. 대부분 같은 결과를 구독 플랜에서 먼저 만들어 넣어, 유료 호출이 아예 안 나가게 했기 때문이다. 장부가 없으면 이 비교 자체를 할 수 없다.

이 숫자가 답하지 못하는 것

이 작업이 돌아가는 곳: 업무 자동화