주식 백테스트에서 p=0.029가 나왔는데 채택하지 않은 이유 — 후보 6개 중 하나만 통과하면 생기는 일

주식 백테스트를 돌리다 보면 「통과」 표시가 하나 뜨는 순간이 온다. 우리는 국내외 34종목 실데이터로 모의 매매 세션의 파라미터를 매일 아침 다시 검정한다. 2026-10-16 아침, 스윙 세션에서 바로 그 순간이 왔고 우리는 반영하지 않았다. 그 판단 과정을 숫자로 적는다.

현재값: 통과 0개, 평균은 플러스

기간 앞 70%로 규칙을 고르고 뒤 30%(OOS)에서만 판정한다. 현재 파라미터는 OOS 거래 355건, 가중평균 손익 +0.495%였다. 다만 세 가지 신호(추세·모멘텀·돌파) 중 이항검정을 통과한 것은 0개다. 추세 신호가 가장 가까웠다 — 45건, 이익률 57.8%, 손익분기 44.7%, p=0.054.

후보 6개 중 하나가 p=0.029로 통과했다

후보 여섯 개를 같은 데이터로 돌렸다. 그중 「추세필터확장」(느린 이동평균을 늘려 추세를 보수적으로 판정)이 추세 신호에서 41건, 이익률 58.5%, p=0.029로 통과했다. 스크립트는 통과 수가 0→1로 늘었으니 채택 후보라고 출력했다.

그런데 반영하지 않았다

이유는 두 가지다.

같은 아침, 새 전략 후보 96개를 돌린 발굴 진단에서도 63개(65.6%)가 수수료를 빼면 기대값 0 이하였고 승격은 0개였다.

이 숫자가 답하지 못하는 것

34종목은 대부분 초대형주라 경쟁이 가장 심한 자리다. OOS 창은 기간 뒤 30% 한 구간뿐이라, 다른 시기나 다른 종목군에서 같은 판정이 나온다는 보장은 없다. 그리고 이것은 매매 권유가 아니라 검정 절차의 기록이다.

백테스트 결과를 볼 때 하나만 기억하면 된다 — 통과 표시를 보기 전에 몇 번 시도했는지부터 세라.

이 검정이 매일 돌아가는 곳: 인베스트랩