백테스트 방법: 전략 96개를 돌려 3개만 남긴 다섯 단계 — 그리고 그 3개도 믿지 않는 이유

백테스트는 「과거 데이터에 규칙을 돌려 보는 것」이다. 돌리는 것 자체는 쉽다. 어려운 건 좋게 나온 결과를 걸러내는 방법이다. 우리는 국내외 34종목 실데이터로 매매 전략 후보를 매일 만들어 검증한다. 오늘(2026-10-07) 후보 96개를 돌린 결과로 그 순서를 정리한다.

1. 데이터를 나누고, 판정은 뒤쪽으로만 한다

기간 앞 70%(IS)에서 규칙을 고르고, 뒤 30%(OOS)에서만 합격을 판정한다. 고른 구간에서 다시 채점하면 거의 무조건 좋게 나온다.

2. 체결은 「다음 날 시가」로 가정한다

신호가 뜬 날 종가에 샀다고 치면, 그 종가를 보고 나서야 알 수 있는 신호로 그 종가에 산 셈이 된다. 실제로 살 수 있는 가격은 다음 날 시가다.

3. 수수료를 빼고 기대값부터 본다

96개 중 62개(64.6%) 가 여기서 떨어졌다. 수수료를 빼면 한 번 거래할 때마다 평균적으로 지는 전략이다. 거래 수가 8건이 안 돼 판정 자체를 못 한 것도 19개(19.8%) 였다.

4. 승률 기준은 손익비에서 계산한다

「승률 50% 넘으면 합격」 같은 고정 기준은 틀린다. 한 번 이길 때 얼마, 질 때 얼마인지에 따라 본전 승률이 달라지기 때문이다. 우리 모멘텀 전략은 본전 승률이 43.91% 였고 실제 승률 49.1%(거래 281건)로 이항검정 p=0.045를 받아 통과했다. 거의 같은 변형은 48.8%, p=0.058로 떨어졌다. 경계가 이 정도로 얇다.

5. 점수 하나로 고르지 않는다

예전 채점식은 성과가 그대로인데 보는 기간만 늘려도 점수가 55.8에서 114.1로 뛰었다. 점수가 성과가 아니라 측정 방식을 재고 있었다. 그래서 점수 대신 위의 통계 검정으로 바꿨다.

그 3개도 믿지 않는 이유

다섯 단계를 다 넘은 건 3개(3.1%) 다. 그런데 p<0.05 기준으로 96개를 시험하면, 아무 실력이 없어도 다섯 개쯤은 우연히 통과할 수 있다. 3개는 우연과 구별되지 않는 숫자다. 그래서 통과분도 바로 쓰지 않고, 다음 날 새 데이터에서 다시 잰다. 그리고 34종목은 대부분 경쟁이 가장 치열한 초대형주라, 다른 종목에서도 같을지는 이 결과로 말할 수 없다. 투자 권유가 아니라 실험 기록이다.

이 검증이 돌아가는 곳: 자동투자 실험