실패했다고 버릴 뻔한 백테스트를 다시 열어본 이유
백테스트를 오래 하다 보니 좋은 결과를 의심하는 것만큼 나쁜 결과도 의심해야 한다는 걸 배웠습니다. 한 번은 특정 자산이 크게 음수라 전략 자체가 안 맞는다고 결론냈다가, 원장 가공 과정을 다시 확인하면서 그 결론을 통째로 취소했습니다.
TTM v19 raw re-audit 정정 기록을 바탕으로 작성했습니다. 특정 전략을 홍보하기보다 잘못된 결론을 취소한 검증 과정에 초점을 둡니다.
처음에는 BTC가 -20.08R이라서 약한 자산이라고 봤다
초기 집계에서는 BTC 쪽 결과가 -20.08R로 나왔습니다. 다른 자산보다 확연히 나빴기 때문에 전략과 시장의 궁합 문제라고 해석하기 쉬운 그림이었습니다.
하지만 다른 피드에서 본 흐름과 너무 다르고 원시 거래 몇 건을 손으로 따라가도 숫자가 맞지 않는 부분이 있었습니다. 그래서 전략 설명을 붙이기 전에 데이터 처리 코드를 다시 열었습니다.
정정 후 전체 1x 비용 모델은 +158.89R이었다
재감사에서 기존 BTC 음수 결과가 데이터 처리 artifact로 확인됐습니다. 정정한 1x 비용 모델의 전체 원장은 1,989건, +158.89R, 거래당 EV +0.0799R이었습니다. BTC도 MT5와 TradingView 교차 피드 확인에서 양수 방향이 유지됐습니다.
여기서 중요한 건 최종 수치가 플러스라는 사실이 아닙니다. 이전에 작성했던 'BTC에는 안 맞는다'는 설명 자체가 근거를 잃었다는 점입니다.
오류가 있는 파일의 파생 분석도 같이 버렸다
원장 하나가 틀렸으면 그 파일로 만든 시간대 순위, 월별 성과, 종목 비교도 믿을 수 없습니다. 그래서 숫자만 정정하는 대신 그 파일에서 파생된 결론을 함께 폐기했습니다.
이 원칙은 꽤 아깝습니다. 며칠 동안 만든 표와 그래프를 버려야 할 때도 있습니다. 그래도 틀린 원장을 살려두고 다음 최적화를 이어가는 것보다 훨씬 싸게 끝납니다.
좋은 결과만 의심하면 검증이 편향된다
과최적화 이야기를 할 때는 보통 너무 좋은 수익곡선을 의심합니다. 하지만 구현 버그는 성과를 부풀릴 수도, 반대로 실제 엣지를 지워버릴 수도 있습니다.
그래서 이제는 기대보다 지나치게 좋은 결과와 지나치게 나쁜 결과 모두 같은 방식으로 원장을 샘플링합니다. 결과의 방향이 아니라 재현 가능성이 감사 대상입니다.
백테스트와 연구 수치는 과거 데이터의 관찰 결과이며 미래 수익을 보장하지 않습니다. 실제 거래 결과는 체결 비용, 슬리피지, 포지션 크기, 시장 환경에 따라 달라질 수 있습니다.