죽어가던 트레이딩 전략을 다시 살린 과정: 과최적화를 피하고 파라미터 고원을 찾은 백테스트 연구

1. 시작점: 한때 가능성이 있었지만 점점 설득력을 잃어가던 전략

오래전부터 연구해오던 하나의 추세 기반 매매 전략이 있었습니다. 기본적인 시장 방향 판단과 진입 아이디어는 단순했고, 여러 자산에서 어느 정도 반복되는 특성도 확인된 상태였습니다.

문제는 백테스트를 계속 확장할수록 성과가 기대만큼 안정적이지 않았다는 점입니다. 일부 시장에서는 수익이 났지만 다른 시장에서는 쉽게 무너졌고, 같은 시장에서도 기간을 바꾸면 성과가 크게 달라졌습니다. 특정 조건을 추가하면 순간적으로 좋아지지만 조금만 범위를 벗어나면 다시 성과가 사라지는 경우도 많았습니다.

전형적으로 과최적화를 의심해야 하는 모습이었습니다. 이때 시간 필터, 지표, 특정 달 제외, 손실 거래 예외 규칙을 계속 추가하면 과거 수익곡선은 예뻐질 수 있지만 전략은 점점 과거 데이터에만 맞는 퍼즐이 됩니다.

그래서 이번에는 반대로 접근했습니다. 진입 논리는 최대한 건드리지 않고, 전략의 손익 구조 자체가 시장 변동성과 맞지 않는 것은 아닌지부터 다시 확인했습니다.

2. 전략을 바꾼 것이 아니라 손실 구조를 다시 설계했다

기존 전략에서 가장 먼저 의심한 부분은 진입이 아니라 손절 방식이었습니다. 기존 손절은 시장 구조상의 특정 가격을 기준으로 결정됐지만, 시장이 조용할 때와 급격하게 움직일 때 같은 구조적 기준을 사용하면 실제 위험 거리가 크게 달라질 수 있었습니다.

진입 조건은 같은데 시장 변동성에 따라 손절의 성격이 전혀 다른 거래가 만들어지고 있었던 셈입니다. 이번 연구에서는 이 부분을 시장 변동성에 연동시키는 방식으로 변경했습니다. 변동성이 커지면 손절폭도 넓어지고, 변동성이 작아지면 손절폭도 줄어드는 구조입니다.

중요한 점은 특정 하나의 최적값을 찾지 않았다는 것입니다. 질문을 '가장 돈을 많이 버는 값은 무엇인가?'에서 '어느 정도 값을 바꿔도 계속 살아 있는 영역이 존재하는가?'로 바꿨습니다.

3. 최고의 숫자가 아니라 파라미터 고원을 찾았다

백테스트에서 가장 위험한 숫자 중 하나는 최고 수익을 기록한 단일 숫자입니다. 주변 값에서는 평범한데 특정 한 점에서만 결과가 폭발한다면 그 값은 성과가 좋아 보일수록 더 의심할 필요가 있습니다.

반대로 최고점은 조금 낮더라도 넓은 인접 영역이 동시에 양수이고 성과 변화가 완만하다면 해석이 달라집니다. 이런 형태를 파라미터 고원(Parameter Plateau)이라고 부를 수 있습니다.

이번 연구에서는 변동성 기준과 손익비를 여러 단계로 이동시키면서 주변 영역이 동시에 살아 있는지 확인했고, 특정 값 하나가 아니라 넓게 유지되는 영역을 후보로 선택했습니다. 그 과정에서 기존 전략이 예상과 다르게 다시 살아나기 시작했습니다.

한 시장에서만 나타난 현상도 아니었습니다. 여러 자산에서 위치는 달랐지만 유사한 형태의 변동성 고원이 반복해서 나타났습니다. 이는 단순히 특정 숫자를 우연히 맞힌 것과는 다른 신호로 봤습니다.

4. 모든 시장을 억지로 살리지 않았다

연구 과정에서 또 하나 지킨 원칙은 모든 자산을 포트폴리오에 넣지 않는 것이었습니다. 어떤 자산에서는 전략이 안정적으로 살아났지만 다른 자산에서는 상대적으로 약했습니다.

약한 자산을 살리기 위해 별도의 시간 조건, 방향 조건, 특정 연도 제외 같은 규칙을 추가하지 않았습니다. 여러 검증에서 가장 약한 자산은 최종 후보에서 제거했습니다.

반대로 단독 성과가 최고 수준이 아니더라도 다른 전략과 결합했을 때 전체 수익을 늘리면서 최대낙폭을 거의 키우지 않거나 오히려 낮추는 경우는 분산 엔진으로 평가했습니다. 독립 전략의 순위보다 포트폴리오 기여도를 따로 본 이유입니다.

5. 시간대 역시 가장 좋은 몇 시간을 고르지 않았다

시간 필터는 백테스트에서 특히 위험합니다. 하루를 여러 조각으로 나누고 가장 수익이 높은 시간만 선택하면 대부분의 전략에서 그럴듯한 결과를 만들 수 있기 때문입니다.

초기 탐색에서 짧은 시간창이 좋아 보여도 최종 단계에서는 가능한 경우 실제 시장 세션에 가까운 넓은 구간으로 확장했습니다. 거래 횟수가 늘고 일부 지표가 나빠지더라도 넓은 구간에서 구조가 유지된다면 설명력은 오히려 높아질 수 있습니다.

다만 모든 시장에 같은 결론을 강요하지 않았습니다. 시간을 넓혀도 구조가 유지되는 시장은 확장했고, 지나치게 넓혔을 때 성과 구조가 훼손되는 시장은 상대적으로 좁은 세션을 유지했습니다.

6. 과거를 많이 본 만큼 랜덤 시장에도 같은 특권을 줬다

여기까지의 과정만으로는 과최적화를 완전히 배제할 수 없습니다. 실제 연구자는 이미 수많은 변수를 보고 후보를 선택했기 때문입니다. 그래서 가상의 시장에도 비슷한 선택권을 주는 검정을 추가했습니다.

실제 주간 손익 데이터에서 평균 수익을 제거해 엣지가 없는 시장(Zero-Edge Null World)을 만들고, 연속된 흐름을 완전히 파괴하지 않도록 여러 길이의 블록 단위로 재배열했습니다. 별도 검정에서는 일정 기간의 손익 방향을 무작위로 뒤집는 방식도 사용했습니다.

중요한 것은 랜덤 시장에서 현재 전략 하나만 실행한 것이 아니라는 점입니다. 가짜 시장에서도 여러 파라미터를 다시 검색하고 가장 좋아 보이는 후보를 선택하도록 허용했습니다. 실제 연구자가 누린 데이터마이닝의 이점을 랜덤 시장에도 상당 부분 제공한 것입니다.

검정의 질문은 단순했습니다. '엣지가 없는 시장에서도 내가 했던 것처럼 여러 후보를 뒤지면 이 정도 결과를 만들 수 있는가?'였습니다.

7. 한 단계 더 나아가 선택 과정 자체를 다시 검증했다

최종 단계에서는 과거 전체를 보고 하나의 전략을 고정한 뒤 랜덤화하는 것만으로 끝내지 않았습니다. 시간을 순서대로 나눠 이전 기간만 보고 후보를 선택한 다음, 아직 보지 않은 다음 기간에 그대로 적용했습니다.

그다음 기간이 하나 추가되면 다시 후보를 선택하고 또 다음 기간을 테스트했습니다. 이런 Nested Walk-Forward 구조에서는 '어떤 전략을 고를지 결정하는 행위' 자체가 시간 순서 안으로 들어갑니다.

더 가혹한 검정에서는 랜덤 시장에서도 같은 과정을 반복했습니다. 가짜 시장에서도 과거 구간을 보고 좋은 영역을 찾고 후보를 선택한 뒤 다음 기간에 적용하도록 만든 것입니다.

이 단계에서는 초기의 화려한 백테스트 숫자가 상당 부분 낮아졌습니다. 하지만 전략이 완전히 사라지지는 않았습니다. 강한 선택 편향 보정 뒤에도 일부 성과가 남는다는 점을 더 중요하게 봤습니다.

8. 최종적으로 남은 포트폴리오는 역할이 서로 달랐다

최종 연구에서는 여러 시장 가운데 상대적으로 강건한 후보만 남겼습니다. 각 전략의 역할도 동일하지 않았습니다. 일부는 수익의 중심을 담당하는 핵심 엔진이었고, 일부는 독립 수익이 상대적으로 작더라도 다른 자산과 낮은 동조성을 제공하는 분산 엔진이었습니다. 반복 검증에서 가장 약한 시장은 제거했습니다.

특히 한 보조 전략은 전체 수익을 크게 증가시키면서 포트폴리오 최대낙폭은 거의 증가시키지 않았고, 다른 보조 전략은 단독 성과가 크지 않아도 추가했을 때 최대낙폭을 낮추는 역할을 했습니다.

이 때문에 최종 평가에서는 단순 수익률보다 포트폴리오 기여도를 더 중요하게 봤습니다.

9. 이번 연구에서 일부러 하지 않은 것들

결과를 더 좋아 보이게 만들 수 있는 방법은 많았지만, 특정 손실 연도 제거, 특정 월 제외, 결과가 나쁜 거래 유형 사후 삭제, 방향별 예외 조건 추가, 자산마다 임의 규칙 생성, 최고의 단일 시간창과 최고의 단일 파라미터만 채택하는 방식은 의도적으로 사용하지 않았습니다.

대신 결과가 조금 나빠지더라도 규칙을 단순하게 유지하고 주변 영역이 살아 있는지 확인했습니다. 좋지 않은 자산은 제거했고, 특정 시간대가 충분히 강하지 않을 때는 오히려 시간을 넓혀 구조가 남는지 확인했습니다.

백테스트 숫자를 최고로 만드는 것과 미래에 살아남을 가능성을 높이는 것은 서로 다른 목표입니다. 이번 연구는 후자를 선택했습니다.

• 특정 손실 연도나 월을 사후 제거하지 않음
• 나쁜 거래 유형을 결과를 본 뒤 삭제하지 않음
• 자산마다 예외 규칙을 덧붙여 억지로 살리지 않음
• 최고의 단일 시간창이나 단일 파라미터만 채택하지 않음
• 성과가 조금 낮아져도 넓은 영역과 단순한 규칙을 우선함

10. 아직 끝난 연구는 아니다

이번 결과가 미래 수익을 보장하는 것은 아닙니다. 현재 결과는 역사 데이터 기반 연구이며, 일부 검정에서는 강한 통계적 결과가 나타났지만 가장 엄격한 선택 편향 보정에서는 경계 수준까지 내려오는 부분도 있었습니다.

또한 거래 비용이 충분히 반영되지 않은 연구 단계 결과가 포함되어 있습니다. 특히 손절폭이 작은 전략은 스프레드, 수수료와 슬리피지에 훨씬 민감할 수 있습니다.

따라서 다음 단계는 더 좋은 파라미터를 찾는 것이 아니라 현재 구조를 동결한 뒤 실제 비용, 비용 스트레스, 브로커별 체결 차이, 미래 데이터 포워드 테스트와 Rolling 성과 감시로 넘어가는 것입니다.

과거 데이터를 계속 보면 결국 과거에 더 잘 맞는 전략을 만들게 됩니다. 어느 시점부터는 연구를 멈추는 것도 검증의 일부입니다.

결론: 살아남는 구조를 찾는 것이 백테스트의 목적이었다

이번 연구에서 가장 흥미로운 점은 완전히 새로운 전략을 발견했다는 것이 아닙니다. 한때 가능성이 있었지만 점점 설득력을 잃던 기존 전략에서 진입 논리 자체가 아니라 위험 구조가 문제였을 가능성을 발견했다는 점입니다.

시장 변동성과 무관하게 설정되던 손절 구조를 변동성 기반으로 바꾸자 여러 자산에서 넓은 파라미터 고원이 나타났고, 단일 최고값 대신 주변 값, 다른 기간, 다른 시장 세션, 랜덤 시장과 Walk-Forward까지 반복해서 확인하면서 가능한 한 과최적화 가능성을 줄였습니다.

결과적으로 전략은 다시 살아났습니다. 하지만 더 중요한 교훈은 수익 숫자 자체가 아닙니다. 좋은 백테스트는 가장 높은 수익을 만드는 과정이 아니라, 수많은 방법으로 망가뜨려도 완전히 죽지 않는 구조를 찾는 과정에 가깝습니다.

그래서 백테스트에서 '얼마나 많이 벌었는가?'보다 먼저 물어야 할 질문은 '이 결과를 우연이라고 설명하기 위해 얼마나 많은 가정을 해야 하는가?'라고 봅니다. 이번 연구는 그 질문에 답하기 위한 하나의 실험이었습니다.