Contents Walk-Forward Analysis

FX Autonomous Research

Walk-Forward Analysis

Walk-Forward Analysis(WFA)は、モデルを過去のデータで学習・調整し、その直後に続く未使用期間で評価する処理を時系列に沿って繰り返す検証方式である。FX市場では統計的関係とボラティリティが時間とともに変化するため、1回の固定分割だけでなく、学習窓を拡張または移動させてモデルの再学習・再選択が実際の運用で再現できるかを見る。

Expanding WindowとRolling Window

Expanding Windowは初期学習期間を保持し、各foldのたびに新しい過去データを追加する。データが増える利点がある一方、古い市場構造の情報を長く残す。Rolling Windowは直近一定期間だけを学習に使い、古いデータを捨てる。変化への適応を早められるが、標本数が限られ分散が大きくなりやすい。窓幅、再学習頻度、検証区間は戦略の実運用周期に基づいて決める。

WFAの実行手順

各時点で、その日までに入手可能なデータだけを使って前処理、特徴選択、ハイパーパラメータ調整、確率校正、モデル学習を行う。モデルを次のテスト期間で固定して運用し、テスト区間の結果を保存する。期間が進んだら、その時点で利用可能になったデータを加えて再学習する。最終成績は、各foldのアウト・オブ・サンプル結果を時系列順につないで計算し、fold別成績、相場レジーム別成績、コスト別成績も併記する。

適用例:XAUUSD M15の再学習

例えば、直近2年のXAUUSD M15を学習期間、次の3か月をテスト期間とし、3か月ごとに窓を前進させる。各テスト区間の始まりにだけモデルを再学習し、その区間中はモデルを固定する。毎バー再学習したかのように過去データを参照すると、実際の本番システムよりも有利な評価になる。再学習に使う価格・特徴量の遅延や休日、DSTも運用仕様どおりに処理する。

検証窓とモデル選択の分離

WFAの内側でハイパーパラメータを選ぶ場合、その選択用データと外側の評価期間を分離する。テスト結果を見て窓幅や閾値を調整し、その同じテスト結果を最終成績として再利用してはならない。時間順分割の基本例としてscikit-learnのTimeSeriesSplitは、未来のデータを学習へ混ぜず、過去から未来へテスト区間を進める設計を提供する。ただしラベル期間の重複を扱う場合、通常のgap設定だけでは不十分なことがあり、Purged CVの考え方を併用する。1

限界:時間分割でも過学習は起きる

WFAは未来データを完全に隔離する万能策ではない。何度もテスト期間を見てモデルを調整すれば、その期間に対する選択バイアスが起きる。また学習窓、再学習間隔、評価ホライズンの選択自体も自由度である。WFAの結果は、実運用の更新手順を忠実に再現し、最終ホールドアウトを別に確保し、全試行を記録して初めて信頼できる。相場の急変時に再学習が遅れる・誤データで停止するなどの運用障害も、戦略評価の一部として扱う。

References

Quizzes
  1. Expanding WindowとRolling Windowの主な違いを正しく説明しているものはどれか?

    • Expandingは過去標本を累積し、Rollingは一定幅の直近標本へ入れ替える
    • Expandingは未来標本を追加し、Rollingは全期間をランダムに並べ替える
    • Expandingは固定学習期間、Rollingは学習期間を無制限に拡張する
    • Expandingは必ず高精度で、Rollingは必ず過学習する

    Expandingは学習履歴を累積し、Rollingは古い観測を落として一定幅を保つ。前者は長期情報、後者は最近の市場構造への適応を重視する。

  2. WFAで各3か月テスト期間の結果を確認し、その結果に合わせて閾値を変更した場合に必要な扱いはどれか?

    • そのテスト期間は選択に使用済みと見なし、最終的な独立評価に再利用しない
    • 閾値だけ変更したので、同じ期間を未使用のテストと見なす
    • 変更後の閾値で同期間を再計算し、最終アウト・オブ・サンプルと呼ぶ
    • テスト成績が改善したので、期間を学習データへ戻し再評価する

    テスト成績を見て設定を変えた時点で、その期間はモデル選択へ情報を提供している。独立した最終評価期間を確保する必要がある。

  3. WFAのテスト期間を連結した成績を報告するとき、適切な補足情報はどれか?

    • fold別結果、レジーム別結果、取引コスト感応度、実運用更新条件
    • 最も成績の良いfoldだけのSharpeと勝率
    • 各foldの学習成績を時系列順に平均した値
    • テスト期間をシャッフルした平均精度だけ

    総合値だけでは期間依存性や特定局面への偏りが見えない。foldやレジーム、コスト、再学習条件を併記して安定性を評価する。

Comments

No comments yet. Start the conversation.