目录 PBO and CSCV

FX Autonomous Research

PBO and CSCV

Probability of Backtest Overfitting(PBO)は、イン・サンプルで最良に見えた戦略がアウト・オブ・サンプルでは中央値より悪い順位になる確率を推定する枠組みである。Combinatorially Symmetric Cross-Validation(CSCV)は、バックテスト候補のリターン系列を複数の時間ブロックへ分割し、ブロックの組み合わせから多数のIS/OOS対を作る実装方法である。単一のホールドアウトでは、最良候補を何百・何千回も試した選択過程を十分に評価できない可能性がある。1

CSCVの計算概念

まず、比較した全候補戦略の同一期間リターン系列を保存する。期間を偶数個の連続ブロックへ分け、各組み合わせで半分をIS、残り半分をOOSとして評価する。ISで最高成績の候補を選び、その候補がOOS候補群のどの順位に位置するかを記録する。ISで選ばれた候補がOOS順位の中央値未満に落ちる比率をPBOの推定値とする。PBOが高いほど、探索で得た勝者が再現しにくい可能性を示す。

PBOは戦略の将来損失確率でも、モデルパラメータの一般的な過学習率でもない。これは候補選択プロセスの過学習に関する診断量である。計算は候補集合、評価指標、ブロック数に依存するため、それらの設定を記録する。

適用例:XAUUSDの1,000戦略候補

XAUUSDのM5で、異なる特徴量・閾値・TP/SL・期間窓の1,000候補を探索したとする。最高Sharpeの1候補だけを見て採用すると、偶然の勝者を選んだ可能性を無視できない。CSCVでIS/OOSの組み合わせを作り、各組み合わせの勝者がOOSでどの順位になるか確認する。ISでは最上位だがOOSでは中央値より下へ落ちる組み合わせが多ければ、その探索手順の信頼性に疑問を持つべきである。

解釈と他の検定との関係

PBO/CSCVは候補順位の反転を調べ、Deflated Sharpe Ratio(DSR)は複数試行による選択バイアスとリターン分布の非正規性を調整してSharpeの有意性を評価する。SPA(Superior Predictive Ability)やReality Checkは、複数候補の予測性能がベンチマークを上回るかという仮説検定を扱う。これらは同じものではなく、異なる問いを補完する。23

限界と注意

CSCVは時系列ブロックを再結合するため、実運用で未来が過去へ戻ることを意味しない。市場の構造変化、イベント依存のラベル重複、候補間の依存、評価期間の短さなどに影響される。候補群そのものが探索履歴の一部を欠いているなら、推定値もその探索過程を過小評価する。したがって全ての試行・失敗候補・パラメータ選択を記録し、PBOをWalk-Forwardと最終ホールドアウトの代わりにしない。

参考文献

测验
  1. CSCVでPBOを推定するとき、ISで選ばれた候補についてOOSで主に確認するものはどれか?

    • OOS候補群の順位が中央値より下へ落ちる頻度
    • ISで得た最大Sharpeが同じ数値で再現される頻度
    • OOS期間で取引回数が必ずISと一致する頻度
    • ISとOOSの価格水準が同一になる頻度

    PBOはIS勝者のOOS順位が中央値を下回る確率として定義され、候補選択によるバックテスト過学習を評価する。

  2. PBO、DSR、SPAの役割の違いを最も適切に説明するものはどれか?

    • PBOは順位劣化、DSRはSharpeの選択・非正規性調整、SPAはベンチマーク超過の検定を扱う
    • PBOは最大ドローダウン、DSRはスリッページ、SPAは注文拒否率を推定する
    • PBOは予測確率の校正、DSRは特徴量重要度、SPAはラベル生成を扱う
    • 3つは同じ検定であり、出力を相互に置き換えられる

    各手法が対象とする帰無仮説・評価量が異なる。複数手法を組み合わせることで異なる過学習リスクを診断できる。

  3. XAUUSDで1,000候補を比較したのに、最終的に採用した1候補の試行ログだけを保存している場合の問題は何か?

    • 探索の選択過程が欠落し、PBOや多重検定補正を過小評価し得る
    • 候補が減ることでPBOが必ず正確にゼロになる
    • 最終候補のSharpeが高ければ、未保存候補は統計上無関係になる
    • 候補数を復元しなくてもDSRは同じ値を必ず再計算できる

    過学習リスクは試した候補の母集団と選択過程に依存する。不採用候補や試行数が欠落すると、その探索による選択バイアスを正しく評価できない。

评论

还没有评论,来说第一句吧。