目录 Multiple Testing Control

FX Autonomous Research

Multiple Testing Control

Multiple Testing Controlは、多数の戦略、特徴量、モデル、パラメータを試した結果を評価するとき、偶然の好成績を本物の優位性と誤認しないための統計的手順である。FX研究では、同じ過去データ上で何千ものTP/SL、移動平均窓、特徴量セット、モデル構造を比較し、最も良い結果だけを採用しがちである。その試行回数を無視した通常のp値やSharpeは、実際以上に有意に見える可能性がある。

なぜ試行回数が問題なのか

個々の候補が真の優位性を持たなくても、多数試すと偶然に良い成績を示す候補が出る。試行回数が増えるほど、最大Sharpeなどの期待値は上昇する。データを見て特徴量や評価指標を変更し、さらに再評価する適応的な探索も実質的な試行回数に含まれる。ログに残した明示的なGrid Searchだけでなく、人間やAIが途中で試した判断も探索履歴として記録する必要がある。

主な補正・検定の考え方

DSRは観測Sharpeを、試行数に伴う選択バイアスと非正規なリターン分布を考慮して評価する。SPAは複数予測候補のうちベンチマークを上回る候補があるかを検定し、低品質な候補が結果を支配する影響を軽減する。Reality Check系ブートストラップも候補集合全体のデータスヌーピングを考慮する。検定を選ぶときは、帰無仮説、依存構造、候補集合、パフォーマンス指標を確認する。12

適用例:USD/JPYの閾値探索

USD/JPY M15で30種類の特徴量セット、20通りのシグナル閾値、10通りのTP/SLを試すと、単純計算で6,000候補になる。最良Sharpeだけを報告すると、その値は探索全体の選択によって上振れしている可能性がある。各候補のリターン、試行ID、期間、パラメータ、採否を残し、DSRやPBO、SPAなどの目的の異なる方法で評価する。さらに独立した最終ホールドアウト期間で一度だけ確認する。

統計的有意性と経済的有意性

p値や補正Sharpeが良好でも、取引回数が少ない、利益が特定イベントに集中する、コスト上昇で純利益が消える、最大ドローダウンが口座許容範囲を超えるなら、実運用価値は低い。逆に小さな予測改善が複数レジームで安定していれば、取引ルールとの組み合わせで価値を持つ可能性がある。統計検定は経済的判断の代替ではなく、誤った勝者選択を減らすための証拠である。

限界

多重検定補正の結果は、試行回数の推定、候補間の相関、リターン分布、依存構造、検定の適用条件に左右される。探索過程を正確に記録できない場合、補正値も信頼しにくい。検定を何種類も併用して、その中で最も都合の良い結果だけ報告すること自体も新しい多重検定となる。検証計画と採用基準を事前に固定する。

参考文献

测验
  1. 同じFXデータで6,000通りの候補を試し、最高Sharpeだけを単独検定した場合に最も大きい問題は何か?

    • 多数試行による選択バイアスを無視して、成績の有意性を過大評価する
    • 候補数が多いほどSharpe推定の不偏性が自動的に高まる
    • 最高Sharpeを選ぶことで候補間の依存がなくなる
    • 試行回数が多ければ最終ホールドアウトは不要になる

    多数の候補を調べると、偶然の好成績が最大値として選ばれやすい。試行履歴と候補集合を考慮した補正が必要となる。

  2. Deflated Sharpe Ratio(DSR)が主に補正対象とする問題の組み合わせはどれか?

    • 複数試行による選択バイアスと、リターン分布の非正規性
    • Bid/Askの価格差と、注文約定の通信遅延
    • ラベル区間の重複と、経済指標の公表時刻
    • モデルの推論速度と、GPUメモリ使用量

    DSRは大量試行から得られたSharpeの上振れと、歪度・尖度を含む非正規なリターン分布を考慮する。

  3. 多重検定補正後も有意なFXシグナルが得られた場合、実運用価値を判断するための追加条件はどれか?

    • 取引コスト・ドローダウン・流動性・独立期間での再現性を確認する
    • p値が小さいため、約定可能性と最大損失の評価を省略する
    • 有意性を維持するため、同じ期間で閾値を繰り返し調整する
    • 勝率が高ければ、期待利益と損失幅を調べずに採用する

    統計的な証拠は経済的な実行可能性を保証しない。費用、リスク、流動性、将来期間への一般化を別途確認する。

评论

还没有评论,来说第一句吧。