Inhalt Experiment Tracking

FX Autonomous Research

Experiment Tracking

Experiment Trackingは、各研究試行の入力条件、コード、データ、設定、乱数、評価結果、モデル成果物を一つの記録へ結び付ける仕組みである。FXの研究では特徴量やTP/SL、窓幅、モデル、コスト前提を大量に変更するため、最良結果だけを残す運用では再現性も多重検定の評価もできなくなる。実験追跡はモデルの精度を上げる手法ではなく、どの条件で何が起きたかを後から監査できる基盤である。

実験レコードに保存するもの

最低限、experiment_id、親実験ID、Git commit、データセットIDとチェックサム、ブローカー・銘柄・タイムゾーン、対象期間、ティックまたはバー仕様、特徴量定義、ラベル定義、分割方法、前処理、モデル・ハイパーパラメータ、乱数seed、実行環境、GPU・ライブラリ版、コスト・約定モデルを保存する。成果物としてモデル重み、予測、取引イベント、エクイティ曲線、fold別指標、PBO/DSR、ストレス結果、ログを紐付ける。

再現性のためのデータ・コード管理

Gitはコードや設定の変更履歴を保持し、DVCのようなデータバージョン管理は大きなデータ・モデル・パイプライン成果物をコードと結び付ける。DVCの設計は、データ・モデル版、パイプライン、実験パラメータをメタファイルで記録し、Gitベースのワークフローへ組み込むことを重視する。1 同じ実験を再現するには、データファイルだけでなく、データ取得元、タイムゾーン、欠損処理、前処理コード、ライブラリ版まで固定する必要がある。

適用例:XAUUSD M5候補の比較

同じXAUUSD M5データでLightGBMの特徴量セットを変えた3候補を考える。各runにはデータfingerprint、Git commit、ラベルバージョン、Purged CV fold ID、コスト仮定、seed、パラメータ、指標を保存する。結果が変わった場合、モデル変更なのか、元データの更新なのか、スプレッドモデルの変更なのか追跡できる。試行を親子関係で残せば、ある研究仮説からどの候補が派生したかも分かる。

比較・選択・モデル昇格

評価ダッシュボードでは平均値だけでなくfold別成績、サブ期間、レジーム別、コスト感応度、取引件数、MDD、Sharpe、PF、勝率、PBO、DSR、校正指標を横並びにする。不採用候補も削除せず、失敗理由を記録する。実験台帳に全候補があれば、候補数に応じた選択バイアス評価ができる。モデル昇格時は、検証済みrunをモデルレジストリへ登録し、コード・データ・設定とともに本番バージョンへ紐付ける。

限界と運用注意

実験追跡ツールへ記録したこと自体が再現性を保証するわけではない。外部APIデータが後から改定される、ブローカーが履歴を補正する、GPU演算が非決定的、ライブラリが変わるなどの要因がある。重要なデータは不変コピーまたはチェックサムで固定し、取得時刻・取得コード・ライセンスを残す。秘密鍵、口座パスワード、個人情報は実験パラメータとして保存しない。

Quellen

Quizze
  1. FX研究のExperiment Trackingで、データファイルのチェックサムに加えて保存すべき情報はどれか?

    • 取得元・取得時刻・タイムゾーン・前処理・コード版・コスト設定
    • 最高Sharpeと勝率だけ
    • 最終的に採用したモデル名だけ
    • 実験者の記憶に依存するため、設定や分割情報は不要

    データ同一性だけでは入力を再現できない。取得条件、前処理、ラベル、分割、コストモデルも結果に影響する。

  2. 不採用のFXモデル実験も記録・保持する理由として最も重要なものはどれか?

    • 探索全体の試行数と選択履歴を把握し、再現性や多重検定評価に使うため
    • 不採用候補を保存すると、採用モデルの予測精度が自動的に高くなるため
    • 失敗実験が残っていれば、最終ホールドアウトを省略できるため
    • 候補の結果をすべて保存すれば、過学習が発生しなくなるため

    選ばれた候補だけでは探索の規模を再構成できない。試行数と不採用候補を保存することで選択バイアスを評価できる。

  3. 同じGit commit・モデル設定なのに再実行結果が異なる場合、最初に確認すべき範囲はどれか?

    • データ版・外部フィード・前処理・乱数・ライブラリ・演算環境まで確認する
    • モデル名が同じなので、再現性は保たれていると判断する
    • 最良結果だけを採用して差分ログを破棄する
    • テストデータの期間を変更して指標が一致するまで試す

    コードと設定が同じでもデータ、依存ライブラリ、乱数、非決定的演算などが異なると結果は変わり得る。

Kommentare

Noch keine Kommentare. Fang das Gespräch an.