Inhalt Experiment Pipeline

FX Autonomous Research

Experiment Pipeline

Experiment Pipelineは、仮説から実験仕様を作り、Optunaで候補を探索し、学習・バックテスト・検証を実行し、MLflowと成果物ストアへ結果を保存する基盤である。高速化だけでなく、全試行の条件と失敗を残し、候補選択の履歴を監査できることが中心要件となる。

実験IDと再現性

各実験はexperiment_idとrun_idを持ち、hypothesis_id、symbol、timeframe、data_manifest_hash、code_commit、feature_version、label_version、validation_plan_id、cost_model_version、seed、environment_lockを記録する。PF・Sharpeの定義、対象期間、年率化方法、取引件数、コスト控除の方法も固定する。仕様変更は既存runを上書きせず、派生runとして保存する。

Optunaの役割

Optunaはsamplerでハイパーパラメータ候補を提案し、objective値を使って探索を進める。TPE、Random、CMA-ESなどを選べる。trial.reportで中間指標を報告し、trial.should_pruneで有望でないtrialを早期終了できる。Pruningは計算節約になるが、FXの単一foldや特定レジームの途中成績だけで候補を切らないよう評価段階を設計する。1

Studyは永続storageへ保存する。単一プロセスの初期開発ではSQLiteのRDBStorageを使える。複数プロセス・複数PCでは共有RDBなどを使う構成を選び、ファイルロックや同時アクセスの制約を確認する。大規模な多ノード探索が必要になるまでGrpcStorageProxy等は導入しない。2

MLflowの役割

MLflow TrackingはExperimentにRunをまとめ、Runごとのparams、metrics、code versions、artifactsを記録する。モデル重み、予測Parquet、約定イベント、Equity Curve、WFA fold別結果、特徴量重要度、校正図、設定ファイル、ログをartifactとして保存する。dataset情報もrunと紐付けられる。3

初期の個人PCではローカルtrackingとartifact保存で開始できる。Optunaは探索trialと探索状態、MLflowは実験の文脈・指標・モデル・成果物を担い、共通experiment_idで結び付ける。

Objectiveと最終ホールドアウト

Objectiveは探索用の内側時系列foldだけで評価する。最終ホールドアウトの結果をOptunaへ返すと、その値が次候補選択に使われ、独立テストではなくなる。多目的探索では純利益・MDD・取引数・fold安定性のPareto関係も見る。PFが高くても取引数が極端に少ない候補や利益が一期間に集中する候補を単一スコアで選ばない。

具体例:USDJPY M15

特徴量、閾値、TP/SL、cooldownをOptunaで探索し、各trialのWFA内側foldを評価する。すべてのfoldの予測・売買・コスト・指標をMLflowへ保存する。最終holdoutはstudy終了後に一度だけ評価し、その結果を探索objectiveに戻さない。

過学習への対策

全trial・pruned trial・failed trialを記録し、PBO/CSCVやDSRの評価へ渡す。GPU非決定性、データ改定、ライブラリ更新、前処理差も再現性を損なうため、data hash、environment lock、seed、commitを残す。探索件数を増やす前にデータ品質とコストモデルを確認する。

Quellen

Quizze
  1. USDJPYの最終holdout SharpeをOptunaのobjectiveへ返すと何が起こるか?

    • holdout結果が探索に使われ、独立した最終評価ではなくなる
    • OptunaがSharpeを目的関数として扱えなくなる
    • データ分割が自動的にランダム分割へ変わる
    • MLflowがrunのパラメータを保存できなくなる

    Optunaへ返す値は次の候補の提案に使われるため、その期間は選択プロセスに含まれる。

  2. Optunaのtrial.reportとtrial.should_pruneはどの処理を行うか?

    • 中間評価を報告し、基準に満たないtrialを早期終了する
    • 実口座の注文を送信して約定を確定する
    • データhashを計算しRawファイルを不変化する
    • モデルをMLflow Registryへ自動承認する

    reportが中間値を登録し、should_pruneがprunerに基づく終了判定を返す。

  3. OptunaとMLflowの役割分担として最も適切なのはどれか?

    • Optunaは探索trial、MLflowはrun条件・指標・モデル・成果物を管理する
    • Optunaは本番注文、MLflowは口座残高を管理する
    • MLflowは候補パラメータを探索し、Optunaは画像だけを保存する
    • 両者は同じ役割なので一方だけで全機能が完結する

    Optuna StudyとMLflow Trackingは異なる役割を持ち、experiment_idで連携できる。

Kommentare

Noch keine Kommentare. Fang das Gespräch an.