Contents FX Data Contracts

FX Autonomous Research

FX Data Contracts

FX Data Contractsは、MT5から取得した情報を研究・バックテスト・学習が同じ意味で解釈できるようにするデータ契約である。価格だけでなく時刻、Bid/Ask、ブローカー、銘柄仕様、取得元、品質状態も記録する。契約を固定しなければ、モデルの成績差が戦略ではなくデータ変換の違いから生じ得る。

RawとCanonicalを分離する

Raw層はMT5端末から得た値を加工せず追記専用で保存する。削除・丸め・補完を行わず、取得時の値を残す。Canonical層はRawから決定的な変換で生成する研究用データであり、schema_version、変換コード版、入力hashを保持する。変換ロジックが変わってもRawから再生成できるようにする。

TickとBarの基本契約

Tickにはbroker_id、symbol、time_msc、取得順序、bid、ask、last、volume、flags、captured_at_utc、source_file、row_hashを持たせる。MT5 copy_ticks_rangeはCOPY_TICKS_INFO、COPY_TICKS_TRADE、COPY_TICKS_ALLで取得対象を変える。LastやVolumeはブローカー提供フィールドであり、世界市場全体の統合約定量とはみなさない。1

Barにはsymbol、timeframe、bar_open_utc、OHLC、tick_volume、real_volume、spread、source_typeを保存する。broker_nativeかtick_reconstructedかを区別し、Bid/Ask両側の約定価格を完全に表すデータのように扱わない。

同じmillisecond timestampの複数ティックを時刻だけで重複排除しない。異なるflagsや価格更新を保持し、完全一致した重複だけ別途検査する。

時刻と銘柄仕様

内部の主時刻はUTCに統一し、JST・ブローカー時刻は表示やセッション判定用の派生列にする。MT5のPython APIではUTC基準でdatetimeを扱うようにし、履歴取得時もUTC aware datetimeを渡す。経済指標では対象期間、初回公表時刻、改定時刻を区別し、未来に確定した値を過去へ混入させない。1

symbol_infoからdigits、point、trade_tick_size、trade_tick_value、volume_min、volume_max、volume_step、trade_stops_level、contract_sizeなどを取得し、時刻付きsnapshotとして保存する。仕様はブローカーや時点で変わり得る。損益換算は必要に応じてorder_calc_profit、証拠金はorder_calc_marginで口座通貨評価する。2

品質ゲート

時刻逆行、欠損、重複、OHLC整合性、bid/ask逆転、異常spread、データ期間の穴、週末、DST、取得失敗を機械的に検査する。異常値を無条件に削除しない。スプレッド急拡大やギャップは市場の状態を表す可能性があるため、取得障害と市場イベントを区別して隔離・記録する。

保存形式

大容量ティック・バーはParquetでsymbol・date・timeframe別に分割し、manifestに取得範囲、row count、SHA-256、MT5端末、symbol specs、schema versionを保存する。Rawファイルは上書きせず、新規取得は別ファイルとして追記する。

References

Quizzes
  1. Raw層とCanonical層を分ける最大の理由はどれか?

    • 原取得値を保全し、変換ロジックを変えても同じ入力から再生成するため
    • Raw取得時に異常値を削除し、加工済みデータだけを残すため
    • Canonical層から元データを復元できないようにするため
    • 異なるブローカーの価格を同一市場の統合価格として扱うため

    Rawを不変に保つことで、Canonical生成規則の変更や品質問題の発見後に再処理できる。

  2. 同じtime_mscを持つMT5ティックが複数存在するときの適切な扱いはどれか?

    • 取得順序・flags・価格フィールドを比較し、完全重複か別イベントかを判断する
    • timestampが同じなので全レコードを必ず一つへ集約する
    • 最後のレコードだけを残して更新順序を破棄する
    • 時刻を人工的にずらし元時刻を保存しない

    同一millisecondに異なる更新が起こり得るため、時刻だけでは重複か判別できない。

  3. XAUUSDのvolume_stepやtick_valueを過去期間の損益に使う場合に必要な対策はどれか?

    • 時刻付きの銘柄仕様snapshotを保存し、対象期間の条件を再現する
    • 現在の仕様を全過去期間へ一律適用する
    • USDJPYの仕様をXAUUSDにも流用する
    • モデル予測値から契約仕様を推定する

    契約仕様はブローカー・時点で変わり得るため、対象期間の条件を保存する必要がある。

Comments

No comments yet. Start the conversation.