FX Autonomous Research
Tick Data Engineering
Tick Data Engineeringは、ティックデータを単に読み込む作業ではなく、時間・価格・銘柄・配信元の意味を保ったまま、再現可能な研究データへ変換する工程である。FXでは1件の誤った時刻、Bid/Askの取り違え、欠損の補間、重複行の処理が、短期シグナルや約定シミュレーションを変えてしまう。データ品質は前処理の細部ではなく、研究結果の妥当性を決める要件である。12
ティックの意味と時間基準
MT5 Python APIのcopy_ticks_rangeは指定期間のティックを取得し、time、bid、ask、last、flagsなどの列を返す。COPY_TICKS_INFOはBid/Ask更新、COPY_TICKS_TRADEはLast/Volume更新、COPY_TICKS_ALLは全種別を対象にする。APIの説明ではMT5の時刻はUTCで扱われ、Python側のdatetimeもUTCで作成する必要があると明記されている。ローカル時刻を誤って渡すと、日付境界やセッション集計がずれる。1
ティックは必ずしも毎回BidとAskの両方が更新されたことを意味しない。flagsを解釈せず、空欄のBid/Askを無条件に前値で埋めると、実際には変化していない気配を更新があったかのように扱う危険がある。取得時にはシンボル名、サーバー、口座環境、取得期間、APIバージョン、フラグ、件数、最終時刻を記録する。
品質検査の層
高頻度金融データの品質問題として、非定常性、低いS/N比、非同期観測、クラス不均衡、日中季節性が整理されている。前処理とモデル側の調整を混同せず、異常な値を除く理由と除外量を保存する必要がある。2
実務上の検査は、少なくとも次の層に分ける。
- 構造検査:型、必須列、NULL、重複、並び順、同一タイムスタンプの複数更新。
- 価格整合性:bidがaskを上回る異常、ゼロ・負価格、桁飛び、銘柄のpoint/digitsとの不整合。
- 時間整合性:UTC統一、逆行時刻、異常な空白、週末・祝日、サーバー時刻変更、セッション境界。
- 分布検査:スプレッド、リターン、ティック間隔、ボラティリティの極端値と急変。
- 来歴検査:ブローカー、銘柄接尾辞、取得API、データ期間、除外ルール、コード版の記録。
「外れ値らしい」という理由だけで価格スパイクを削除してはならない。中央銀行発表やフラッシュイベントの真の価格変動を消す可能性がある。削除・winsorize・補間・隔離を別の処理として扱い、原本を不変で保存し、加工済み系列との対応を残す。
USDJPYの具体例
UTCで取得したUSDJPYのティックを日本時間に表示するときは、保存時刻をUTCのまま保持し、表示・セッション分類の段階でAsia/Tokyoへ変換する。取得時点でJSTへ変換したうえに再度オフセットを加えると、東京時間の集計が9時間ずれる。時刻変換は一度だけ行い、raw timestampとtimezone-aware timestampを分けて管理する。1
例えば、東京時間09:00直後にAskだけが更新されBidが据え置かれたティックでは、Askのみが変化した事実をflagsから読む。欠損側を前値で保持する処理は、価格状態の再構成として明示する。これを「Bid/Ask双方が同時に更新された」と解釈してはならない。
データ品質と検証の関係
研究用データセットには、Raw、Validated、Feature、Label、Splitの層を分けて保存するとよい。Rawは取得したままの原本、Validatedは検査結果と処理履歴を持つ系列、Featureは時点tで利用可能な情報から計算した入力、Labelは未来区間の結果、Splitは学習・検証・テストの時系列割当てである。ラベルを作る段階で未来を参照すること自体は目的上必要だが、特徴量へ未来情報が混入しないよう、時点と役割を分ける。
限界と運用ルール
MT5から取得できるティックの粒度・履歴の長さ・約定情報は、ブローカーと端末が提供する範囲に依存する。全FX市場の全約定・全注文が利用できるわけではない。APIの仕様はデータの形式と取得方法を説明するが、取得値が市場全体を代表することまでは保証しない。1
本研究基盤では、加工前データを上書きしない。除外したティックの理由をログに残し、異常値フィルターを変えた場合は新しいデータ版として扱う。データ修正でバックテストが変わった場合、戦略の改良ではなくデータ版の変更として差分を記録する。
References
Quizzes
MT5のcopy_ticks_rangeで取得した時刻を扱う際、仕様に沿った基準はどれか?
- PCのローカル時刻を基準にし、取得後にUTCを推定する
- UTCを基準にdatetimeを作成し、表示時だけ現地時刻へ変換する
- ブローカーごとに時刻の基準を推測して都度補正する
- 日本時間へ変換した時刻をUTCとして保存し直す
MT5のティック時刻はUTCで扱う。内部保存はUTCに統一し、分析や表示で必要なタイムゾーンへ変換する。
COPY_TICKS_INFOの取得結果を正しく解釈する方法はどれか?
- 必ずBidとAskが同時に更新されたと解釈する
- Bid/Askの更新フラグを確認し、更新された側を識別する
- LastとVolumeが更新されたティックだけを残す
- 全ティックを約定イベントとして価格インパクト計算に使う
INFOはBid/Askの変更を対象とするが、各ティックで両側が同時に変わるとは限らない。flagsで変更した側を識別する。
価格スパイクをデータクリーニングで見つけた場合、研究上の適切な扱いはどれか?
- 急変はすべて誤配信とみなし、元データから削除する
- 外れ値を一律に前値補間して滑らかな系列にする
- 原本を保存し、根拠を検査して処理履歴と除外量を残す
- バックテスト結果が改善する処理を選び、他の処理を捨てる
ニュースやフラッシュイベントの真の価格変動を誤って消す可能性がある。原本を不変に保ち、異常判定と加工処理を監査可能にする。
Raw・Validated・Feature・Label・Splitを分ける主な理由は何か?
- 前処理を重複実行し、最も利益が高い系列を選べるようにするため
- 未来を使うラベル生成と、時点で利用可能な特徴量を区別するため
- 同一の市場価格を別々の通貨ペアのデータとして扱うため
- 全期間を先に正規化して学習とテストを同じ分布にするため
ラベルは未来区間の結果を定義するが、予測時の特徴量はその時点までの情報だけで作る。この役割の分離がリーク防止と再現性に不可欠である。
Comments
No comments yet. Start the conversation.