目录 Reinforcement Learning

FX Autonomous Research

Reinforcement Learning

強化学習(RL)は、エージェントが市場状態を観測し、ポジションや注文行動を選び、損益やリスクに基づく報酬を受けながら逐次的な意思決定方策を学ぶ枠組みである。FXでは、価格方向を予測するだけでなく、ポジションの保有・縮小・反転・見送りを含む制御問題として扱える。しかし、報酬設計やバックテスト環境が不適切だと、現実には実行できない取引や過剰回転を学習する。

MDPとPOMDPとしての定式化

状態 sts_t は、過去リターン、ボラティリティ、スプレッド、セッション、保有ポジション、証拠金状態などから構成する。行動 ata_t は、目標ポジション、増減幅、または注文パラメータとする。報酬 rtr_t はネット損益にリスクペナルティや在庫・取引コストを加える。市場の真の状態や他参加者の注文情報は観測できないため、FXの実世界は完全観測MDPより部分観測MDPに近い。観測履歴や潜在状態の推定を用いる必要がある。

報酬設計とポジション制御

単純な価格変化だけを報酬にすると、売買コストを無視した高頻度回転や過大ポジションにつながる。ネット損益、スプレッド、手数料、スリッページ、スワップ、リスク尺度、ドローダウン、ポジション制約を明示する。報酬をリスク調整する場合も、単一のSharpe比を短いエピソードごとに最大化するなど、学習を不安定にする定義に注意する。アクション空間は口座の最小ロット、最大ロット、証拠金、許容ポジションを満たすよう制約する。

FXでの実証と現実的な基準

Borrageiroらの2022年の研究は、主要スポット通貨ペアを対象に、Gaussian Mixture Model由来の表現を再帰型RLエージェントへ転移し、取引コストと資金調達コストを考慮した。7年間のテストで年率化Information Ratio 0.52、複利リターン9.3%を報告した。これは研究内のデータ・制約・実験条件での結果であり、同じ成績が別ブローカーや将来市場で再現される保証ではない。1

適用例:USD/JPYの目標ポジション制御

エージェントがUSD/JPYのM15リターン、実現ボラティリティ、Bid/Askスプレッド、H1トレンド、現在のロットと口座余力を観測し、目標ポジションを-0.5から+0.5ロットの範囲で選ぶ。既存ポジションが+0.4ロットのとき、目標+0.5ロットなら0.1ロットの追加注文となる。スプレッドが上限を超える場合は目標をゼロへ近づけるか、新規注文を禁止する。実際の約定価格と手数料で報酬を計算しなければ、シミュレーター内だけで利益を上げる方策ができる。

学習評価と安全境界

学習環境とテスト環境を時間で分離し、複数シード、異なる相場レジーム、コスト感応度を検証する。報酬関数、状態、行動、約定モデルの変更を実験ログへ残す。オフポリシー評価やリプレイデータの扱いは、実市場で方策を試すことと同じではない。ライブ運用へ昇格させる前に、ペーパートレード、最小ロット、独立したリスク管理、日次損失上限、最大ドローダウン停止、連続損失停止、通信異常時のキルスイッチを外部制御として設ける。RLエージェント自身に安全制限を解除する権限を与えない。

参考文献

测验
  1. FXの強化学習環境で報酬をネット損益へ結び付ける際、含めるべき費用の組み合わせはどれか?

    • スプレッド・手数料・スリッページ・スワップなどの実取引費用
    • 予測誤差・GPU使用時間・モデルパラメータ数・学習エポック
    • テスト期間の最大利益・最小スプレッド・最良約定のみ
    • 売買方向の正解数だけで、資金調達費用や約定費用は除外する

    コストを除外した報酬は過剰回転や実行不可能な注文を促す可能性がある。経済的に実現可能な取引損益を報酬へ反映させる。

  2. FX市場が部分観測に近いと考えられる理由はどれか?

    • 市場の全注文・参加者状態を観測できず、価格やスプレッドなどの不完全な情報で判断するから
    • OHLCデータが存在すれば市場の全状態を完全に復元できるから
    • ポジションを持つと次の価格変化が確定し、状態遷移が決定論になるから
    • 全通貨ペアの価格が同じ情報集合で同時に更新されるから

    OTC FXでは市場が分散し、単一の観測画面で全取引や注文を把握できない。観測は潜在的な市場状態の一部にとどまる。

  3. USD/JPY口座で現在+0.4ロット、RLの目標ポジションが+0.5ロットの場合、目標制御として必要な調整量はどれか?

    • +0.1ロットを追加し、上限や証拠金制約も確認する
    • +0.5ロットを新規追加し、現在ポジションを別途無視する
    • -0.4ロットを売却してから+0.5ロットを必ず建て直す
    • 現在の0.4ロットを維持し、目標ポジションとの差分を無視する

    目標ポジション制御では注文量は目標と現在ポジションの差分である。0.5−0.4=0.1ロットとなる。

评论

还没有评论,来说第一句吧。