「年率リターン最大化」の罠 — N件数バイアスの正体

by

TL;DR

  • 高リターン variant ほど trade 件数 N が小さい傾向がある
  • 「タイト条件で叩き上げ」られた variant は IS の偶然 subsample に当たっただけの可能性大
  • 単純な「IS 最良 1 点」を選ばず、上位 N variant の median を OOS 評価する手法が retail にも有効
  • Selection criteria は Sharpe / Calmar / Loss-rate 最小化など多面的に

Hook

「最も派手な backtest は最も再現しない」

retail backtest プラットフォームで grid search すると、必ず「年率 50%、Sharpe 3.0」のような派手な variant が出る。それを採用したくなる。だがその variant の trade 件数 N を見ると、しばしば 数十-100 程度。N が小さいのは、フィルタ条件をタイトに絞り込んだ証拠。

Background

backtest における選択バイアスの問題は、Lopez de Prado (2018) AFML Ch. 8 が体系的に整理している。Bailey, Borwein, Lopez de Prado, Zhu (2014) “Pseudo-Mathematics and Financial Charlatanism” も同様の警告。

構造的問題: タイト条件 = 小 N

retail が「edge が出るパラメータ」を探す時、フィルタ条件をどんどん厳しくして「最も勝率高い variant」を選ぶ。結果として:

  • フィルタ条件タイト → trade 件数 N 小
  • N 小 → 統計検定力 低 → 偶然有利な subsample に当たる確率上昇
  • 「IS で年率 50%」は実は「特殊な 50 trade で偶然+50%」かも

これを N 件数バイアス、または selection bias と呼ぶ。

Theory — 多面的 selection criteria

単純な criteria の限界

「IS で年率最大」を選ぶ → 上記の罠 「IS で Sharpe 最大」を選ぶ → 分母が小さい variant が選ばれやすい (低 vol = 低 trade frequency) 「IS で Calmar 最大」を選ぶ → MaxDD 偶然小さい variant が選ばれる 「IS で勝率最大」を選ぶ → 勝率高くても 1 trade あたりの平均が小さい場合あり

どれか 1 つの criteria を最大化すると、それに対応する偶然有利の罠に落ちる。

Robust 範囲評価

Lopez de Prado 推奨のアプローチ:

  1. パラメータ空間を grid search (例: 5 × 5 = 25 variant)
  2. 各 variant の OOS Sharpe を記録
  3. 隣接 variant も含めて全体的に強い region を探す
  4. 「ピーク 1 点」ではなく「高原 region の中央値」を採用

これは「パラメータ感度が低い = robust」を意味する。1 点だけ強い variant は cherry-pick の可能性大、近傍も強い variant は本物の edge の可能性大。

Ensemble Approach

複数 variant のリターンを平均する。

Ensemble = (1/k) × Σᵢ Strategyᵢ_returns

各 variant のノイズが部分的に打ち消され、systematic な edge だけが残る。retail でも ETF basket 化や Wheel パラメータの multi-leg で実装可能。

N件数で penalty

Sharpe ratio を「Deflated Sharpe」(Bailey & Lopez de Prado 2014) で計算する。多重検定数と N で penalty を入れた Sharpe。retail で実装するには論文の formula を参照。

Concrete example

教科書的な思考実験。grid search で 100 variant、各 variant の N と year-return:

  • variant A: N=2,000, year-return +5%
  • variant B: N=500, year-return +12%
  • variant C: N=80, year-return +35%
  • variant D: N=15, year-return +180% (extreme cherry-pick)

直感的に C や D が魅力的だが、Bootstrap CI を取ると C の CI 下限が 0 を割る。D は CI が [-50%, +400%] のように広い。

robust な選択は A: N が大きく安定、CI 下限が正、年率は控えめ。retail はこの「地味な選択」をできるかが鍵。

Limitation / Counter-argument

1. 真に小サンプル戦略が機能する場合もある

例: 年に数回しか出ない rare signal で year-return 30%。N=数 でも本物のときがある。完全に小 N を排除するのは過剰。代替手段は外部の academic literature に同種の現象が報告されているか。

2. Walk-forward での再評価

IS で「上位 region 中央値」を選ぶアプローチも、walk-forward で時系列 robust か確認する必要がある。1 度の IS-OOS 評価だけでは不十分。

3. パラメータ次元の呪い

3-4 次元の grid search なら robust region が見えるが、10 次元になると「全空間の中央値」は何でもない領域を示す。次元削減 (feature 重要度分析、PCA) を併用する。

4. retail で deflated Sharpe の実装は手間

理論は明快だが、retail プラットフォームの大半は default で deflated Sharpe を出さない。自前で計算する必要がある。

Practical takeaway

retail の戦略選択 protocol:

  1. 「IS 最大」を選ばない: 上位 variant の中央値を採用
  2. N を必ず確認: N<100 の variant は基本疑う、N<30 は使わない
  3. CI 下限が正の variant のみ: Bootstrap CI でゼロを跨ぐものは除外
  4. 複数 criteria で検証: Sharpe・Calmar・Loss-rate を並列で見る、矛盾がない variant を採用
  5. OOS で再現するか確認: walk-forward で複数 test 区間の中央値を見る

ただし「IS 最強の variant を諦めて中央値を採る」アプローチも、未来の regime change には脆弱。OOS 検証が future performance を保証しない。

まとめ

「最派手 backtest」を信じない規律が retail quant の生命線。年率 30% に飛びつく前に、N 件数・CI 幅・近傍 variant の挙動を確認する。地味な variant が long-run で勝つ理由は、robust だから。

「最強の variant を 1 つ選ぶ」のは ML の overfit と同じ罠。「強い region の中央値」を選ぶ習慣に置き換える。retail でもできる、そして派手な数字に飛びつく心理に勝つ規律。

参考文献

  • Lopez de Prado, M. (2018). Advances in Financial Machine Learning. Wiley. Ch. 8.
  • Bailey, D.H., Borwein, J., Lopez de Prado, M., Zhu, Q.J. (2014). Pseudo-Mathematics and Financial Charlatanism. Notices of the AMS, 61(5), 458-471.
  • Bailey, D.H., Lopez de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management, 40(5), 94-107.
  • Aronson, D. (2006). Evidence-Based Technical Analysis. Wiley.
  • Pardo, R. (2008). The Evaluation and Optimization of Trading Strategies. Wiley.

コメントする