foxalgo.io

2017 にモデルを触るのをやめた。その後に何が起きたかを見た。

13,278 回の市場セッション後、2018 から 103 か月。2017 までのデータで学習し、それ以降の全セッションで採点した。 確認は2つ。盲信できる1つの数字ではない。1つ目は、学習時に見ていない数年分の out-of-sample データ上でのモデルの信頼性。2つ目は、このサイトの毎日の予測を事後採点した、追記だけのライブ記録。

Measured odds. No trade calls. what this means →

X% と言ったとき、実際にそれはどれくらい起きるか

各グリッド確率を、予測値でバケット化し（10 ポイント刻みの percentage bins）、out-of-sample データの実現率と比較する。対象は 2018–2026。学習は一切触れていないデータだ（学習期間: 2010–2017）。モデルが正直なら、各バケットで実現バーは予測バーの真上に来る。

FOXALGO / SCORECARD INSTRUMENT 01
n = 164,920,140MAE 0.84 pp

キャリブレーション / 予測値 vs 実現値

00252550507575100100perfect calibrationpredicted %realized %
View as table
区分予測実現エラーn
0-10%3.4%3.5%+0.0 pp56,042,860
10-20%15.1%15.0%-0.1 pp20,652,607
20-30%24.8%24.8%+0.0 pp16,450,897
30-40%34.3%34.3%-0.0 pp11,760,851
40-50%45.2%45.1%-0.1 pp12,768,405
50-60%53.8%53.7%-0.1 pp7,300,159
60-70%65.9%65.8%-0.1 pp9,908,539
70-80%74.0%73.6%-0.3 pp12,967,003
80-90%86.1%86.2%+0.1 pp16,535,975
90-100%90.3%89.9%-0.4 pp532,844
FOXALGO / SCORECARD INSTRUMENT 02
n = 776,797,176MAE 0.49 pp

キャリブレーション / 予測値 vs 実現値

00252550507575100100perfect calibrationpredicted %realized %
View as table
区分予測実現エラーn
0-10%2.4%2.4%+0.0 pp410,478,455
10-20%14.7%15.2%+0.4 pp85,032,162
20-30%24.5%25.3%+0.8 pp46,212,284
30-40%35.0%35.6%+0.7 pp48,007,249
40-50%45.2%46.3%+1.1 pp27,125,949
50-60%55.3%56.2%+0.9 pp38,443,925
60-70%64.0%64.9%+0.9 pp42,457,281
70-80%75.8%76.4%+0.6 pp36,150,469
80-90%83.5%83.9%+0.4 pp42,889,402
FOXALGO / SCORECARD INSTRUMENT 03
n = 30,337,932MAE 0.87 pp

キャリブレーション / 予測値 vs 実現値

00252550507575100100perfect calibrationpredicted %realized %
View as table
区分予測実現エラーn
0-10%2.0%2.2%+0.2 pp17,506,475
10-20%14.5%14.8%+0.3 pp2,700,971
20-30%24.6%24.4%-0.2 pp1,816,738
30-40%35.1%34.8%-0.3 pp1,532,115
40-50%45.1%44.4%-0.7 pp1,303,424
50-60%55.0%54.5%-0.5 pp1,463,549
60-70%65.0%64.6%-0.3 pp1,434,872
70-80%75.3%74.9%-0.4 pp1,677,635
80-90%82.7%82.3%-0.4 pp902,153
FOXALGO / SCORECARD INSTRUMENT 04
n = 707,782,112MAE 1.39 pp

キャリブレーション / 予測値 vs 実現値

00252550507575100100perfect calibrationpredicted %realized %
View as table
区分予測実現エラーn
0-10%4.4%4.3%-0.1 pp291,267,133
10-20%14.4%14.6%+0.2 pp108,807,065
20-30%24.9%25.2%+0.3 pp61,440,182
30-40%34.4%34.3%-0.1 pp44,213,862
40-50%45.3%45.2%-0.1 pp38,819,526
50-60%55.1%55.2%+0.1 pp52,047,910
60-70%64.9%64.3%-0.6 pp32,951,655
70-80%75.7%75.8%+0.0 pp52,722,079
80-90%82.0%82.1%+0.1 pp25,512,700

下の生の予測/実現バーと同じバケットを、バーごとに読む代わりに完全キャリブレーションの対角線に対して描く。暗号資産は 00:00 UTC に固定し（09:30 ET ではない）、平日と週末を分ける。24/7 で取引し、基準にする取引所のベルがないため。

先物 (index, energy, metals)

MAE: 0.84 pp · n = 164,920,140

予測実現 (out-of-sample)
0-10%
予測 3.4% · 実現 3.5% · n = 56,042,860
10-20%
予測 15.1% · 実現 15.0% · n = 20,652,607
20-30%
予測 24.8% · 実現 24.8% · n = 16,450,897
30-40%
予測 34.3% · 実現 34.3% · n = 11,760,851
40-50%
予測 45.2% · 実現 45.2% · n = 12,768,405
50-60%
予測 53.8% · 実現 53.7% · n = 7,300,159
60-70%
予測 65.9% · 実現 65.8% · n = 9,908,539
70-80%
予測 74.0% · 実現 73.6% · n = 12,967,003
80-90%
予測 86.1% · 実現 86.2% · n = 16,535,975
90-100%
予測 90.3% · 実現 89.9% · n = 532,844

主要FX (mid-price)

MAE: 0.49 pp · n = 776,797,176

予測実現 (out-of-sample)
0-10%
予測 2.4% · 実現 2.4% · n = 410,478,455
10-20%
予測 14.7% · 実現 15.2% · n = 85,032,162
20-30%
予測 24.5% · 実現 25.3% · n = 46,212,284
30-40%
予測 35.0% · 実現 35.6% · n = 48,007,249
40-50%
予測 45.2% · 実現 46.3% · n = 27,125,949
50-60%
予測 55.3% · 実現 56.2% · n = 38,443,925
60-70%
予測 64.0% · 実現 64.9% · n = 42,457,281
70-80%
予測 75.8% · 実現 76.4% · n = 36,150,469
80-90%
予測 83.5% · 実現 83.9% · n = 42,889,402
90-100%
このバケットに検証外観測なし

暗号資産 (BTC/ETH, alts)

MAE: 1.39 pp · n = 707,782,112

予測実現 (out-of-sample)
0-10%
予測 4.4% · 実現 4.3% · n = 291,267,133
10-20%
予測 14.4% · 実現 14.6% · n = 108,807,065
20-30%
予測 24.9% · 実現 25.2% · n = 61,440,182
30-40%
予測 34.4% · 実現 34.3% · n = 44,213,862
40-50%
予測 45.3% · 実現 45.2% · n = 38,819,526
50-60%
予測 55.2% · 実現 55.2% · n = 52,047,910
60-70%
予測 64.9% · 実現 64.3% · n = 32,951,655
70-80%
予測 75.7% · 実現 75.8% · n = 52,722,079
80-90%
予測 82.0% · 実現 82.1% · n = 25,512,700
90-100%
このバケットに検証外観測なし

バケットは正直に順位付けする。見栄えのいいものだけでなく、gap が最大のものも含める。重みは n保留 各グリッド点あたりの（検証外サンプル数）なので、サンプルが薄い隅が、十分サンプルのある中央と同じ重みにはならない。

FOXALGO / SCORECARD INSTRUMENT 05
2018-01 to 2026-07最悪月 15.8 pp

103 か月。リセットなし。

JFMAMJJASOND201820192020202120222023202420252026
|gap|:0–2pp2–4pp4–7pp7–12pp12pp+
View as table
月予測実現ギャップn
2026-0739.3%34.8%+4.5 pp132
2026-0639.3%40.9%+1.6 pp132
2026-0539.3%42.9%+3.5 pp126
2026-0439.3%35.7%+3.6 pp126
2026-0339.3%40.6%+1.3 pp138
2026-0239.3%38.3%+1.0 pp120
2026-0139.3%41.3%+2.0 pp126
2025-1239.3%29.4%+9.9 pp126
2025-1139.3%44.4%+5.1 pp126
2025-1039.3%35.6%+3.7 pp132
2025-0939.3%49.2%+9.9 pp132
2025-0839.3%39.7%+0.4 pp126
2025-0739.3%36.2%+3.1 pp138
2025-0639.3%50.8%+11.4 pp132
2025-0539.3%38.1%+1.2 pp126
2025-0439.3%29.4%+9.9 pp126
2025-0339.3%44.7%+5.4 pp132
2025-0239.3%38.3%+1.0 pp120
2025-0139.3%38.3%+1.0 pp128
2024-1239.3%31.8%+7.6 pp126
2024-1139.3%35.8%+3.5 pp120
2024-1039.3%41.3%+2.0 pp138
2024-0939.3%36.4%+2.9 pp132
2024-0839.3%36.5%+2.8 pp126
2024-0739.3%47.8%+8.5 pp138
2024-0639.3%44.4%+5.1 pp126
2024-0539.3%29.5%+9.8 pp132
2024-0439.3%40.9%+1.6 pp132
2024-0339.3%42.5%+3.2 pp120
2024-0239.3%39.7%+0.4 pp126
2024-0139.3%40.6%+1.3 pp138
2023-1239.3%44.7%+5.4 pp114
2023-1139.3%40.2%+0.8 pp132
2023-1039.3%40.6%+1.3 pp138
2023-0939.3%36.7%+2.6 pp120
2023-0839.3%44.2%+4.9 pp138
2023-0739.3%48.5%+9.2 pp132
2023-0639.3%49.2%+9.9 pp126
2023-0539.3%34.1%+5.3 pp138
2023-0439.3%35.0%+4.3 pp120
2023-0339.3%47.0%+7.7 pp132
2023-0239.3%34.2%+5.1 pp120
2023-0139.3%47.0%+7.7 pp132
2022-1239.3%35.8%+3.5 pp120
2022-1139.3%35.6%+3.7 pp132
2022-1039.3%42.4%+3.1 pp132
2022-0939.3%37.3%+2.0 pp126
2022-0839.3%47.8%+8.5 pp138
2022-0739.3%46.8%+7.5 pp126
2022-0639.3%39.4%+0.1 pp132
2022-0539.3%34.1%+5.3 pp138
2022-0439.3%39.5%+0.2 pp114
2022-0339.3%37.7%+1.6 pp138
2022-0239.3%40.8%+1.5 pp120
2022-0139.3%43.2%+3.9 pp132
2021-1239.3%42.1%+2.8 pp126
2021-1139.3%37.1%+2.2 pp132
2021-1039.3%41.3%+2.0 pp126
2021-0939.3%39.4%+0.1 pp132
2021-0839.3%39.1%+0.2 pp138
2021-0739.3%36.5%+2.8 pp126
2021-0639.3%34.8%+4.5 pp132
2021-0539.3%37.9%+1.4 pp132
2021-0439.3%33.3%+6.0 pp120
2021-0339.3%39.1%+0.2 pp138
2021-0239.3%42.5%+3.2 pp120
2021-0139.3%38.9%+0.4 pp126
2020-1239.3%44.4%+5.1 pp126
2020-1139.3%31.1%+8.2 pp132
2020-1039.3%39.7%+0.4 pp126
2020-0939.3%34.8%+4.5 pp132
2020-0839.3%39.4%+0.1 pp132
2020-0739.3%38.6%+0.7 pp132
2020-0639.3%37.1%+2.2 pp132
2020-0539.3%37.3%+2.0 pp126
2020-0439.3%33.3%+6.0 pp126
2020-0339.3%42.3%+3.0 pp137
2020-0239.3%48.7%+9.4 pp117
2020-0139.3%48.5%+9.2 pp132
2019-1239.3%46.0%+6.7 pp126
2019-1139.3%35.0%+4.3 pp120
2019-1039.3%42.0%+2.7 pp138
2019-0939.3%30.3%+9.0 pp132
2019-0839.3%31.8%+7.6 pp126
2019-0739.3%42.8%+3.4 pp138
2019-0639.3%38.9%+0.4 pp126
2019-0539.3%42.4%+3.1 pp132
2019-0439.3%29.4%+9.9 pp126
2019-0339.3%36.5%+2.8 pp126
2019-0239.3%40.8%+1.5 pp120
2019-0139.3%40.6%+1.3 pp138
2018-1239.3%27.6%+11.7 pp116
2018-1139.3%31.8%+7.6 pp126
2018-1039.3%40.6%+1.3 pp138
2018-0939.3%42.1%+2.8 pp126
2018-0839.3%44.7%+5.4 pp132
2018-0739.3%38.4%+0.9 pp138
2018-0639.3%44.2%+4.9 pp120
2018-0539.3%39.1%+0.2 pp138
2018-0439.3%29.5%+9.8 pp132
2018-0339.3%37.5%+1.8 pp120
2018-0239.3%35.0%+4.3 pp120
2018-0139.3%55.1%+15.8 pp138
実現 touch rate（当月）2017 以降固定の予測
2018-012026-07

当てはまりが悪い月も含む。2020年3月もここにある。各バーにカーソルを合わせると正確な数値が見られる。

2018 以降の月別

上の信頼性表と同じ確認を、まとめた束ではなく月ごとに並べたもの。09:30 ET、+0.5 ATR、対象は CL, ES, GC, NQ, RTY, YM。予測値はフィット期間中に固定した数値（2017 までのデータのみ）で、その後は一切変更していない。

全体ギャップ
0.13 pp
全 103 か月の |予測 − 実現| 平均
最悪月
15.77 pp
2018-01 — 当てはまりが悪い月も含む
Brier スコア
0.239
13,278 回の market-sessions で
20267 か月 · 平均差 2.49 pp · n = 900
月n予測実現Brier
2026-0713239.3%34.8%0.230
2026-0613239.3%40.9%0.241
2026-0512639.3%42.9%0.246
2026-0412639.3%35.7%0.231
2026-0313839.3%40.6%0.241
2026-0212039.3%38.3%0.236
2026-0112639.3%41.3%0.242
202512 か月 · 平均差 5.21 pp · n = 1,544
月n予測実現Brier
2025-1212639.3%29.4%0.217
2025-1112639.3%44.4%0.249
2025-1013239.3%35.6%0.231
2025-0913239.3%49.2%0.260
2025-0812639.3%39.7%0.240
2025-0713839.3%36.2%0.232
2025-0613239.3%50.8%0.263
2025-0512639.3%38.1%0.235
2025-0412639.3%29.4%0.218
2025-0313239.3%44.7%0.250
2025-0212039.3%38.3%0.236
2025-0112839.3%38.3%0.237
202412 か月 · 平均差 4.06 pp · n = 1,554
月n予測実現Brier
2024-1212639.3%31.8%0.223
2024-1112039.3%35.8%0.231
2024-1013839.3%41.3%0.243
2024-0913239.3%36.4%0.233
2024-0812639.3%36.5%0.233
2024-0713839.3%47.8%0.257
2024-0612639.3%44.4%0.248
2024-0513239.3%29.5%0.218
2024-0413239.3%40.9%0.243
2024-0312039.3%42.5%0.246
2024-0212639.3%39.7%0.239
2024-0113839.3%40.6%0.241
202312 か月 · 平均差 5.34 pp · n = 1,542
月n予測実現Brier
2023-1211439.3%44.7%0.249
2023-1113239.3%40.2%0.240
2023-1013839.3%40.6%0.242
2023-0912039.3%36.7%0.233
2023-0813839.3%44.2%0.249
2023-0713239.3%48.5%0.258
2023-0612639.3%49.2%0.259
2023-0513839.3%34.1%0.227
2023-0412039.3%35.0%0.229
2023-0313239.3%47.0%0.255
2023-0212039.3%34.2%0.227
2023-0113239.3%47.0%0.254
202212 か月 · 平均差 3.47 pp · n = 1,548
月n予測実現Brier
2022-1212039.3%35.8%0.231
2022-1113239.3%35.6%0.231
2022-1013239.3%42.4%0.244
2022-0912639.3%37.3%0.234
2022-0813839.3%47.8%0.257
2022-0712639.3%46.8%0.253
2022-0613239.3%39.4%0.238
2022-0513839.3%34.1%0.227
2022-0411439.3%39.5%0.238
2022-0313839.3%37.7%0.235
2022-0212039.3%40.8%0.244
2022-0113239.3%43.2%0.247
202112 か月 · 平均差 2.08 pp · n = 1,548
月n予測実現Brier
2021-1212639.3%42.1%0.244
2021-1113239.3%37.1%0.233
2021-1012639.3%41.3%0.243
2021-0913239.3%39.4%0.239
2021-0813839.3%39.1%0.238
2021-0712639.3%36.5%0.232
2021-0613239.3%34.8%0.229
2021-0513239.3%37.9%0.236
2021-0412039.3%33.3%0.226
2021-0313839.3%39.1%0.238
2021-0212039.3%42.5%0.245
2021-0112639.3%38.9%0.238
202012 か月 · 平均差 4.19 pp · n = 1,550
月n予測実現Brier
2020-1212639.3%44.4%0.250
2020-1113239.3%31.1%0.221
2020-1012639.3%39.7%0.239
2020-0913239.3%34.8%0.229
2020-0813239.3%39.4%0.238
2020-0713239.3%38.6%0.237
2020-0613239.3%37.1%0.234
2020-0512639.3%37.3%0.234
2020-0412639.3%33.3%0.226
2020-0313739.3%42.3%0.244
2020-0211739.3%48.7%0.258
2020-0113239.3%48.5%0.257
201912 か月 · 平均差 4.38 pp · n = 1,548
月n予測実現Brier
2019-1212639.3%46.0%0.253
2019-1112039.3%35.0%0.229
2019-1013839.3%42.0%0.244
2019-0913239.3%30.3%0.220
2019-0812639.3%31.8%0.223
2019-0713839.3%42.8%0.245
2019-0612639.3%38.9%0.238
2019-0513239.3%42.4%0.245
2019-0412639.3%29.4%0.218
2019-0312639.3%36.5%0.232
2019-0212039.3%40.8%0.242
2019-0113839.3%40.6%0.242
201812 か月 · 平均差 5.49 pp · n = 1,544
月n予測実現Brier
2018-1211639.3%27.6%0.213
2018-1112639.3%31.8%0.222
2018-1013839.3%40.6%0.241
2018-0912639.3%42.1%0.244
2018-0813239.3%44.7%0.249
2018-0713839.3%38.4%0.237
2018-0612039.3%44.2%0.249
2018-0513839.3%39.1%0.239
2018-0413239.3%29.5%0.219
2018-0312039.3%37.5%0.235
2018-0212039.3%35.0%0.229
2018-0113839.3%55.1%0.272

ライブ記録

公開初日から蓄積する。毎朝のマップは、セッション開始前 (09:30 ET) にタイムスタンプ付きで固定し、引け後 (16:00 ET) に採点する。恣意的な切り取りはできない。固定した列は編集しない。後から埋めるのは outcome だけ。

See the day-by-day breakdown →

724 凍結 · 700 解決済み · 24 ライブ

FOXALGO / LIVE RECORD
追記のみ寄り前凍結ウィンドウ内 60

ライブ予測記録

  • 09:30 ETApple-0.50 ATR (307.32)39.7%ライブ
  • 09:30 ETApple+0.50 ATR (313.36)41.8%ライブ
  • 09:30 ETWTI Crude-0.50 ATR (81.15)41.3%ライブ
  • 09:30 ETWTI Crude+0.50 ATR (83.05)39.5%ライブ
  • 09:30 ETE-mini S&P 500-0.50 ATR (7671.96)40.6%ライブ
  • 09:30 ETE-mini S&P 500+0.50 ATR (7723.04)39.7%ライブ
  • 09:30 ETGold-0.50 ATR (4661.47)39.6%ライブ
  • 09:30 ETGold+0.50 ATR (4717.93)38.4%ライブ
  • 09:30 ETMicrosoft-0.50 ATR (482.39)39.7%ライブ
  • 09:30 ETMicrosoft+0.50 ATR (492.23)41.8%ライブ
  • 09:30 ETE-mini Nasdaq 100-0.50 ATR (29156.68)40.6%ライブ
  • 09:30 ETE-mini Nasdaq 100+0.50 ATR (29491.32)39.7%ライブ
  • 09:30 ETNvidia-0.50 ATR (206.13)39.7%ライブ
  • 09:30 ETNvidia+0.50 ATR (210.83)41.8%ライブ
  • 09:30 ETE-mini Russell 2000-0.50 ATR (3003.99)40.6%ライブ

凍結列（日付、シンボル、レベル、予測確率、凍結時価格）は、セッション開始前に一度だけ書き込み、その後は編集しません。結果だけを引け後に埋めます。

ウィンドウ内の予測
60
最新の 60 件、新しい順
Brier スコア
0.276
36 件の評価に対する予測と結果の平均二乗誤差 · 小さいほど良い、0 が完全
較正ギャップ
12.26 pp
表示ウィンドウ内の |平均 predicted − realized rate|