[レビュー] GoogleのTimesFM-3をリリース直後に自分で検証しました：ゼロショットは本物、目玉機能はまだ
Googleが2026年8月31日に公開した時系列基盤モデルTimesFM-3を、性格の異なる公開データ2種類で自分で検証しました。ゼロショット性能は古典的なモデルとGBMを確実に上回りましたが、新しく追加された多変量と共変量の機能には統計的に有意な改善がありませんでした。学習データ汚染の検証と速度比較まで、実務者の視点で整理しました。
Googleが2026年8月31日に時系列基盤モデルTimesFM-3を公開しました。発表文は、三つのベンチマークで事前学習モデルのうち1位だと述べています。そこで自分で検証しました。
この記事が発表文の要約と違う点は二つです。一つは、私が選んだ公開データで古典的な統計モデルとGBMまで同じ条件で比較したこと。もう一つは、モデルが学習しようのなかった期間を切り分けて成績を比べたことです。1兆を超える時点で学習したモデルが、公開ベンチマークをすでに覚えてしまっているのではないかを確かめたかったのです。
先に結論を言うと、ゼロショット性能は本物で、汚染の形跡もありませんでした。ところが今回のバージョンが打ち出す二つの新機能は、私のデータでは効果を出せませんでした。
TimesFM-3が打ち出しているもの
まず何が変わったのかから整理します。
パラメータは3億3千万個で、1兆を超える時点で事前学習しています。以前のバージョンが単変量予測の専用だったのと違い、今回は多変量予測を最初から学習しています。時間方向には過去だけを参照するアテンションを、変量方向には他の時系列まで一緒に参照するアテンションを、交互に適用します。さらに、過去だけ分かる共変量と未来まで分かる共変量を一緒に入れられるようになりました。販促スケジュールや祝日のように、前もって分かる情報を使えということです。
デコーディングの方式も変わりました。パッチを一つずつ自己回帰で取り出す方式の代わりに、一度に生成します。これが後で見る速度差の理由です。
そして実務者なら先に確認すべきものが一つあります。コードはApache-2.0ですが、重みは別の非商用ライセンスです。非商用、非本番の用途に制限されます。この話は最後にもう一度します。
どう検証したか
性格が正反対の公開データを2種類選びました。
一つ目はWikipedia記事ごとの日別閲覧数です。71本の記事を2023年1月から2026年9月2日まで取得しました。週次の周期がはっきりしている一方、ニュース次第で跳ねる、雑然としたデータです。二つ目は都市ごとの1時間ごとの気温です。24都市を2024年1月から2026年8月30日まで取得しました。24時間の周期がほぼ決定論的に繰り返される、なめらかなデータです。どちらも無料で認証も要らないので、誰でも再現できます。
比較対象は季節ナイーブ、AutoETS、AutoARIMA、そしてグローバルなLightGBMです。LightGBMは対数変換と時系列ごとの水準正規化を入れ、ラグとカレンダー特徴量で学習させた、実務で使いそうな形にしました。ここにTimesFM-2.5とTimesFM-3、そしてTimesFM-3に共変量を入れたものと多変量でまとめたものを加えました。
ホライズンは日次で7日と28日、時間次で24時間と168時間です。指標はMASEとsMAPE、そして分位点予測のための重み付き分位点損失を見ました。
検証に使ったコードとデータはすべて公開しています。github.com/HangilKim11/timesfm3-benchmark から、以下の結果をそのまま再現できます。
最初の結論が三つひっくり返った話
ここで正直に告白することがあります。最初は予測の起点を一つだけ取って回しました。そのとき出た結論はこうでした。3.0と2.5は事実上同点、共変量はむしろ損、多変量はコイン投げだ、と。
ところが起点を複数に増やして回し直すと、前の二つの結論がひっくり返りました。3.0は2.5より確実に良く、共変量は損ではなく無害に近かったのです。単一の起点で出た1パーセント程度の差は、単にその区間の運でした。
実際、私のデータではAutoETSの相対性能は区間を変えるだけで10パーセント揺れました。そこで最終的な実験はローリング起点にしました。日次で18個、時間次で14個の起点を取り、汚染の検証にはさらに60個の起点を使いました。モデルあたり約2万2千件の系列予測が積み上がり、ここからが本当の結果です。
結果1. ゼロショットは本物です
まず全体の成績です。季節ナイーブを1.0に置き、各モデルのMASE比を幾何平均で出しました。低いほど良い数字です。
TimesFM系が四つの条件すべてで最も低くなっています。学習を一切していないゼロショットなのにそうです。
TimesFM-3は季節ナイーブより、日次で26から30パーセント、時間次で14から26パーセント良い成績でした。時系列ごとに学習させたLightGBMよりも16から29パーセント良い数字です。学習もチューニングも一切なしで出た数字です。
目を引くのは古典的な統計モデルのばらつきです。AutoETSはWikipediaのデータではナイーブに勝ちましたが、気温のデータではナイーブより48パーセント悪かったのです。一方でTimesFMは両方のドメインで安定していました。私はこの一貫性こそがこのモデルの実質的な強みだと考えます。データの性格に合うモデルを毎回選ぶ手間を省いてくれるからです。
予測が実際にどう見えるか
数字だけでは感覚がつかめないので、予測の軌跡を直接描きました。
縦線の右側が予測区間です。網掛けはTimesFM-3の10から90パーセント区間です。
一つ目のパネルでは、どのモデルも週次の周期をとらえます。ここでは大きな差がありません。二つ目のパネルが興味深いところです。実測値が8月中旬から上がっていくのに、季節ナイーブとLightGBMは過去の水準にとどまる一方、TimesFM-3だけがトレンドに沿って上がります。ナイーブに対する改善のかなりの部分は、こういうところから出ています。
三つ目のパネルは逆に、このモデルの弱点を見せます。東京の気温の日内周期はうまくとらえるのに、山を押しつぶして予測します。実際の最高気温が35度まで行ったのに、予測は30度あたりです。極値を保守的に出す傾向があり、猛暑のように裾が重要な場面ではこれが問題になります。
結果2. では何が統計的に有意なのか
平均だけを見て結論を出せば、さきほど私がした失敗を繰り返すことになります。そこで系列と起点を対応づけて、ペアードブートストラップとウィルコクソン検定を回しました。
横線は95パーセント信頼区間です。1.0より左なら前のモデルが良いという意味です。
上の12行は信頼区間が1.0からはっきり離れています。TimesFM-3がナイーブとLightGBMに勝つことは、議論の余地がありません。
2.5に対する3.0の改善も、四つの条件すべてで有意でした。ただし大きさが小さいのです。比率で3から5パーセント、系列ごとの勝率は56パーセントほど。半分を少し超える程度という意味です。パラメータが2億から3億3千万に増えたのに、精度の改善はこの程度です。
結果3. 目玉機能の二つは効果がありませんでした
今回のバージョンの核心は多変量と共変量です。そこで個別に見ました。
素のTimesFM-3を1.0に置いています。共変量と多変量の棒が1.0の近くから動きません。
共変量は、曜日と週末かどうかを未来まで知らせる形で入れました。四つの条件のうち三つで統計的に無意味で、一つではむしろ有意に悪くなりました。理由は察しがつきます。週次の周期はモデルが時系列そのものからすでに学習しています。カレンダー情報は重複であり、重複した入力はノイズとして入ります。
多変量も同じでした。最初は私がテーマ別にまとめたのですが、それでは機能に不利かもしれないので、実際の相関でクラスタリングしてまとめ直しました。公平な機会を与えたわけですが、結果は同じでした。三つで無意味、一つで有意に悪化です。
ここには但し書きが要ります。私が入れた共変量はカレンダーだけで、これはそもそもモデルが知っている情報です。販促スケジュールやニュースイベントのように、時系列の中にない本当の外生情報だったなら話は違ったかもしれません。実際、後で出てくる失敗事例がまさにその場合です。ただ「カレンダー程度を入れても得はない」ということははっきりしました。
ホライズンを伸ばしても維持されます
短いホライズンでも長いホライズンでも順位が保たれます。
ホライズンが長くなれば全員の誤差が大きくなりますが、順位は変わりません。ただし気温のデータで168時間まで伸ばすと、TimesFMの優位は26パーセントから14パーセントに縮みます。遠くへ行くほど平均に収束する傾向があります。
結果4. 本当の強みは速度です
横軸は対数スケールです。左下が速くて正確な領域です。
この図がいちばん印象的でした。71系列を28日先まで予測するのに、TimesFM-3は1.8秒でした。同じ作業にTimesFM-2.5は9.2秒、LightGBMは学習を含めて9.3秒、AutoETSは18.7秒かかりました。AutoARIMAは初期の実験で起点一つあたり378秒かかり、しかも性能はナイーブより悪かったのです。
精度が最も高く、同時に最も速い。 自己回帰デコーディングを捨てた効果がここに出ています。2.5に比べて5倍速く、私はこれが今回のバージョンの本当の改善だと考えます。精度3パーセントより速度5倍のほうが、実務では大きな差になりますから。ちなみにノート用のRTX 4070で1.3ギガバイトしか使いませんでした。
結果5. 学習データの汚染はありませんでした
この記事でいちばん手をかけた部分です。1兆時点を学習したモデルなら、公開ベンチマークをすでに覚えている可能性があります。だとすればベンチマーク1位は実力ではなく暗記です。
そこでカレンダー上の区間を固定し、年だけを変えました。 6月下旬から8月下旬までを2024年、2025年、2026年についてそれぞれ週次の起点10個ずつ回しました。2024年と2025年は学習データに入っている可能性が高く、2026年の夏はモデルが作られた後なので入りようがありません。区間を固定したので「その年が特に難しかった」という説明も排除できます。
対照群はLightGBMです。起点ごとに新しく学習するので、構造的に汚染されようがありません。
網掛けがモデルのリリース以降の区間です。TimesFM-3の線が落ちていません。
結果は明確です。TimesFM-3の相対的な優位は、学習に入りようがない2026年でむしろ少し良くなりました。 Wikipediaで2.2パーセント、気温で1.5パーセントの改善です。対照群のLightGBMも年ごとに揺れた（Wikipediaで9.4パーセント）ので、年ごとの変動そのものは元からあるものであり、TimesFMはそれより安定していました。
ベンチマークの成績が暗記で水増しされたという証拠は見つかりませんでした。 モデルに有利な結果であり、私はこの部分のほうが発表文の数字より信頼できる根拠だと思います。
平均ではなく分布で見ると
対数スケールです。TimesFM系は中央値だけでなく分布全体が下に寄っています。
MASEの平均は少数の大きな失敗に左右されます。そこで分布を見たのですが、TimesFM系は箱全体が下にあります。特定の時系列で運よく勝ったのではなく、全般に良いという意味です。ただし上のひげは他のモデルと似ています。得意なものは確かに得意ですが、苦手なものは他と同じくらい苦手です。
どこで失敗するのか
その苦手な場合を直接見ました。
縦軸が対数スケールなのに、この幅です。
Googleの記事は、予測区間で閲覧数が普段の1万7千から28万5千まで16倍に跳ねました。 ニュースイベントです。過去だけを見るどんな時系列モデルでも、これは当てられません。MASEが3.74まで上がったのは、モデルが悪いからではなく、問題そのものが予測不可能だからです。
ここで先ほどの共変量の話がまたつながります。こういう状況こそ外生情報が必要な場面です。カレンダーではなく、ニュースやイベントの予定のような本当の外部シグナルを入れられるなら、共変量の機能は役目を果たすでしょう。私がテストした条件で得がなかったというだけで、機能が無用だという意味ではありません。
それで、使えるのか
性能だけを見れば印象的です。学習もチューニングもなしにチューニング済みのGBMに勝ち、しかも5倍速い。データの性格を選ばない一貫性も、実務では大きな長所です。
ところが重みのライセンスが非商用、非本番です。 会社の業務には入れられないという意味です。今の時点でこのモデルの現実的な使い道は、この程度になります。社内の実験で性能の上限を見積もる基準線として使うか、新しい予測タスクの難易度を素早く測るか、研究と学習の目的で触ってみることです。
まとめると、私が確かめたのは次のとおりです。
- ゼロショットの予測性能は本物です。古典的なモデルとGBMを、二つのドメインのどちらでも確実に上回ります。
- 2.5に対する3.0の精度改善は有意ですが、3から5パーセントと小さいです。
- 今回のバージョンの実質的な改善は速度です。5倍速くなりました。
- 目玉機能である多変量と共変量には、私の条件で測定できる利得がありませんでした。
- 学習データ汚染の形跡はありませんでした。
- 失敗は予測不可能なイベントで起きるもので、これはモデルの限界ではなく問題の限界です。
- そしてライセンスのため、実務投入はできません。
最後に方法論を一つだけ付け加えます。この記事で私がいちばん大きく学んだのは、モデルについてではなく検証についてでした。起点一つで出した結論三つのうち二つが、起点を増やすとひっくり返ったのです。新しいモデルが出るたびに溢れる「回してみたら良かった」という類の記事を見るとき、その結論が何回のくじ引きから出たものなのか、一度確かめてみていただければと思います。私も危うくそのまま書くところでした。