[리뷰] 구글 TimesFM-3를 출시 직후 직접 검증했습니다: 제로샷은 진짜, 간판 기능은 아직
구글이 2026년 8월 31일 공개한 시계열 파운데이션 모델 TimesFM-3를 공개 데이터 두 종류로 직접 검증했습니다. 제로샷 성능은 고전 모델과 GBM을 확실히 앞섰지만, 새로 추가된 다변량과 공변량 기능은 통계적으로 유의미한 개선이 없었습니다. 학습 데이터 오염 검증과 속도 비교까지 실무자 관점으로 정리했습니다.
구글이 2026년 8월 31일에 시계열 파운데이션 모델 TimesFM-3를 공개했습니다. 발표문은 세 개의 벤치마크에서 사전학습 모델 중 1위라고 말합니다. 그래서 직접 검증했습니다.
이 글이 발표문 요약과 다른 점은 두 가지입니다. 하나는 제가 고른 공개 데이터로 고전 통계모델과 GBM까지 같은 조건에서 비교했다는 것이고, 다른 하나는 모델이 학습했을 수 없는 기간을 따로 떼어 성적을 비교했다는 것입니다. 1조 개가 넘는 시점으로 학습한 모델이 공개 벤치마크를 이미 외운 게 아닌지 확인하고 싶었거든요.
결론부터 말씀드리면 제로샷 성능은 진짜였고, 오염 정황도 없었습니다. 그런데 이번 버전이 내세우는 두 가지 신기능은 제 데이터에서 효과를 내지 못했습니다.
TimesFM-3가 내세우는 것
먼저 무엇이 바뀌었는지부터 정리합니다.
파라미터는 3억 3천만 개이고, 1조 개가 넘는 시점으로 사전학습했습니다. 이전 버전들이 단변량 예측 전용이었던 것과 달리, 이번에는 다변량 예측을 처음부터 학습했습니다. 시간 방향으로는 과거만 참조하는 어텐션을, 변량 방향으로는 다른 시계열까지 함께 참조하는 어텐션을 번갈아 적용합니다. 여기에 과거만 아는 공변량과 미래까지 아는 공변량을 함께 넣을 수 있게 됐습니다. 판촉 일정이나 공휴일처럼 미리 아는 정보를 쓰라는 것입니다.
디코딩 방식도 바뀌었습니다. 패치를 하나씩 자기회귀로 뽑던 방식 대신 한 번에 생성합니다. 이게 뒤에서 볼 속도 차이의 이유입니다.
그리고 실무자라면 먼저 확인해야 할 것이 하나 있습니다. 코드는 Apache-2.0인데, 가중치는 별도의 비상업 라이선스입니다. 비상업, 비프로덕션 용도로 제한됩니다. 이 이야기는 마지막에 다시 하겠습니다.
어떻게 검증했나
성격이 정반대인 공개 데이터 두 종류를 골랐습니다.
첫째는 위키백과 문서별 일별 조회수입니다. 71개 문서를 2023년 1월부터 2026년 9월 2일까지 받았습니다. 주간 주기가 뚜렷하지만 뉴스에 따라 튀는, 지저분한 데이터입니다. 둘째는 도시별 시간당 기온입니다. 24개 도시를 2024년 1월부터 2026년 8월 30일까지 받았습니다. 24시간 주기가 거의 결정론적으로 반복되는, 매끄러운 데이터입니다. 둘 다 무료이고 인증이 필요 없어서 누구나 재현할 수 있습니다.
비교 대상은 계절 나이브, AutoETS, AutoARIMA, 그리고 전역 LightGBM입니다. LightGBM은 로그 변환과 시계열별 수준 정규화를 넣고 시차와 달력 피처로 학습시킨, 실무에서 쓸 법한 형태입니다. 여기에 TimesFM-2.5와 TimesFM-3, 그리고 TimesFM-3에 공변량을 넣은 것과 다변량으로 묶은 것을 더했습니다.
호라이즌은 일별에서 7일과 28일, 시간별에서 24시간과 168시간입니다. 지표는 MASE와 sMAPE, 그리고 분위수 예측을 위한 가중 분위수 손실을 봤습니다.
검증에 쓴 코드와 데이터는 전부 공개해 뒀습니다. github.com/HangilKim11/timesfm3-benchmark에서 아래 결과를 그대로 재현하실 수 있습니다.
처음 결론 세 개가 뒤집힌 이야기
여기서 정직하게 고백할 게 있습니다. 처음에는 예측 시작점을 한 개만 잡고 돌렸습니다. 그때 나온 결론은 이랬습니다. 3.0과 2.5는 사실상 동률이고, 공변량은 오히려 손해이며, 다변량은 동전던지기다.
그런데 시작점을 여러 개로 늘려 다시 돌리자 앞의 두 결론이 뒤집혔습니다. 3.0은 2.5보다 확실히 나았고, 공변량은 손해가 아니라 무해에 가까웠습니다. 단일 시작점에서 나온 1퍼센트 수준의 차이는 그냥 그 구간의 운이었던 것입니다.
실제로 제 데이터에서 AutoETS의 상대 성능은 구간만 바꿔도 10퍼센트가 흔들렸습니다. 그래서 최종 실험은 롤링 시작점으로 갔습니다. 일별에서 18개, 시간별에서 14개 시작점을 잡았고, 오염 검증에는 시작점 60개를 더 썼습니다. 모델당 약 2만 2천 건의 시리즈 예측이 쌓였고, 여기서부터가 진짜 결과입니다.
결과 1. 제로샷은 진짜입니다
먼저 전체 성적입니다. 계절 나이브를 1.0으로 놓고 각 모델의 MASE 비율을 기하평균으로 냈습니다. 낮을수록 좋습니다.
TimesFM 계열이 네 개 조건 모두에서 가장 낮습니다. 학습을 전혀 하지 않은 제로샷인데도 그렇습니다.
TimesFM-3는 계절 나이브보다 일별에서 26에서 30퍼센트, 시간별에서 14에서 26퍼센트 좋았습니다. 시계열별로 학습시킨 LightGBM보다도 16에서 29퍼센트 좋았습니다. 아무 학습도 튜닝도 없이 나온 숫자입니다.
눈에 띄는 것은 고전 통계모델의 편차입니다. AutoETS는 위키 데이터에서는 나이브를 이겼지만, 기온 데이터에서는 나이브보다 48퍼센트 나빴습니다. 반면 TimesFM은 두 도메인에서 모두 안정적이었습니다. 저는 이 일관성이 이 모델의 실질적인 강점이라고 봅니다. 데이터 성격에 맞는 모델을 매번 고르는 수고를 덜어주니까요.
예측이 실제로 어떻게 생겼나
숫자만 보면 감이 안 오니 예측 궤적을 직접 그렸습니다.
세로선 오른쪽이 예측 구간입니다. 음영은 TimesFM-3의 10에서 90퍼센트 구간입니다.
첫 번째 패널에서 모든 모델이 주간 주기를 잡습니다. 여기서는 큰 차이가 없습니다. 두 번째 패널이 흥미롭습니다. 실제값이 8월 중순부터 올라가는데, 계절 나이브와 LightGBM은 과거 수준에 머무는 반면 TimesFM-3만 추세를 따라 올라갑니다. 나이브 대비 개선의 상당 부분이 이런 데서 나옵니다.
세 번째 패널은 반대로 이 모델의 약점을 보여줍니다. 도쿄 기온의 하루 주기는 잘 잡지만, 봉우리를 눌러서 예측합니다. 실제 최고기온이 35도까지 갔는데 예측은 30도 언저리입니다. 극값을 보수적으로 내는 성향이 있고, 폭염처럼 꼬리가 중요한 상황에서는 이게 문제가 됩니다.
결과 2. 그래서 무엇이 통계적으로 유의한가
평균만 보고 결론을 내면 앞에서 제가 한 실수를 반복하게 됩니다. 그래서 시리즈와 시작점을 짝지어 페어드 부트스트랩과 윌콕슨 검정을 돌렸습니다.
가로선은 95퍼센트 신뢰구간입니다. 1.0보다 왼쪽이면 앞의 모델이 좋다는 뜻입니다.
위쪽 열두 줄은 신뢰구간이 1.0에서 확실히 떨어져 있습니다. TimesFM-3가 나이브와 LightGBM을 이기는 것은 논쟁의 여지가 없습니다.
2.5 대비 3.0의 개선도 네 조건 모두에서 유의했습니다. 다만 크기가 작습니다. 비율로 3에서 5퍼센트이고, 시리즈별 승률은 56퍼센트 남짓입니다. 절반을 조금 넘는 수준이라는 뜻입니다. 파라미터가 2억에서 3억 3천만으로 늘었는데 정확도 개선은 이 정도입니다.
결과 3. 간판 기능 두 개는 효과가 없었습니다
이번 버전의 핵심은 다변량과 공변량입니다. 그래서 따로 봤습니다.
기본 TimesFM-3를 1.0으로 놓았습니다. 공변량과 다변량 막대가 1.0 근처에서 움직이지 않습니다.
공변량은 요일과 주말 여부를 미래까지 알려주는 형태로 넣었습니다. 네 조건 중 세 곳에서 통계적으로 무의미했고, 한 곳에서는 오히려 유의하게 나빴습니다. 이유는 짐작이 갑니다. 주간 주기는 모델이 시계열 자체에서 이미 학습합니다. 달력 정보는 중복이고, 중복 입력은 잡음으로 들어갑니다.
다변량도 마찬가지였습니다. 처음에는 제가 주제별로 묶었는데, 그러면 기능에 불리할 수 있어서 실제 상관으로 클러스터링해서 다시 묶었습니다. 공정한 기회를 준 셈인데도 결과는 같았습니다. 세 곳에서 무의미, 한 곳에서 유의하게 나빴습니다.
여기에는 단서를 달아야 합니다. 제가 넣은 공변량은 달력뿐이고, 이건 애초에 모델이 아는 정보입니다. 판촉 일정이나 뉴스 이벤트처럼 시계열 안에 없는 진짜 외생 정보였다면 이야기가 달랐을 수 있습니다. 실제로 뒤에 나올 실패 사례가 정확히 그런 경우입니다. 다만 “달력 정도 넣어서는 이득이 없다”는 것은 분명해졌습니다.
호라이즌을 늘려도 유지됩니다
짧은 호라이즌과 긴 호라이즌 모두에서 순위가 유지됩니다.
호라이즌이 길어지면 모두의 오차가 커지지만 순위는 바뀌지 않습니다. 다만 기온 데이터에서 168시간으로 늘리면 TimesFM의 우위가 26퍼센트에서 14퍼센트로 줄어듭니다. 멀리 갈수록 평균으로 수렴하는 성향이 있습니다.
결과 4. 진짜 강점은 속도입니다
가로축은 로그 스케일입니다. 왼쪽 아래가 빠르면서 정확한 영역입니다.
이 그림이 제일 인상적이었습니다. 71개 시리즈를 28일 예측하는 데 TimesFM-3는 1.8초가 걸렸습니다. 같은 작업에 TimesFM-2.5는 9.2초, LightGBM은 학습을 포함해 9.3초, AutoETS는 18.7초가 걸렸습니다. AutoARIMA는 초기 실험에서 시작점 하나에 378초가 걸렸고, 성능은 나이브보다 나빴습니다.
정확도가 가장 높으면서 동시에 가장 빠릅니다. 자기회귀 디코딩을 버린 효과가 여기서 나옵니다. 2.5 대비 5배 빠른데, 저는 이게 이번 버전의 진짜 개선이라고 봅니다. 정확도 3퍼센트보다 속도 5배가 실무에서는 더 큰 차이니까요. 참고로 노트북용 RTX 4070에서 1.3기가바이트만 썼습니다.
결과 5. 학습 데이터 오염은 없었습니다
이 글에서 가장 공들인 부분입니다. 1조 시점을 학습한 모델이라면 공개 벤치마크를 이미 외웠을 수 있습니다. 그러면 벤치마크 1위는 실력이 아니라 암기입니다.
그래서 달력 구간을 고정하고 연도만 바꿨습니다. 6월 하순부터 8월 하순까지를 2024년, 2025년, 2026년에 대해 각각 주간 시작점 10개씩 돌렸습니다. 2024년과 2025년은 학습 데이터에 들어있을 가능성이 높고, 2026년 여름은 모델이 만들어진 뒤라 들어있을 수 없습니다. 구간을 고정했으니 “그 해가 유독 어려웠다”는 설명도 배제할 수 있습니다.
대조군은 LightGBM입니다. 시작점마다 새로 학습하니 구조적으로 오염될 수 없습니다.
음영이 모델 출시 이후 구간입니다. TimesFM-3 선이 떨어지지 않습니다.
결과는 명확합니다. TimesFM-3의 상대 우위는 학습에 있을 수 없는 2026년에 오히려 조금 더 좋았습니다. 위키에서 2.2퍼센트, 기온에서 1.5퍼센트 개선입니다. 대조군인 LightGBM도 연도별로 흔들렸으니(위키에서 9.4퍼센트) 연도 변동 자체는 원래 있는 것이고, TimesFM은 그보다 안정적이었습니다.
벤치마크 성적이 암기로 부풀려졌다는 증거는 찾지 못했습니다. 모델에 유리한 결과이고, 저는 이 부분이 발표문의 숫자보다 더 믿을 만한 근거라고 생각합니다.
평균이 아니라 분포로 보면
로그 스케일입니다. TimesFM 계열은 중앙값뿐 아니라 분포 전체가 아래로 내려가 있습니다.
MASE 평균은 소수의 큰 실패에 좌우됩니다. 그래서 분포를 봤는데, TimesFM 계열은 상자 전체가 아래에 있습니다. 특정 시계열에서 운 좋게 이긴 게 아니라 전반적으로 낫다는 뜻입니다. 다만 위쪽 수염은 다른 모델과 비슷합니다. 잘하는 건 확실히 잘하는데, 못 하는 건 남들만큼 못 합니다.
어디서 실패하나
그 못 하는 경우를 직접 봤습니다.
세로축이 로그 스케일인데도 폭이 이 정도입니다.
Google 문서는 예측 구간에서 조회수가 평소 1만 7천에서 28만 5천까지 16배 뛰었습니다. 뉴스 이벤트입니다. 과거만 보는 어떤 시계열 모델도 이건 맞힐 수 없습니다. MASE가 3.74까지 오른 건 모델이 나빠서가 아니라 문제 자체가 예측 불가능해서입니다.
여기서 앞의 공변량 이야기가 다시 연결됩니다. 이런 상황이야말로 외생 정보가 필요한 자리입니다. 달력이 아니라 뉴스나 이벤트 일정 같은 진짜 외부 신호를 넣을 수 있다면 공변량 기능이 제 몫을 할 겁니다. 제가 테스트한 조건에서 이득이 없었다는 것이지, 기능이 쓸모없다는 뜻은 아닙니다.
그래서 쓸 만한가
성능만 보면 인상적입니다. 학습도 튜닝도 없이 튜닝된 GBM을 이기고, 게다가 5배 빠릅니다. 데이터 성격을 가리지 않는 일관성도 실무에서는 큰 장점입니다.
그런데 가중치 라이선스가 비상업, 비프로덕션입니다. 회사 업무에 넣을 수 없다는 뜻입니다. 지금 시점에서 이 모델의 현실적인 쓰임새는 이 정도입니다. 내부 실험에서 성능 상한을 가늠하는 기준선으로 쓰거나, 새 예측 과제의 난이도를 빠르게 재보거나, 연구와 학습 목적으로 만져보는 것입니다.
정리하면 제가 확인한 것은 이렇습니다.
- 제로샷 예측 성능은 진짜입니다. 고전 모델과 GBM을 두 도메인에서 모두 확실히 앞섭니다.
- 2.5 대비 3.0의 정확도 개선은 유의하지만 3에서 5퍼센트로 작습니다.
- 이번 버전의 실질적 개선은 속도입니다. 5배 빠릅니다.
- 간판 기능인 다변량과 공변량은 제 조건에서 측정 가능한 이득이 없었습니다.
- 학습 데이터 오염 정황은 없었습니다.
- 실패는 예측 불가능한 이벤트에서 나오고, 이건 모델의 한계가 아니라 문제의 한계입니다.
- 그리고 라이선스 때문에 실무 투입은 불가합니다.
마지막으로 방법론 하나만 덧붙이겠습니다. 이 글에서 제일 크게 배운 건 모델에 대한 게 아니라 검증에 대한 것이었습니다. 시작점 하나로 낸 결론 세 개 중 두 개가 시작점을 늘리자 뒤집혔습니다. 새 모델이 나올 때마다 쏟아지는 “돌려봤더니 좋더라” 류의 글을 볼 때, 그 결론이 몇 번의 뽑기에서 나왔는지 한 번쯤 확인해 보시면 좋겠습니다. 저도 하마터면 그대로 쓸 뻔했습니다.