←메인으로
시간순 재현 백테스트 · 과거 예측 성적표
예측 정확도 리포트
각 액트마다 그 시점까지 쌓인 데이터로만 모델을 처음부터 다시 학습시킨 뒤 해당 액트를 예측하게 했습니다. 즉, 그때 실제로 모델을 돌렸다면 내렸을 예측만 평가에 포함됩니다. 미래 정보를 보고 과거를 맞히는 "치트"가 끼지 않아요.
한 줄 요약 · TL;DR
방향 적중률
61%
전체 453건 예측 중 너프/버프/안정 방향을 맞힌 비율
랜덤 33% 대비 +28pp · 항상 stable(55%) 대비 +6pp
강한 너프 신호 정밀도
51%
p_nerf 0.60 이상으로 찍은 예측 중 실제 너프로 이어진 비율
검증 범위
18 ACT
E6A2 → V26A1 · 총 453건 예측
예측 샘플 453건기간: E6A2 → V26A118개 액트 폴드방식: 시간순 재현 (Walk-forward)
운영자 해설숫자 보기 전에 먼저 읽는 모델 성격
가장 자신 있게 맞히는 쪽은 안정 판정이에요 — F1 0.70, 정밀도 67% · 재현율 74%.
너프는 꽤 신중하게 집습니다 — 실제 너프 중 35%만 미리 잡아내고 나머지 65%는 놓치는 편입니다 (정밀도 46%).
대신 확률이 높게 찍힐수록 신뢰할 만합니다 — p_nerf 0.70 이상으로 찍은 예측은 60% 적중했어요 (n=15).
용어 풀이 · 정밀도는 "모델이 너프라고 찍은 것 중 실제 너프였던 비율",재현율은 "실제 너프 중 모델이 미리 잡아낸 비율"입니다. 둘 다 100%로 올리는 건 불가능해서 균형 싸움이에요.
전체 지표클래스별 성능
방향 적중률
61%
전체 453건 기준
Balanced Accuracy
0.541
클래스 불균형을 보정한 점수
세부 적중률
45%
약/강 세기까지 맞힌 비율
액트당 너프 TOP3
50%
각 액트 너프 확률 상위 3명 중 실제 너프 비율
stablen=249
Precision
0.67
Recall
0.74
F1
0.70
buffn=101
Precision
0.54
Recall
0.54
F1
0.54
nerfn=103
Precision
0.46
Recall
0.35
F1
0.40
요원별 성적잘 맞힌 요원 · 잘 못 맞힌 요원
한 요원을 여러 액트에 걸쳐 예측해온 누적 적중률입니다. 3건 이상 예측된 요원만 집계했어요.
가장 잘 맞힌 요원 TOP 5
1
Harbor18/18
100%
2
Phoenix17/18
94%
3
Jett15/18
83%
4
Reyna14/18
78%
5
Breach13/18
72%
가장 자주 빗나간 요원 TOP 5
1
Omen5/18
28%
2
Astra6/18
33%
3
Miks1/3
33%
4
Veto6/14
43%
5
Neon8/18
44%
혼동 행렬예측한 것 vs 실제 결과
| 예측 (predicted) | |||
|---|---|---|---|
| stable | buff | nerf | |
| 실제stable | 184 | 28 | 37 |
| 실제buff | 41 | 54 | 6 |
| 실제nerf | 49 | 18 | 36 |
대각선 칸이 "정확히 맞힌 예측". 초록이 짙을수록 잘 맞혔다는 뜻이에요.
확신도 검증확률이 높을 때 실제로도 맞는가
모델이 높은 확률로 찍을수록 실제 너프/버프가 일어날 비율도 같이 높아져야 정상입니다. 아래는 각 임계값 이상으로 예측한 샘플 가운데 실제 방향이 맞았던 비율이에요.
NERF 예측
| 임계값 | 샘플 | 정밀도 | |
|---|---|---|---|
| ≥ 0.30 | 134 | 42% | |
| ≥ 0.40 | 95 | 44% | |
| ≥ 0.50 | 65 | 48% | |
| ≥ 0.60 | 43 | 51% | |
| ≥ 0.70 | 15 | 60% |
BUFF 예측
| 임계값 | 샘플 | 정밀도 | |
|---|---|---|---|
| ≥ 0.15 | 260 | 34% | |
| ≥ 0.20 | 226 | 37% | |
| ≥ 0.25 | 193 | 39% | |
| ≥ 0.35 | 144 | 46% | |
| ≥ 0.50 | 86 | 56% |
선행 예측한 액트 먼저 짚어낸 케이스
아직 너프가 내려오지 않았을 때 모델이 먼저 너프 신호를 올렸고, 실제로 바로 다음 액트에서 너프가 확정된 경우입니다.
Fadep_nerf 75.0%
V25A6안정→V26A1약한 너프
V25A6 당시엔 너프가 없는 안정 상태였지만 모델은 이미 너프 신호를 읽었고, 한 액트 뒤 V26A1에서 실제 너프로 이어졌습니다.
Fadep_nerf 72.6%
V25A4안정→V25A5약한 너프
V25A4 당시엔 너프가 없는 안정 상태였지만 모델은 이미 너프 신호를 읽었고, 한 액트 뒤 V25A5에서 실제 너프로 이어졌습니다.
Sovap_nerf 68.3%
E7A2안정→E7A3강한 너프
E7A2 당시엔 너프가 없는 안정 상태였지만 모델은 이미 너프 신호를 읽었고, 한 액트 뒤 E7A3에서 실제 너프로 이어졌습니다.
Omenp_nerf 68.0%
V25A6약한 버프→V26A1약한 너프
V25A6 당시엔 너프가 없는 안정 상태였지만 모델은 이미 너프 신호를 읽었고, 한 액트 뒤 V26A1에서 실제 너프로 이어졌습니다.
Sovap_nerf 67.5%
V25A4안정→V25A5강한 너프
V25A4 당시엔 너프가 없는 안정 상태였지만 모델은 이미 너프 신호를 읽었고, 한 액트 뒤 V25A5에서 실제 너프로 이어졌습니다.
대표 적중높은 확률로 정확히 맞힌 예측
모델이 강한 확률로 너프/버프를 예측했고 실제로도 그 방향으로 이어진 케이스예요.
ViperV25A4
예측 강한 너프 · 실제 약한 너프
84%
p_nerf
OmenV26A1
예측 강한 너프 · 실제 약한 너프
80%
p_nerf
ViperE8A1
예측 강한 너프 · 실제 약한 너프
80%
p_nerf
TejoV25A4
예측 강한 버프 · 실제 약한 버프
79%
p_buff
SovaV26A1
예측 강한 너프 · 실제 약한 너프
78%
p_nerf
YoruE6A3
예측 강한 버프 · 실제 약한 버프
78%
p_buff
대표 오답높은 확률로 예측했지만 빗나간 케이스
모델이 강한 확률로 너프/버프를 예측했지만 실제는 반대로 흘러간 케이스입니다.
FadeE8A1
예측 강한 버프 · 실제 안정
3%
p_nerf
AstraE7A3
예측 강한 버프 · 실제 강한 너프
2%
p_nerf
AstraV26A1
예측 강한 너프 · 실제 안정
83%
p_nerf
ViperV26A1
예측 강한 너프 · 실제 안정
82%
p_nerf
AstraV25A4
예측 강한 버프 · 실제 안정
4%
p_nerf
TejoV25A3
예측 강한 버프 · 실제 약한 너프
6%
p_nerf
액트별 추이각 액트별 예측 적중률
액트가 늘수록 학습 데이터가 쌓입니다. 시간이 가면서 적중률이 안정권에 들어오는지 아래 그래프로 확인할 수 있어요.
방향 적중률 (너프/버프/안정)세부 적중률 (약/강까지)전체 평균 60%
E6A2
52% · 5c 29%
E6A3
48% · 5c 33%
E7A1
64% · 5c 41%
E7A2
58% · 5c 38%
E7A3
58% · 5c 38%
E8A1
67% · 5c 38%
E8A2
60% · 5c 40%
E8A3
56% · 5c 40%
E9A1
56% · 5c 40%
E9A2
64% · 5c 52%
E9A3
73% · 5c 54%
V25A1
50% · 5c 46%
V25A2
74% · 5c 67%
V25A3
70% · 5c 59%
V25A4
63% · 5c 52%
V25A5
39% · 5c 29%
V25A6
61% · 5c 54%
V26A1
71% · 5c 46%
얇은 세로선은 전체 평균 (60%) 위치 · 5c는 약/강 세기까지 맞힌 세부 적중률이에요.
전체 예측 목록453건 원본 기록
453 / 453rows
| Act | 요원 | 실제 | 예측 | p_stable | p_buff | p_nerf | 적중 |
|---|---|---|---|---|---|---|---|
| E6A2 | Killjoy | mild nerf | strong nerf | 30.9 | 2.9 | 66.2 | ✓ |
| E6A2 | Neon | stable | strong nerf | 24.9 | 9.3 | 65.8 | ✗ |
| E6A2 | Raze | stable | strong nerf | 45.9 | 4.1 | 50.0 | ✗ |
| E6A2 | KAYO | mild nerf | strong nerf | 40.9 | 15.1 | 44.0 | ✓ |
| E6A2 | Omen | stable | strong nerf | 30.8 | 27.9 | 41.3 | ✗ |
| E6A2 | Brimstone | mild nerf | stable | 56.0 | 7.4 | 36.5 | ✗ |
| E6A2 | Breach | stable | stable | 55.2 | 11.3 | 33.5 | ✓ |
| E6A2 | Reyna | stable | stable | 62.7 | 5.4 | 31.9 | ✓ |
| E6A2 | Fade | mild nerf | stable | 43.9 | 27.8 | 28.3 | ✗ |
| E6A2 | Gekko | mild nerf | stable | 71.2 | 0.6 | 28.2 | ✗ |
| E6A2 | Harbor | stable | stable | 73.9 | 0.5 | 25.7 | ✓ |
| E6A2 | Astra | mild buff | strong buff | 22.1 | 56.7 | 21.3 | ✓ |
| E6A2 | Phoenix | stable | stable | 64.5 | 14.5 | 20.9 | ✓ |
| E6A2 | Jett | mild buff | strong buff | 25.1 | 55.4 | 19.5 | ✓ |
| E6A2 | Viper | mild nerf | strong buff | 32.4 | 49.1 | 18.5 | ✗ |
| E6A2 | Sage | stable | stable | 64.5 | 18.7 | 16.8 | ✓ |
| E6A2 | Skye | mild buff | stable | 61.8 | 21.4 | 16.8 | ✗ |
| E6A2 | Cypher | mild buff | stable | 57.9 | 26.0 | 16.1 | ✗ |
| E6A2 | Sova | stable | stable | 55.0 | 34.0 | 10.9 | ✓ |
| E6A2 | Yoru | mild buff | strong buff | 16.6 | 77.2 | 6.1 | ✓ |
측정 방식
▸
시간순 재현 (Walk-forward) — 각 폴드에서
act_idx < T에 해당하는 과거 데이터로만 학습한 뒤act_idx == T를 예측합니다. 미래 정보가 과거 평가에 새어 들어가지 않는 구조예요.▸
2단 구조 — 1단(XGBoost)에서 "이 요원이 다음 패치에 조정될지 vs 안정될지"를 판별하고, 조정된다고 판단된 경우에만 2단(Logistic Regression)에서 "너프인지 버프인지"를 가립니다. 최종적으로 5단계 판정(강/약 너프 · 안정 · 강/약 버프)으로 합쳐져요.
▸
정답 레이블 — 각 액트 이후 실제로 있었던 너프/버프 이력을 기준으로 매겼습니다. 미니 패치, 리워크, 핫픽스까지 모두 반영했어요.
▸
평가 범위 — 결과가 확정된 과거 액트만 대상으로 했습니다 (현재 진행 중인 V26A2는 제외).
▸
생성 시각 2026-04-21 05:09:25 (UTC)