“최근 적중률 80%.”
숫자만 보면 상당히 정확한 분석처럼 느껴진다. 그런데 열 경기 중 여덟 경기를 맞힌 것인지, 천 경기 중 팔백 경기를 맞힌 것인지 알 수 없다면 평가는 달라져야 한다.
스포츠 예측 적중률은 표본 수, 집계 방식, 예측 난이도를 함께 봐야 의미가 있다. 80%라는 비율 하나만으로 앞으로도 같은 성과가 이어질지 판단할 수는 없다.
8승 2패와 800승 200패의 차이
다음 세 기록의 적중률은 모두 80%다.
| 전체 예측 | 적중 | 적중률 |
|---|---|---|
| 10개 | 8개 | 80% |
| 100개 | 80개 | 80% |
| 1,000개 | 800개 | 80% |
차이는 새로운 결과 하나가 미치는 영향이다.
10개 중 8개를 맞힌 뒤 다음 예측이 틀리면 적중률은 약 72.7%로 내려간다. 1,000개 중 800개를 맞힌 뒤 하나가 틀리면 약 79.9%가 된다.
적은 표본에서는 결과 몇 개만 달라져도 비율이 크게 움직인다. 그래서 짧은 연속 적중 기록을 오랫동안 유지한 정확도처럼 소개하면 실제보다 안정적으로 보일 수 있다.
통계적으로도 불확실성의 폭이 다르다
예측들이 서로 독립적이고 같은 적중확률을 가진다고 단순화해, 윌슨 방식의 95% 신뢰구간을 계산하면 다음과 같다.
| 관찰된 기록 | 적중률 | 95% 신뢰구간 |
|---|---|---|
| 10개 중 8개 | 80% | 약 49.0~94.3% |
| 100개 중 80개 | 80% | 약 71.1~86.7% |
| 1,000개 중 800개 | 80% | 약 77.4~82.4% |
같은 80%여도 표본이 적을수록 추정의 불확실성이 크다는 것을 보여준다. 계산 방법은 NIST의 비율 신뢰구간 설명을 참고했다. NIST 신뢰구간 안내
이 구간이 다음 경기의 적중확률을 뜻하는 것은 아니다. 실제 스포츠 예측에서는 경기마다 난이도가 다르고, 같은 팀이나 같은 정보에 의존한 예측끼리 연관될 수도 있다. 표는 표본 수의 영향을 이해하기 위한 단순화된 예시다.
표본이 많아도 골라 공개했다면 문제가 남는다
천 경기 기록이라고 해서 자동으로 신뢰할 수 있는 것은 아니다.
전체 기간 중 가장 잘 맞은 한 달만 집계했는지, 실패한 예측이 삭제되지는 않았는지, 결과가 나온 뒤 내용을 수정하지는 않았는지 확인해야 한다.
한 경기에서 여러 예측을 올린 뒤 맞은 것만 대표 기록으로 남겼다면, 공개된 적중률은 전체 성과와 달라진다.
신뢰할 만한 기록에는 다음 정보가 함께 있어야 한다.
- 경기 시작 전 공개한 예측과 게시 시각
- 적중과 실패를 모두 포함한 전체 목록
- 집계 시작일과 종료일
- 취소·무승부·예측 변경의 처리 기준
중요한 것은 높은 비율뿐 아니라, 다른 사람이 같은 기준으로 다시 계산할 수 있는가다.
쉬운 예측과 어려운 예측을 같은 숫자로 비교하면 안 된다
가상의 예측자가 전력 차이가 큰 경기만 골라 승패를 예상했다고 해보자. 다른 예측자는 접전 경기만 다뤘다.
둘의 적중률만 비교하면 예측 난이도가 빠진다.
또한 같은 경기들을 대상으로 단순히 강팀을 고르는 기준이 어느 정도 맞았는지도 확인할 필요가 있다. 예측자가 80%를 맞혔더라도 비교 기준이 82%였다면, 그 숫자만으로 분석의 우수성을 말하기 어렵다. 반대로 더 어려운 대상에서는 낮은 적중률도 다른 의미를 가질 수 있다.
적중률을 비교하려면 가능한 한 같은 대상과 기간, 같은 판정 기준을 사용해야 한다.
‘80% 확률’이라고 말한 예측도 따로 평가할 수 있다
매 경기 승리 가능성을 80%라고 제시하는 예측이라면, 비슷하게 80%로 평가했던 사례들이 충분히 쌓였을 때 실제로 어느 정도 발생했는지도 살펴볼 수 있다.
계속 80%라고 했지만 실제 발생 비율이 55%에 그친다면, 지나치게 확신하는 경향을 의심할 수 있다. 한 번 틀렸다는 사실보다 이런 반복적인 차이가 더 유용한 평가 자료다.
적중률은 분석을 돌아보는 출발점이다. 하지만 표본의 크기와 구성, 기록의 공개 방식이 빠지면 숫자만 그럴듯하게 남는다.
‘적중률 80%’라는 문구를 만났다면 먼저 물어보자. 몇 개를 예측했고, 어떤 경기였으며, 실패한 기록까지 모두 포함했는가. 그 답을 확인한 뒤에도 80%가 설득력 있는지 판단하면 된다.
함께 읽으면 좋은 분석 가이드
적중률을 평가할 때는 각 예측의 난이도도 고려해야 합니다. 배당률에서 암시확률을 읽는 방법과 한계를 함께 알아두면 비교 기준을 세우는 데 도움이 됩니다.
한두 경기의 결과로 지표를 평가하기 어려운 이유는 축구 기대득점 xG의 한계에서도 살펴볼 수 있습니다.
댓글 남기기