22개정 인공지능 수학 · Unit 4 · 데이터로 예측하고 모델 개선하기
손실함수로 예측 오류 측정하기
손실함수는 모델의 틀린 정도를 숫자로 바꾸는 규칙입니다. 같은 예측이라도 어떤 손실을 선택하는지에 따라 모델의 순위와 학습 방향이 달라지므로, 계산법뿐 아니라 단위·이상치·사용 목적까지 함께 살펴야 합니다.
이번 강의의 목표
잔차에서 여러 손실과 평가 지표를 계산하고 모델의 순위가 달라지는 이유를 설명합니다.
절대오차
오차의 부호를 없애 예측이 빗나간 크기를 원래 단위로 측정합니다.
제곱오차
큰 오차를 제곱하여 더 강하게 벌하고, 매끄러운 함수로 최적화하기 쉽게 만듭니다.
선택의 기준
손실은 자료의 특성뿐 아니라 실제 상황에서 어떤 오류가 더 큰 피해를 만드는지 반영해야 합니다.
잔차에서 데이터셋의 손실로
실제값을 \(y_i\), 모델의 예측값을 \(\hat y_i\)라 하면 잔차는 \(e_i=y_i-\hat y_i\)입니다. 잔차의 부호는 예측 방향을 보여 주지만, 그대로 더하면 양수와 음수가 상쇄될 수 있습니다.
예를 들어 잔차가 \((-3,3)\)이면 합은 0이지만 두 예측 모두 3만큼 빗나갔습니다. 따라서 절댓값이나 제곱으로 부호를 없앤 뒤 여러 사례의 평균을 구합니다.
MAE, MSE와 RMSE
- MAE는 각 오차의 크기를 같은 비율로 반영합니다.
- MSE는 오차를 제곱하므로 큰 오차가 평균을 빠르게 키웁니다.
- RMSE는 MSE에 제곱근을 적용하여 목표값과 같은 단위로 되돌립니다. 단, 큰 오차에 민감한 순위는 MSE와 같습니다.
그래프는 세 함수의 증가 방식에 초점을 둔 개념도입니다. 서로 다른 정의의 수직값을 단순 비교해 어느 함수가 항상 우수하다고 결론 내릴 수는 없습니다.
두 모델을 직접 비교하기
실제 대기 시간이 \((4,6,7,9)\)분이고 두 모델의 예측이 다음과 같다고 합시다. 이 값과 문제는 계산 연습을 위해 독자적으로 만들었습니다.
| 사례 | 실제값 | A 예측 | A 잔차 | B 예측 | B 잔차 |
|---|---|---|---|---|---|
| 1 | 4 | 5 | -1 | 4 | 0 |
| 2 | 6 | 5 | 1 | 7 | -1 |
| 3 | 7 | 8 | -1 | 7 | 0 |
| 4 | 9 | 7 | 2 | 12 | -3 |
MAE \(=5/4=1.25\)
MSE \(=7/4=1.75\), RMSE \(\approx1.323\)MAE \(=4/4=1.00\)
MSE \(=10/4=2.50\), RMSE \(\approx1.581\)MAE는 B를 선택하지만 MSE와 RMSE는 A를 선택합니다. B는 정확한 사례가 두 개이지만 오차 3인 한 사례가 있고, 제곱 손실은 이를 크게 벌합니다. 모델 선택에는 “드물지만 큰 오류”가 얼마나 위험한지에 대한 판단이 들어갑니다.
단위도 해석의 일부다
목표값의 단위를 \(c\)배 하면 MAE와 RMSE는 \(|c|\)배, MSE는 \(c^2\)배가 됩니다.
분을 초로 바꾸면 MAE와 RMSE는 60배, MSE는 3,600배입니다. 따라서 서로 다른 단위나 서로 다른 데이터셋의 지표를 숫자 크기만으로 비교하면 안 됩니다.
평균과 중앙값으로 보는 손실의 성질
모든 입력에 같은 상수 \(c\)를 예측할 때 제곱오차 합을 최소화하는 값은 평균이고, 절대오차 합을 최소화하는 값은 중앙값입니다.
자료 \((2,3,4,20)\)의 평균은 7.25이지만 중앙 두 값 사이는 3과 4입니다. 큰 값 20이 평균을 크게 움직이는 모습은 MSE가 이상치에 민감한 이유와 연결됩니다.
두 성질을 절충하는 Huber 손실
Huber 손실은 작은 오차에서는 제곱함수, 기준 \(\delta\)보다 큰 오차에서는 직선으로 증가합니다.
\(\delta\)가 작을수록 큰 오차에 대한 증가가 일찍 완만해집니다. 그렇다고 이상치를 무시하는 것은 아니며, \(\delta\) 역시 검증 자료와 실제 오류 비용을 고려해 선택할 설정값입니다.
손실함수와 평가 지표는 역할이 다를 수 있다
- 학습 손실은 모델의 매개변수를 어느 방향으로 바꿀지 결정합니다.
- 검증 지표는 여러 모델과 설정 중 무엇을 선택할지 돕습니다.
- 테스트 지표는 선택이 끝난 모델을 사용하지 않은 자료에서 최종 점검합니다.
- 운영 지표는 실제 사용 중 집단별 오류, 큰 실패와 시간에 따른 변화를 감시합니다.
학습에는 미분하기 쉬운 MSE를 쓰면서 결과 보고에는 해석하기 쉬운 MAE를 함께 제시할 수 있습니다. 단, 테스트 결과를 반복해서 보며 모델을 바꾸면 테스트 자료도 사실상 학습에 사용한 셈이 됩니다.
목적에 맞게 오류의 비용 표현하기
가중치를 정할 때 단지 성능 숫자를 좋아 보이게 만들어서는 안 됩니다. 누구의 오류를 더 중요하게 취급하는지, 그 근거와 결과를 공개하고 민감도 분석을 해야 합니다.
주의할 지표: 백분율 오차
백분율은 척도가 다른 사례를 비교하기 편해 보이지만 실제값이 0이면 나눌 수 없고, 0에 가까우면 값이 지나치게 커집니다.
따라서 목표값에 0이나 음수가 있는지 먼저 확인하고, 지표 이름만 보고 기계적으로 사용하지 않습니다.
활동 1 · 이상치 하나의 영향
잔차가 \((1,-1,2,-2)\)일 때와 마지막 잔차가 -8로 바뀌었을 때 각각 MAE와 MSE를 구하세요.
정답과 해설 보기
처음에는 MAE=\((1+1+2+2)/4=1.5\), MSE=\((1+1+4+4)/4=2.5\)입니다. -8로 바뀌면 MAE=\((1+1+2+8)/4=3\), MSE=\((1+1+4+64)/4=17.5\)입니다. 큰 오차 하나 때문에 MAE는 2배, MSE는 7배가 되어 제곱 손실의 민감성이 드러납니다.
활동 2 · 사용 목적에서 선택하기
도서관 좌석 대기 시간을 예측한다고 합시다. 대부분의 오차를 작게 하는 것과 20분 이상 빗나가는 드문 실패를 줄이는 것 중 어느 쪽이 더 중요한지 정하고 MAE 또는 RMSE를 선택해 이유를 설명하세요.
가능한 답안 보기
큰 오류가 학생의 수업 참여를 방해한다면 큰 오차에 더 민감한 RMSE를 우선할 수 있습니다. 모든 학생의 일상적인 체감 오차를 같은 비중으로 줄이는 목적이면 MAE가 자연스럽습니다. 하나의 정답보다 실제 피해와 선택한 지표를 논리적으로 연결하는 것이 핵심입니다.
공개 자료 참고 및 저작권 안내
손실함수의 정의와 구현 개념을 확인하기 위해 공개 문서와 오픈소스 프로젝트의 공식 자료를 참고했습니다.
- Google ML Crash Course · Linear regression: Loss — L1·L2, MAE·MSE·RMSE의 정의, 단위와 이상치 민감성 확인. 별도 표시가 없는 Google Developers 문서는 CC BY 4.0, 코드 예제는 Apache 2.0으로 안내됩니다.
- TensorFlow · Huber loss — \(\delta\)를 경계로 제곱 구간과 선형 구간을 결합하는 공식 확인. TensorFlow 코드는 Apache License 2.0으로 공개됩니다.
- scikit-learn User Guide · Regression metrics — 회귀 평가 지표의 정의와 적용 시 주의점 확인. scikit-learn은 BSD 3-Clause 라이선스로 공개됩니다.
외부 문장, 코드, 데이터, 표, 그래프와 문제를 복제하지 않았습니다. 대기 시간 데이터, 모델 비교, 모든 계산, 활동 및 SVG 손실 그래프는 이 강의를 위해 독립적으로 작성했습니다. 실제 라이브러리를 사용할 때에는 해당 버전의 라이선스와 함수의 축약 방식도 확인하세요.
학습 원칙
계산 결과만 제시하지 않고 사용한 데이터, 수학적 가정, 평가 기준과 적용 한계를 함께 설명합니다. 개인정보와 편향 가능성을 확인하고 인공지능의 출력을 확정된 사실로 해석하지 않습니다.
교육과정 구성 근거
국가교육과정정보센터의 2022 개정 교육과정, 한국과학창의재단 수학과 교육과정 개발 연구, 부산광역시교육청 고교학점제 과목 안내를 과목 성격과 내용 범위 확인에 참고했습니다. 단원 구성, 강의명, 설명과 예시는 이 사이트의 학습 흐름에 맞게 독립적으로 작성했습니다.
실제값이 (3,5,8,10), 모델 P의 예측이 (2,6,7,13), 모델 Q의 예측이 (3,5,10,10)일 때 두 모델의 MAE, MSE와 RMSE를 계산하세요. 지표별로 더 나은 모델을 고르고, 큰 예측 오류의 피해가 특히 큰 상황에서는 어떤 모델을 선택할지 설명하세요.