22개정 인공지능 수학 · Unit 1 · 수학으로 읽는 인공지능과 데이터

큰 데이터에서 패턴과 한계 찾기

자료의 행이 많다고 자동으로 좋은 데이터가 되지는 않습니다. 누구에게서 무엇을 어떻게 측정했는지, 빠진 값과 오류는 없는지, 실제 적용 상황과 같은 분포인지 확인해야 합니다.

이번 강의의 목표

모집단과 표본을 구분하고, 중심과 퍼짐을 계산하며, 데이터 오류와 표본 편향을 찾아 모델에 미칠 영향을 설명합니다.

\[\text{collect}\rightarrow\text{inspect}\rightarrow\text{summarize}\rightarrow\text{validate}\]

큰 데이터의 네 관점

자료의 양, 생성 속도, 형태의 다양성뿐 아니라 목적에 맞는 정확성·완전성·대표성을 함께 확인합니다.

\[\text{useful data}=f(\text{quantity, quality, relevance})\]

중심과 퍼짐

평균만 보지 않고 중앙값, 범위, 표준편차와 분포의 모양을 함께 살펴야 집단의 특징을 제대로 비교할 수 있습니다.

\[\bar{x}=\frac1n\sum_{i=1}^{n}x_i,\quad s=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2}\]

대표성 점검

표본의 집단별 비율이 목표 모집단과 크게 다르면 더 많은 자료를 모아도 같은 방향의 편향이 반복될 수 있습니다.

\[\widehat{P}_{sample}(G)\approx P_{target}(G)\]

큰 데이터에서 지식이 만들어지는 과정

1. 질문목표 모집단과 예측 대상을 정한다

2. 수집측정 방법과 표본 추출 방법을 기록한다

3. 검사결측·중복·범위·단위·라벨을 확인한다

4. 요약표와 그래프로 중심·퍼짐·분포를 본다

5. 검증보지 않은 자료에서도 패턴이 유지되는지 확인한다

6. 기록한계, 변경 이력과 허용된 용도를 남긴다

관측된 패턴은 데이터가 만들어진 과정의 결과입니다. 따라서 분석값만 보지 말고 수집 과정 → 데이터 분포 → 결론을 거꾸로 추적할 수 있어야 합니다.

예제 상황: 교내 자율학습실 이용 예측

다음은 수학적 탐구를 위해 만든 가상 데이터입니다. 매시간의 좌석 이용률을 예측한다고 가정합니다.

한 행은 한 시간대의 관측 사례입니다.
특징 또는 라벨	뜻	가능한 문제
요일	월요일~일요일	시험 기간과 평상시의 차이가 숨겨질 수 있음
시간	0~23시	12시간제와 24시간제를 섞으면 오류 발생
날씨	맑음·비·눈 등	기록 기준이 사람마다 다를 수 있음
예약 수	예측 시점까지 확인된 예약	마감 뒤의 최종 예약 수를 쓰면 데이터 누출
좌석 이용률	사용 좌석/전체 좌석	센서 고장이나 중복 기록 가능

\[\text{이용률}=\frac{\text{사용 중인 좌석 수}}{\text{사용 가능한 전체 좌석 수}}\times100\%\]

데이터가 100만 행이어도 같은 센서 오류가 반복되거나 시험 기간 자료만 들어 있다면 새로운 학기의 평상시 이용률을 잘 설명하지 못할 수 있습니다.

중심만 보면 놓치는 것

어느 날의 체류 시간(분)이 \(18,20,21,22,24,25,26,210\)이었다고 합시다.

\[\bar{x}=\frac{366}{8}=45.75,\qquad \operatorname{median}=\frac{22+24}{2}=23\]

210분이 실제 장시간 이용인지 센서 종료 누락인지에 따라 처리가 달라집니다. 무조건 삭제하지 말고 원인을 확인해야 하며, 극단값이 있는 분포에서는 중앙값이 전형적인 값을 더 잘 나타낼 수 있습니다.

퍼짐과 이상치

두 집단은 평균이 같아도 퍼짐이 다를 수 있습니다. 편차와 표준편차는 값들이 평균에서 얼마나 떨어져 있는지를 요약합니다.

\[d_i=x_i-\bar{x},\qquad s=\sqrt{\frac{1}{n}\sum_{i=1}^{n}d_i^2}\]

표준편차가 크면 관측값의 변동도 큽니다. 다만 ‘평균에서 멀다’는 사실만으로 오류라고 단정할 수는 없습니다. 드문 현상 자체가 탐구 대상일 수도 있기 때문입니다.

직접 만든 표본 구성 비교 그래프전체 학생 구성과 점심시간 자율 응답 표본의 학년 비율을 비교합니다.

그래프의 수치와 SVG는 이 강의를 위해 독립적으로 만들었습니다.

대표성을 수로 확인하기

전체 학생의 학년 비율이 \(P=(0.36,0.34,0.30)\), 점심시간 자율 응답 100명의 비율이 \(Q=(0.10,0.20,0.70)\)이라고 합시다. 두 분포의 차이를 다음과 같이 간단히 요약할 수 있습니다.

\[D=\frac12\sum_{k=1}^{3}|P_k-Q_k|=\frac12(0.26+0.14+0.40)=0.40\]

\(D=0\)이면 학년 구성 비율이 같고, 값이 커질수록 구성이 다릅니다. 이 예제의 큰 차이는 3학년이 지나치게 많이 응답했기 때문입니다. 응답자 수를 10배로 늘려도 같은 방식으로 모집하면 편향이 사라지지 않습니다.

개선 방법학년별 무작위 추출 또는 모집단 비율에 맞춘 층화 표집을 사용하고, 학년별 응답률과 미응답 이유를 함께 기록합니다.

데이터 품질 검사표

결측값

값이 없는 비율을 열별·집단별로 계산합니다. 삭제, 대체, 결측 여부를 별도 특징으로 표시하는 선택에는 각각 가정이 필요합니다.

\(r_{miss}=\frac{\text{missing count}}{n}\)

중복

같은 로그가 재전송되면 특정 행동이 실제보다 자주 나타납니다. 고유 ID와 시각을 이용해 중복 기준을 정의합니다.

\(r_{dup}=\frac{\text{duplicate rows}}{n}\)

범위·단위

이용률은 0~100%인지, 시간이 0~23인지, 분과 초가 섞이지 않았는지 검사합니다.

\(0\le u\le100\)

라벨 오류

정답 라벨의 정의가 명확하고 여러 기록자가 같은 기준을 쓰는지 표본을 다시 확인합니다.

\(r_{error}=\frac{\text{incorrect labels}}{\text{audited labels}}\)

정제한 뒤에는 무엇을 삭제·수정·대체했는지 변경 이력을 남겨야 결과를 재현하고 잘못된 결정을 되돌릴 수 있습니다.

정규화와 정보 보존

서로 다른 단위와 범위의 수치 특징은 같은 척도로 바꿀 수 있습니다. 최솟값과 최댓값이 안정적일 때 0~1 선형 변환은 다음과 같습니다.

\[x'=\frac{x-x_{min}}{x_{max}-x_{min}}\]

정규화는 순서와 상대적 위치를 바꾸어 표현할 뿐, 결측값이나 표본 편향을 해결하지 않습니다. 학습 데이터에서 정한 변환을 실제 입력에도 동일하게 적용해야 합니다.

상관관계와 인과관계

시험 기간에 자율학습실 이용률과 카페인 음료 판매량이 함께 늘어도 한 변수가 다른 변수를 직접 증가시켰다고 단정할 수 없습니다. ‘시험 기간’이라는 제3의 변수가 둘 모두에 영향을 주었을 수 있습니다.

\[\operatorname{corr}(X,Y)\ne0\;\not\Rightarrow\;X\text{ causes }Y\]

산점도와 상관계수는 패턴을 찾는 도구이지 원인을 증명하는 도구가 아닙니다. 인과 주장은 비교 가능한 집단, 시간 순서, 대안 설명을 검토하는 추가 설계가 필요합니다.

본 적 없는 데이터에서도 통할까?

학습 60%패턴과 매개변수 학습

검증 20%모델과 기준 선택

테스트 20%마지막 일반화 평가

테스트 자료를 반복해서 보며 모델을 고치면 테스트에도 간접적으로 맞추게 됩니다. 같은 학생의 여러 로그가 학습과 테스트에 나뉘는 경우처럼 서로 의존하는 자료도 성능을 부풀릴 수 있으므로, 문제에 따라 학생·날짜·학교 단위로 분리해야 합니다.

데이터 누출

예측 시점에는 알 수 없는 최종 결과나 미래 정보를 특징으로 사용한 경우

\(X_{train}\text{ contains future information}\)

분포 변화

공사로 좌석 수가 줄거나 운영 시간이 바뀌어 과거와 현재의 입력 분포가 달라진 경우

\(P_{train}(X)\ne P_{use}(X)\)

활동 1 · 어떤 요약값을 쓸까?

체류 시간 \(12,15,17,18,18,20,21,199\)의 평균과 중앙값을 구하고, 센서 종료 누락 가능성이 있을 때 어떤 값을 먼저 보고할지 설명하세요.

계산과 해설 보기

합은 320이므로 평균은 40분이고 중앙값은 \((18+18)/2=18\)분입니다. 199분의 원인을 확인하기 전에는 중앙값을 전형적인 체류 시간으로 함께 제시하는 편이 안전합니다. 극단값을 삭제한다면 삭제 기준과 삭제 전후 결과를 모두 기록해야 합니다.

활동 2 · 표본을 다시 설계하라

방과 후 자율학습실 이용 의향을 조사하려고 현재 자율학습실에 있는 학생 300명에게만 질문했습니다.

목표 모집단과 실제 표본을 구분하세요.
예상되는 편향의 방향을 설명하세요.
더 나은 표집 방법을 한 가지 설계하세요.

해설 보기

목표가 전교생이라면 실제 표본은 이미 자율학습실을 이용 중인 학생에 치우친 편의 표본입니다. 이용 의향을 실제보다 높게 추정할 가능성이 큽니다. 학년·통학 유형 등 중요한 층별로 명단에서 무작위 추출하고 층별 응답률을 공개하는 방법을 사용할 수 있습니다.

미니 프로젝트 · 데이터 카드 만들기

작은 데이터셋을 하나 정하고 다음 항목을 한 쪽으로 기록하세요. 데이터 파일 자체보다 어떻게 만들어졌고 어디까지 사용할 수 있는지를 설명하는 것이 목표입니다.

목적: 해결하려는 질문과 사용하지 말아야 할 목적
구성: 행 수, 특징, 라벨, 수집 기간과 단위
표본: 목표 모집단, 실제 수집 대상, 빠졌을 가능성이 있는 집단
품질: 결측·중복·이상치·라벨 오류의 수와 처리 방법
분할: 학습·검증·테스트를 나눈 기준과 누출 방지 방법
한계: 분포 변화, 개인정보, 알려진 편향과 업데이트 계획

개념의 정확성과 수업 범위를 확인하기 위해 다음 공개 자료를 참고했습니다.

Google Machine Learning Crash Course · Data characteristics — 데이터의 양·품질·결측값 개념 확인.
Numerical data · Scrubbing과 Normalization — 중복·범위 오류·정규화 개념 확인. Google Developers 페이지는 별도 표시가 없는 한 본문 CC BY 4.0, 코드 Apache 2.0으로 안내됩니다.
Google ML Universal Guide · Data quality and interpretation — 표집 과정과 데이터 품질 점검 질문 참고.
Monitoring ML pipelines — 데이터 슬라이스와 학습·적용 데이터 차이의 개념 확인.
PAIR Data Cards Playbook — 데이터 문서화 확장 자료. 저장소는 CC BY-SA 4.0 라이선스를 명시합니다.

외부 자료의 문장, 표, 사례, 그림이나 코드를 복제하지 않았습니다. 본문의 가상 데이터, 계산 문제, 대표성 거리와 SVG 그래프는 이 강의를 위해 독립적으로 작성했습니다. 링크 자료를 직접 재사용할 때에는 각 페이지의 최신 라이선스와 출처 표시 조건을 확인하세요.

학습 원칙

계산 결과만 제시하지 않고 사용한 데이터, 수학적 가정, 평가 기준과 적용 한계를 함께 설명합니다. 개인정보와 편향 가능성을 확인하고 인공지능의 출력을 확정된 사실로 해석하지 않습니다.

교육과정 구성 근거

국가교육과정정보센터의 2022 개정 교육과정, 한국과학창의재단 수학과 교육과정 개발 연구, 부산광역시교육청 고교학점제 과목 안내를 과목 성격과 내용 범위 확인에 참고했습니다. 단원 구성, 강의명, 설명과 예시는 이 사이트의 학습 흐름에 맞게 독립적으로 작성했습니다.

Checkpoint

어떤 데이터셋의 행 수가 10배로 늘었지만 모두 같은 온라인 자율 응답 방식으로 수집되었고 결측률도 12%로 유지되었습니다. 데이터가 커졌다는 사실만으로 대표성과 품질이 좋아졌다고 말할 수 없는 이유를 설명하고, 확인할 통계량 두 가지와 수집 개선 방법 한 가지를 제안하세요.