벡터의 각도로 문서 유사도 측정하기

왜 ‘각도’로 문서를 비교할까?

어휘 순서가 (수학, 데이터, 모델, 학습)일 때 짧은 문서와 그 내용을 두 번 반복한 문서를 생각해 봅시다.

두 벡터의 끝점은 다르지만 원점에서 같은 방향을 가리킵니다. 반복 횟수보다 단어의 구성 비율에 관심이 있다면 두 문서를 가장 비슷하다고 판단하는 것이 자연스럽습니다.

공식은 어디에서 오는가?

벡터의 내적은 성분별 곱의 합으로 계산할 수도 있고, 두 벡터의 크기와 사이각으로 나타낼 수도 있습니다.

두 벡터가 영벡터가 아니라면 양변을 크기의 곱으로 나눌 수 있습니다.

즉 코사인 유사도는 새로운 임의의 공식이 아니라, 내적에서 두 벡터의 길이를 분리해 낸 값입니다.

계산 예제 · 앞 강의의 세 문서 비교

앞 강의에서 만든 벡터 \(\mathbf{d}_1=(1,1,1,0)\), \(\mathbf{d}_2=(0,1,1,1)\), \(\mathbf{d}_3=(1,0,1,1)\)을 그대로 사용합니다.

1. 내적: \(\mathbf{d}_1\cdot\mathbf{d}_2=1\times0+1\times1+1\times1+0\times1=2\)
2. 각 벡터의 크기: \(\lVert\mathbf{d}_1\rVert_2=\lVert\mathbf{d}_2\rVert_2=\sqrt{3}\)
3. 크기의 곱: \(\sqrt{3}\times\sqrt{3}=3\)
4. 나누기: \(\operatorname{cosSim}(\mathbf{d}_1,\mathbf{d}_2)=2/3\approx0.667\)

두 문서는 ‘데이터’와 ‘모델’이라는 두 좌표를 공유합니다. 같은 방식으로 계산하면 세 쌍의 유사도는 모두 \(2/3\)입니다. 공통 토큰 수와 각 벡터의 크기가 모두 같기 때문입니다.

단위 벡터로 보면 더 간단하다

L2 정규화는 벡터를 자신의 크기로 나누어 길이를 1로 만드는 과정입니다.

정규화된 두 벡터에서는 크기의 곱이 1이므로 코사인 유사도가 곧 내적입니다.

세 가지 비교 방법은 무엇을 다르게 보는가?

예를 들어 \(\mathbf{y}=c\mathbf{x}\)이고 \(c>0\)이면 코사인 유사도는 항상 1입니다. 따라서 문서 길이 자체가 중요한 과제라면 코사인 값만 사용하지 말고 총 토큰 수 같은 특징을 따로 보존해야 합니다.

여러 문서를 한 번에 비교하기

행마다 L2 정규화한 문서 벡터를 쌓아 행렬 \(\widehat{X}\)를 만들면 모든 문서 쌍의 유사도를 행렬곱으로 계산할 수 있습니다.

대각 원소는 문서와 자기 자신의 유사도이므로 1이고, \(S_{ij}=S_{ji}\)이므로 행렬은 대칭입니다. 검색에서는 질의 벡터와 각 문서의 유사도를 구해 큰 값부터 정렬할 수 있지만, 기준값은 과제와 검증 자료로 정해야 합니다.

표현이 바뀌면 유사도도 바뀐다

코사인 유사도는 벡터에 들어 있는 정보만 비교합니다. 높은 값이 두 문장의 의미가 반드시 같다는 증명도 아니고, 낮은 값이 관련성이 전혀 없다는 증명도 아닙니다.

학습 원칙

계산 결과만 제시하지 않고 사용한 데이터, 수학적 가정, 평가 기준과 적용 한계를 함께 설명합니다. 개인정보와 편향 가능성을 확인하고 인공지능의 출력을 확정된 사실로 해석하지 않습니다.

교육과정 구성 근거

국가교육과정정보센터의 2022 개정 교육과정, 한국과학창의재단 수학과 교육과정 개발 연구, 부산광역시교육청 고교학점제 과목 안내를 과목 성격과 내용 범위 확인에 참고했습니다. 단원 구성, 강의명, 설명과 예시는 이 사이트의 학습 흐름에 맞게 독립적으로 작성했습니다.