ML : Model : LDA : 사영(Projection)

정사영

정사영

v의 u로 위로의 사영이며, proj u v이라고 말한다.

만약 u의 길이가 1 (u가 단위벡터라면), 위 벡터의 크기는 내적의 값과 일치한다.

v의 벡터의 크기는 |u||v|/|u|**2 *u = |v|cosθu 이므로 |v|cosθ이다.

v와 u의 내적의 크기는 |v||u|cosθ = u는 단위벡터이므로 내적의 크기는 |v|cosθ다.

---

정사영의 LDA 적용

목표 : 분산은 최소화하면서 평균을 최대화 하는 사영을 찾는 것.

가정 : a를 단위벡터라고 가정

사영된 자료 : x 자료들을 a 단위벡터로 정사영한 것이다. 이는 내적값과 동일하다.

사영된 평균 : μ1, μ2 를 m1, m2로 사영한 것. 대각선으로 사영한 것이다. μT * a 는 내적, 이는 스칼라 값을 가진다.

사영된 표본분산 : 다음과 같다.

---

정사영의 목표

"분산은 최소화하면서 평균을 최대화 하는 사영을 찾는 것."

 

정사영의 목표

첫 번째 그림에서, m1-m2 을 분자 위로 올려서 평균을 최대화하는 부분,

s1**2 + s2**2 가 분산을 분모로 내려서 최소화했을 때, argmax (제일 값이 큰 것) 한다.

 

두 번째 그림에서는 이를 행렬로 수식화 한 그림이다.

a는 정사영으로 내린 eigen vector, 단위벡터이다.

B 는 (m1 - m2)**2 을 행렬로 표현한 것이다.

W는 s1**2 + s2**2 을 행렬로 표현한 것이다.

---

사영과 확률모델과의 연관성

argmax 값 미분

여기서 argmax 안에 함수를 미분한 이유는, 이 함수에서 최대값을 찾아야 해서 미분값을 0으로 가정하고 풀이를 한다.

즉, 정사영과 확률모델과의 연관성을 찾기 위한 하나의 방법이다.

 

결론은 저렇게 W-1Ba = (aTWa aTBa/(aTWa)**2) 가 나온다.

 

정사영과 확률모델과의 연관성

λ 는 고윳값으로 eigen value다. 또한 W-1Ba 는 A에 해당하며 Aa = λa 에 해당한다.

(μ1 - μ2)T * a 는 내적, 이는 스칼라 값을 가진다. 따라서 k = (μ1 - μ2)T*a 라고 치환을 하였다.

vector의 길이는 무시하고 방향만 생각한다면, a = W-1(μ1 - μ2).

 

새로운 x data가 k 범주 나올 확률 / 새로운 x data가 l 범주로 나올 확률 한 식을 보면,

빨간색 부분을 a로 대체할 수 있다.

또한 1/2 * (μk + μl)T 부분은 밑에 그림에서 μk와 μl 점 중간 지점을 말한다.

 

출처 : fastcampus

따라서 우리가 만든 확률모델은 eigen vector, a 를 수직으로 하고, b = 1/2 * (μk + μl)T 부분을 지나는

즉, 확률모델이 범주 k, l 을 나누는 초평면이 된다.