본문 바로가기

차원의 저주2

ML : 회귀분석 : PCA (Principal Component Analysis) 차원축소 등장 배경 차원의 저주 1차원에서 50%의 자료를 가지고 있다고 할 때, 차원을 늘리면 (변수를 추가하려면) 25%의 자료를 가지고 있고, 또 차원을 늘리면 12.5%의 자료를 가지고 있다고 얘기할 수 있다. 차원이 커질수록 한정된 자료는 커진 차원의 패턴을 잘 설명하지 못한다. 차원이 증가함에 따라 model의 complexity가 증가한다. 차원 축소의 필요성 KNN이 있다고 가정할 때, 쓸데없는 변수가 추가가 된다면 model의 성능에 악영향을 끼친다. 상관계수가 매우 큰 서로 다른 독립변수 예측하고자 하는 변수와 관련이 없는 변수 따라서 성능을 높이기 위해 차원축소를 진행한다. 이외의 방법 변수 선택법 penalty 기반 regression CNN Drop-Out & Bagging 공분산 행렬 정.. 2020. 3. 7.
ML : Model : K-Nearest-Neighbor, KNN K-Nearest-Neighbor, KNN 목적, 정의 위와 같은 그림1에서 우리는 초록색 원이 세모인지, 네모인지를 구별하는 모델을 만들 것 이다. 이 때, 실선을 기준으로 모델을 만든다면, (k=3) 초록색 원이 세모일 것이라고 판단할 것이다. 하지만, 점선을 기준으로 모델을 만든다면, (k=5) 초록색 원은 네모가 더 많기 때문에 네모라고 판단할 것이다. 원 주위에 있는 갯수들, k까지를 선으로 긋는 모델을 정해줌으로써 모델을 만들 수가 있다. 또한 여기에 떨어진 거리를 weight를 주어, category를 판별할 수 있다. 이처럼 k의 갯수를 조정, 거리에 따른 weight를 조정해서 model을 만드는 것을 K-Neighbor-Nearest, KNN이다. k, weight 수치 결정 너무 큰 .. 2020. 2. 9.