ML : 라그랑주 승수법 (Lagrange Multiplier)
라그랑주 승수법 Idea 라그랑주 승수법의 아이디어는 f(x,y)=k 라는 "목적함수" (ex. score 함수, error 함수) 를 "조건함수"인 g(x,y)=c 인 함수가 주어질 때, f(x,y)의 극댓값 or 극솟값이 만들어진다. 목적 최적화 문제 (최소화 or 최대화 하는 값을 찾는 문제)룰 풀 때!! 주로 사용한다. f(x,y), g(x,y)=c 가 접할 때, f(x,y)의 극댓값 혹은 극솟값이 만들어진다. 결론 라그랑주 승수의 기본 아이디어는 f(x,y)와 g(x,y)=c가 서로 접할 때, f(x,y)의 극대, 극소값이 발생한다. 이 점은 위의 원을 보고 더 자세히 설명할 수 있다. f,g를 각각 미분했을 때 위의 원 그림을 보면, 접점 구간에서는 각각 편미분의 방향이, 기울기의 방향이 일치..
2020. 2. 12.
ML : Model : K-Nearest-Neighbor, KNN
K-Nearest-Neighbor, KNN 목적, 정의 위와 같은 그림1에서 우리는 초록색 원이 세모인지, 네모인지를 구별하는 모델을 만들 것 이다. 이 때, 실선을 기준으로 모델을 만든다면, (k=3) 초록색 원이 세모일 것이라고 판단할 것이다. 하지만, 점선을 기준으로 모델을 만든다면, (k=5) 초록색 원은 네모가 더 많기 때문에 네모라고 판단할 것이다. 원 주위에 있는 갯수들, k까지를 선으로 긋는 모델을 정해줌으로써 모델을 만들 수가 있다. 또한 여기에 떨어진 거리를 weight를 주어, category를 판별할 수 있다. 이처럼 k의 갯수를 조정, 거리에 따른 weight를 조정해서 model을 만드는 것을 K-Neighbor-Nearest, KNN이다. k, weight 수치 결정 너무 큰 ..
2020. 2. 9.
