ML : 라그랑주 승수법 (Lagrange Multiplier)

라그랑주 승수법

 

Idea

라그랑주 승수법의 idea

라그랑주 승수법의 아이디어는 f(x,y)=k 라는 "목적함수" (ex. score 함수, error 함수) 를

"조건함수"인 g(x,y)=c 인 함수가 주어질 때, f(x,y)의 극댓값 or 극솟값이 만들어진다.

목적

최적화 문제 (최소화 or 최대화 하는 값을 찾는 문제)룰 풀 때!! 주로 사용한다.

f(x,y), g(x,y)=c 가 접할 때, f(x,y)의 극댓값 혹은 극솟값이 만들어진다.

 

결론

정리

라그랑주 승수의 기본 아이디어는 f(x,y)와 g(x,y)=c가 서로 접할 때, f(x,y)의 극대, 극소값이 발생한다.

 

이 점은 위의 원을 보고 더 자세히 설명할 수 있다.

f,g를 각각 미분했을 때 위의 원 그림을 보면, 접점 구간에서는 각각 편미분의 방향이, 기울기의 방향이 일치한다.

이 점을 이용해서 라그랑주 승수법은 L(x,y,λ) = f(x,y) - λ(g(x,y)-c)로 정의할 수 있다.

 

그래프 위에 있는 산 모형을 보고도 설명이 가능하다.

우리는 L(x,y,λ) = f(x,y) - λ(g(x,y)-c) 의 극대값, 극소값을 찾아야한다.

따라서 우리는 f' - g' 이 0인 지점을 찾아야한다. 그 지점이 바로 우리가 원하는 L(x,y,λ) = f(x,y) - λ(g(x,y)-c) 의 최적화된 값 (극댓값 or 극솟값) 이다.

 

우리는 Lagrange Multiplier 를 이용하여, SVM에서 최적화된 Model을 만드는데 사용한다.