Optimization : Bayesian Optimization
우리는 실생활에서 어떤 것을 최적화를 하고 싶어한다. 예를들어, 나에게 10분이 주어질 때, 제일 최적의 경로를 예측한다고 하면, 커피를 뽑고, 모니터를 키고, 모니터를 키는 동안 약을 먹고, 약을 먹는동안 다 내려진 커피를 가지고 정수기로 가서 물을 담는다. 이러한 과정을 어찌보면 실생활에서 누구나 쓰는 최적화 기법이다. 조금만 더 ML 관점으로 적어보자. 보통 Deep Learning은 아키텍쳐의 구조, 신경망의 깊이와 넓이, L1, L2 계수, batch 크기, epoch 크기 등등 정말 수십가지의 hyperparameter들이 존재한다. 이러한 parameter 들을 어떤 파라미터들을 어떻게 적용했을 때, 제일 최상의 max 하기 위해서는 어떻게 조절해야하는지 궁금하다. 이러한 과정도 최적화, O..
2022. 5. 25.
