Relu1 DL : Deep Learning 개요 : 인공 신경망, Activation Function 1. Feed-Forward Neural Network 2. Fully-Connected Layer, Dense Layer 어떤 층의 모든 뉴런이 이전 층의 모든 뉴런과 연결되어있는 층을 전결합층이라고 한다. 위의 그림에서 FFNN에 해당한다. 3. 활성화 함수 (Activation Function) (1) 활성화 함수의 특징 - 비선형 함수(Nonlinear function) 층을 계속 쌓는다고 가정해보겠습니다. 활성화 함수는 f(x)=Wx라고 가정합니다. 여기다가 은닉층을 두 개 추가한다고하면 출력층을 포함해서 y(x)=f(f(f(x))가 됩니다. 이를 식으로 표현하면 W×W×W×X입니다. 그런데 이는 잘 생각해보면 W의 세 제곱값을 k라고 정의해버리면 y(x)=kx와 같이 다시 표현이 가능합니다. .. 2020. 3. 8. 이전 1 다음
