gradient vanishing exploding1 ML & DL : 오류 정리 딥러닝에서 흔히 일어나는 오류들을 정리 1. Learning Rate large learning rate : overshooting = rate가 너무 크면 step이 너무커서 발산해버릴 수도 있다. small learning rate : 너무 오래걸리고 이게 최소점이 아닌데도 멈춘다. learning rate는 최소한 0.01에서 시작해야한다. 그리고 cost 함수를 출력해보고 줄일지 말지 결정한다. 2. Data 간의 Gap 만약 weight가 2개면, x1, x2의 datd 간에 gap이 크지 않을 경우, 다음과 같이 그래프를 나타내며 가운데로 향해서 z축의 값인 cost함수의 최솟값을 찾을 수 있다. 만약 x1, x2간의 gap이 큰 경우에는 x1에 영향을 주는 w1은 큰 폭으로 변하게 되고, x.. 2020. 3. 8. 이전 1 다음
