경사하강법
-
[Optimizer] Optimizer-경사하강법(Gradient Descent)Artificial Intelligence/Deep learning 2021. 5. 19. 14:34
경사 하강 학습법은 최적화 이론의 한 방법입니다. 최적화 이론은 어떤 함수가 있을 때 함수의 출력이 최적의 값을 찾아내는 이론을 말합니다. 그중에서도 딥러닝에서는 경사 하강법을 많이 사용하는데요 학습한 부분들을 정리하며 포스팅해보겠습니다. 수정해야 할 부분이 있으시면 댓글로 달아주시면 감사하겠습니다 경사 하강법(Gradient Descent) 함수 $f(x)$에서 경사를 따라 여러번의 스텝(step)을 통해 최적점(최솟값)으로 다가가는 것을 경사 하강법이라고 합니다 경사는 기울기(미분, Gradient)를 이용해 계산합니다. 경사 하강법(Gradient Descent)의 학습률(Learning rate) 경사하강법에서 학습률(Learning rate)을 값을 지정해야 해야 합니다.(Step size라고 ..