과적합 방지 기법 (1) 썸네일형 리스트형 [Deep Learning from Scratch] 6장. 학습 관련 기술들 1. 가중치 값의 갱신 신경망 학습의 목적은 손실 함수(loss function)의 값을 가능한 낮추는 것으로 이는 곧 신경망의 매개변수, 즉 가중치의 최적값을 찾는 문제로 귀결된다. 이러한 문제를 최적화(Optimization)라고 한다. 일반적으로 인공 신경망의 매개변수 공간은 매우 넓고 복잡해서 최적의 해결책을 찾는 것은 결코 쉬운 작업이 아니다. A. 경사 하강법(Gradient Descent) 가장 널리 사용되는 가중치 값의 최적화 솔루션 중 하나는 경사 하강법(Gradient Descent)이라는 기법이다. 경사 하강법은 각 입력값이 순전파된 이후 실제 값(Ground Truth)과 일치시키기 위해 계산된 매개변수(가중치)의 미분 값을 이용해 기울어진 방향으로 값을 갱신하는 일을 계속 반복해 .. 이전 1 다음
