Deep Learning (1) 썸네일형 리스트형 Epoch, Batch, Iteration 용어 정리 0. Mini Batch Gradient Descent Batch Gradient Descent와 Stochastic Gradient Descent의 합의 알고리즘인 Mini-Batch Gradient Descent는 속도 및 일반화 측면에서 다른 최적화 기법에 비해 상대적으로 좋은 성적을 내므로 Neural Network와 같은 모델에서 자주 채택됩니다. Mini Batch Gradient Descent의 기본적인 아이디어는 전체 데이터 셋을 여러개의 Mini Batch로 쪼개어 각각의 묶음에 대해 Weight Update 값을 계산하여 Local Minima에 갇히는 상황을 회피하고 SGD와 같이 빠른 속도로 최적점에 다가가는 것을 목표로하는 알고리즘을 사용하는 것입니다. 이후 해당 기법을 이용한 o.. 이전 1 다음