[Training Neural Network] epoch, batch, and iteration

epoch

-one epoch = forward pass(순방향 패스) + backward pass(역방향 패스)

-전체 데이터 셋에 대해 학습을 한 번 완료한 상태

-forward pass: 파라미터를 사용하여 입력부터 출력까지의 각 계층의 weight을 계산하는 과정을 거치는 것

-backward pass: forward pass를 반대로 거슬러 올라가며 다시 한 번 계산 과정을 거쳐 기존의 weight을 수정하는 것

 

batch size

-batch: forward/backward pass를 한 번 거치는 과정

-batch size: 한 번의 batch마다 주는 데이터 샘플의 size

 

iteration

-epoch를 나누어 실행하는 횟수

 

 

https://www.slideshare.net/w0ong/ss-82372826