sujin's 개발 로그

LSTM은 RNN의 변형이고, GRU는 LSTM의 변형이라고 할 수 있습니다. RNN Cell의 문제점 1. BPTT(BackPropagation Through Time)의 문제점 RNN에서의 역전파 방법인 BPTT는 아래의 그림과 같이 모든 타임스텝마다 처음부터 끝까지 역전파합니다. 그렇기 때문에 타임 스텝이 클 경우 RNN을 위와 같이 펼치게 되면 매우 깊은 네트워크가 됩니다. 이러한 네트워크는 vanishing & exploding gradient 문제가 발생할 가능성이 큽니다. 또한 계산량이 많기 때문에 한 번 학습하는데 아주 오랜 시간이 걸린다는 문제가 있습니다. Truncated BPTT -BPTT의 문제를 해결하기 위해 등장한 방법입니다. -아래 그림과 같이 타임 스텝을 일정 구간(일반적으로..

Sequence data -이야기를 들을 때, 어떤 단어를 이해하기 위해서는 이전에 사용한 단어들을 바탕으로 이해할 수 있습니다. -NN/CNN은 하나의 입력에 대해 하나의 출력을 나타내는 간단한 형태이기 때문에 위와 같은 시리즈 데이터(순차적으로 처리하는 데이터)를 처리하기 불편합니다. x: 입력값, h: 출력값 위와 같은 series data는 이전 데이터가 다음 연산에 영향을 미치는 구조로 되어있습니다. RNN(Recurrent Neural Network) RNN의 구조 현재 state의 연산 결과를 자기 자신에게 다시 입력하는 구조입니다. 이런 형태를 통해 y값을 출력해냅니다. RNN의 계산 방법 -x라는 입력값과 바로 이전의 RNN state 값을 입력값으로 어떤 function에 대입하여 새로..