DeepLearning2 10. Sequence Modeling: Recurrent and Recursive Nets RNN이란 Recurrent Neural Network로 순차적(Sequential) 데이터를 처리하는데 특화된 신경망이다. 이는 Width, Height에 따라 손쉽게 확장되는 Convolution과 비슷하게 RNN의 경우는 Data의 길이에 따라 손쉽게 확장 가능하며 가변 길이 데이터도 처리 가능하다. RNN과 Parameter Sharing 일반 Multilayer 모델에 Sequential Data를 적용시에는 각 sequence마다 다른 Parameter를 적용해야 하며 이는 다음과 같은 문제를 야기한다. Train 때 학습하지 못한 길이의 데이터에 대해서는 일반화가 불가 시간의 서로 다른 지점에서 statistical strength를 공유 불가능 하지만 RNN은 Parameter Sharin.. 2022. 12. 20. 4. Numerical Computation 머신러닝 알고리즘들은 많은 수치적 계산을 필요로 하는데, 머신러닝 알고리즘들은 보통 공식을 풀어내는 것이 아닌 반복 프로세스를 통해 추정치를 업데이트하는 방식으로 해결하기 때문이다. 이때 디지털 컴퓨터에서는 무한히 많은 실수를 한정된 메모리로 표현하려다 보니 정확하게 표현하는 것이 어려워 여러 수치적 문제가 발생할 수 있음 Overflow and Underflow 유한한 Bit 수로 무한히 많은 실수를 표현하려다 보니 approximation 에러가 발생한다. 이는 대부분 Rounding error라 불리는 반올림 오류로 매우 사소해 보이지만 이를 처리해주지 않는다면, 이론에서는 가능했던 것이 실제에서는 에러가 발생하는 경우가 있다. 이러한 Rounding Error의 좋은 예시로 Underflow가 있.. 2022. 10. 10. 이전 1 다음
