공부 및 정리/DeepLearning Book7 10. Sequence Modeling: Recurrent and Recursive Nets RNN이란 Recurrent Neural Network로 순차적(Sequential) 데이터를 처리하는데 특화된 신경망이다. 이는 Width, Height에 따라 손쉽게 확장되는 Convolution과 비슷하게 RNN의 경우는 Data의 길이에 따라 손쉽게 확장 가능하며 가변 길이 데이터도 처리 가능하다. RNN과 Parameter Sharing 일반 Multilayer 모델에 Sequential Data를 적용시에는 각 sequence마다 다른 Parameter를 적용해야 하며 이는 다음과 같은 문제를 야기한다. Train 때 학습하지 못한 길이의 데이터에 대해서는 일반화가 불가 시간의 서로 다른 지점에서 statistical strength를 공유 불가능 하지만 RNN은 Parameter Sharin.. 2022. 12. 20. 9. Convolutional Neural Networks 작성중 2022. 12. 20. 7. Regularization for Deep Learning https://rustic-sky-8dc.notion.site/7-Regularization-for-Deep-Learning-38495a7ec08d46538442fd04f8ec0957 7. Regularization for Deep Learning Parameter Norm Penalties rustic-sky-8dc.notion.site 정리 중.. 2022. 12. 20. 6. Deep Feedforward Network 2부 소개 이제부터는 현대 딥러닝의 현황에 대해 정립한다. 본 파트에서는 현 세대 심층 학습의 거의 모든 응용이 의존하는 parametric function approximation 기술들에 대해 정리하고, 그러한 함수를 표현하는 데 사용하는 Deep Feedforward Network을 설명한다. 그 후 regularization과 optimization을 위한 고급 테크닉을 소개한다. 또한 고해상도 이미지와 긴 시계열과 같은 입력을 위한 특수화된 신경망인 CNN과 RNN에 대해서 소개하고 마지막으로 딥러닝이 관여하는 응용프로그램의 설계 구축 설정을 위한 방법론과 실제 응용 사례를 소개한다. 이전까지는 딥러닝을 학습하기 위해 필요한 수학적 지식과 기타 요소들에 대해 학습하였다. Deep Feedforw.. 2022. 10. 10. 5. Machine Learning Basics https://rustic-sky-8dc.notion.site/5-Machine-Learning-Basics-79b5914a8ca4498da00558fe1b8a4e1e 5. Machine Learning Basics 딥러닝은 머신러닝의 한 분야이기에 딥러닝을 잘 이해하기 위해서는 머신러닝의 기본 원리를 잘 이해해야 한다. 딥러닝 알고리즘의 개발에 큰 영향을 미친 전통적인 머신 러닝 기술에 대한 몇 rustic-sky-8dc.notion.site 작성 중... 2022. 10. 10. 4. Numerical Computation 머신러닝 알고리즘들은 많은 수치적 계산을 필요로 하는데, 머신러닝 알고리즘들은 보통 공식을 풀어내는 것이 아닌 반복 프로세스를 통해 추정치를 업데이트하는 방식으로 해결하기 때문이다. 이때 디지털 컴퓨터에서는 무한히 많은 실수를 한정된 메모리로 표현하려다 보니 정확하게 표현하는 것이 어려워 여러 수치적 문제가 발생할 수 있음 Overflow and Underflow 유한한 Bit 수로 무한히 많은 실수를 표현하려다 보니 approximation 에러가 발생한다. 이는 대부분 Rounding error라 불리는 반올림 오류로 매우 사소해 보이지만 이를 처리해주지 않는다면, 이론에서는 가능했던 것이 실제에서는 에러가 발생하는 경우가 있다. 이러한 Rounding Error의 좋은 예시로 Underflow가 있.. 2022. 10. 10. 이전 1 2 다음
