딥러닝북2 6. Deep Feedforward Network 2부 소개 이제부터는 현대 딥러닝의 현황에 대해 정립한다. 본 파트에서는 현 세대 심층 학습의 거의 모든 응용이 의존하는 parametric function approximation 기술들에 대해 정리하고, 그러한 함수를 표현하는 데 사용하는 Deep Feedforward Network을 설명한다. 그 후 regularization과 optimization을 위한 고급 테크닉을 소개한다. 또한 고해상도 이미지와 긴 시계열과 같은 입력을 위한 특수화된 신경망인 CNN과 RNN에 대해서 소개하고 마지막으로 딥러닝이 관여하는 응용프로그램의 설계 구축 설정을 위한 방법론과 실제 응용 사례를 소개한다. 이전까지는 딥러닝을 학습하기 위해 필요한 수학적 지식과 기타 요소들에 대해 학습하였다. Deep Feedforw.. 2022. 10. 10. 4. Numerical Computation 머신러닝 알고리즘들은 많은 수치적 계산을 필요로 하는데, 머신러닝 알고리즘들은 보통 공식을 풀어내는 것이 아닌 반복 프로세스를 통해 추정치를 업데이트하는 방식으로 해결하기 때문이다. 이때 디지털 컴퓨터에서는 무한히 많은 실수를 한정된 메모리로 표현하려다 보니 정확하게 표현하는 것이 어려워 여러 수치적 문제가 발생할 수 있음 Overflow and Underflow 유한한 Bit 수로 무한히 많은 실수를 표현하려다 보니 approximation 에러가 발생한다. 이는 대부분 Rounding error라 불리는 반올림 오류로 매우 사소해 보이지만 이를 처리해주지 않는다면, 이론에서는 가능했던 것이 실제에서는 에러가 발생하는 경우가 있다. 이러한 Rounding Error의 좋은 예시로 Underflow가 있.. 2022. 10. 10. 이전 1 다음
