선형대수학6 Sherman-Morrison formula와 RLS 선형 대수도 거의 다 끝났다. 크하하 이거 정리하면 앞으로 Matrix Inversion Lemma 하나 남았다. 이번에 정리할 내용은 1949년 셔먼과 모리슨이라는 수학자들이 발표한 공식으로 Recursive Least Squares라는 것을 해결하는데 도움이 된다. Sherman-Morrison Formula Sherman-Morrison Formula란 invertible한(역행렬이 존재하는) 행렬 $A$와 $\textbf{u}, \textbf{v} \in \R^n$인 두 열 벡터가 있을때 $A+\textbf{uv}^T$의 역행렬을 구하는 공식이며 아래와 같다. $$ (A + \textbf{uv}^T)^{-1} = A^{-1} - \frac{A^{-1}\textbf{uv}^TA^{-1}}{1 + \.. 2023. 12. 11. 행렬의 여러가지 분해 지금까지 Eigen Decomposition, Singular Value Decomposition(SVD) 와 같은 분해를 봤는데 이번에 여기서 배우는 분해들도 기존 행렬 $A$를 좀 더 자세히 분석하기 위해서 2개 이상의 간단한 행렬들로 분해하는 방법이다. 여기서 배우는 분해는 다음과 같다. LU 분해 PLU 분해 LDU 분해 QR 분해 춀레스키 분해 (Cholesky Decomposition) LU 분해 LU Factorization이라고도 불리는 LU 분해는 단순히 행렬 $A$가 있을때 이를 $A = LU$로 분해하는 것을 의미한다. 이때 위 그림처럼 행렬 $L$은 Lower Triangular Matrix, $U$는 Upper Triangular Matrix이다. 이렇게 행렬 $A$를 하 삼각 행.. 2023. 10. 29. 의사역행렬 (Pseudo Inverse) SVD를 배웠으니 SVD를 이용한 의사역행렬(Pseudo Inverse)에 대해서 알아보도록 하자. 의사역행렬이란? 의사역행렬이란 Doctor 의사가 아니라 의사 코드(Pseudo Code) 할 때 의사. 즉 가짜 역행렬이라는 것이다. 우리가 이전에 역행렬에 대해서 배웠을 때, 역행렬은 정 사각(Square) 행렬에서만 정의된다고 했었다. 하지만 $m \times n$ 행렬과 같이 정사각 행렬이 아닌 행렬에 대해서도 역행렬과 유사한 역할을 행렬이 있으면 일반적인 상황에서 매우 큰 도움이 될 것이다. 이러한 상황에서 진짜 역행렬은 아니지만 역행렬의 역할을 비슷하게 해주는 행렬을 의사역행렬이라 부른다. 의사역행렬 $$ A = U\Sigma V^T $$ 이전에 특이값 분해에서 우리는 $m \times n$ 행.. 2023. 10. 14. 특이값 분해 (Singular Value Decomposition) 특이값 분해 벌써 고윳값 분해의 확장판인 특이값 분해를 정리할 때가 왔다. 으하하 선형 대수를 다시 공부해야지 마음을 먹었을 때 특이값 분해에 대해서 대충만 알고 제대로 배워본 적이 없어서 특이값 분해는 대체 어떻게 정 사각 행렬이 아닌 행렬에 대해서 분해를 하는 것일까 궁금했었는데 드디어 그 비밀을 파헤쳐 볼 때가 되었다. 이번 장에서는 다음 내용들을 다룬다. 특이값 분해란? 특이값 분해 특이값 분해(SVD: Singular Value Decomposition)란? 특이값 분해라는 이름을 딱 들으면 바로 이전에 배운 고윳값 분해가 생각이 난다. 고윳값 분해와 마찬가지로 특이값 분해 또한 행렬을 대각화 할 수 있는 방법이다. 고윳값 분해의 가장 큰 문제점인 $n \times n$ 정방 행렬이어야만 한다는.. 2023. 10. 14. 행렬의 특성과 특별한 행렬과 벡터 드디어 행렬의 특성들과 특별한 행렬들에 대해서 정리한다. 이번 장에서는 다음 내용들을 배운다. Linear Combination (선형 결합)과 Span Linearly Independent (선형 독립)과 Basis (기저) 항등 행렬 역 행렬 역 행렬의 존재 조건 기타 특별한 행렬과 벡터 Diagonal Matrix (대각 행렬) Symmetric Matrix (대칭 행렬) Unit Vector (단위 벡터) Orthogonal Matrix (직교 행렬) Rank Null Space Linear Combination과 Span 이전 장에서 Vector들의 Row Space, Column Space에 대해서 약간 맛보기를 해 보았다. Vector들은 서로 더하고 빼며 Space를 이루게 되는데 이렇게 .. 2023. 9. 29. 선형대수학 개요 선형대수학 개요 한때 학교에서 선대를 A+ 받고 신났던 적이 생각난다. 하지만 시간이 지나며, 여러 논문들과 자료들을 보며 나는 선대에 대한 개념의 이해조차도 제대로 되어있지 않다는 생각이 계속 들었다. 고유값 분해도 왜 해야 하는지도 잘 이해가 가지 않았고, 이 때문에 이를 응용한 PCA라는 기초 개념조차 제대로 이해할 수 없었기 때문이다. 그래서 항상 선대를 언젠가 한번 날 잡고 공부를 제대로 다시 해봐야겠다는 생각을 항상 했었는데, 굉장히 설명도 쉽고 좋은 유튜브 강의를 찾아서 이를 베이스로 선형대수학의 핵심 개념들을 재정리 해보고자 한다. 선형대수학이란? 선형대수학이란 말 그대로 “선형 방정식”을 푸는 수학의 분야로 여기서 “선형”이란 직선처럼 일관되고 단순한 관계나 패턴을 의미한다. 즉, $ax.. 2023. 9. 25. 이전 1 다음
