공부 및 정리/선형대수학15 Matrix Inversion Lemma 드디어 선대의 마지막 파트다. Matrix Inversion Lemma란? 이번에 배울 Matrix Inversion Lemma는 Sherman-Morrison-Woodbury formula라 부른다. 직전에 배운 Sherman-Morrison Formula의 일반화판으로 Sherman-Morrison Formula가 이 Matrix Inversion Lemma의 특별한 경우라고 보면 된다. 그럼 뭘 일반화 했다는 것일까? 직전에 배운 Sherman-Morrison formula는 한계점이 있다고 정리했었다. 바로 rank-1 Update. 즉, 데이터가 하나 추가될 때만 사용이 가능한 녀석이라고 배웠었다. 그러나 이번에 배울 Matrix Inversion Lemma는 여러 개의 데이터가 추가될 때에도 .. 2023. 12. 11. Sherman-Morrison formula와 RLS 선형 대수도 거의 다 끝났다. 크하하 이거 정리하면 앞으로 Matrix Inversion Lemma 하나 남았다. 이번에 정리할 내용은 1949년 셔먼과 모리슨이라는 수학자들이 발표한 공식으로 Recursive Least Squares라는 것을 해결하는데 도움이 된다. Sherman-Morrison Formula Sherman-Morrison Formula란 invertible한(역행렬이 존재하는) 행렬 $A$와 $\textbf{u}, \textbf{v} \in \R^n$인 두 열 벡터가 있을때 $A+\textbf{uv}^T$의 역행렬을 구하는 공식이며 아래와 같다. $$ (A + \textbf{uv}^T)^{-1} = A^{-1} - \frac{A^{-1}\textbf{uv}^TA^{-1}}{1 + \.. 2023. 12. 11. PCA (주성분 분석) PCA는 학교 선형대수학 수업에서는 많이 다루지는 않지만 고윳값 분해의 가장 널리 알려진 응용이고 또 요즘 유행하는 딥러닝, 데이터 과학에서 절대로 빼놓을 수 없는 주제이기에 정리를 해보려 한다. PCA(Principal Component Analysis)란? PCA… 주 성분 분석… 이름은 엄청 자주 들어봤는데 이게 정확히 뭔지. 그리고 어떤 과정으로 이루어지는 지에 대해서는 잘 이해를 못하고 넘어갔었다. PCA란 주어진 데이터들로부터 이 데이터 분포의 평균으로부터 데이터의 분포를 가장 잘 설명하는 방향인 주 성분 벡터를 찾는 것이 PCA의 주된 목표이다. 이렇게 주어진 데이터의 분포를 가장 잘 설명하는 벡터를 찾게 된다면 이 벡터 한 차원으로 모든 데이터를 정사영 시켜 전체적인 데이터 분포를 표현할 .. 2023. 12. 8. 유사 행렬 (Similar Matrix) 유사 행렬(Similar Matrix)이란? $n \times n$ 행렬 $A$에 대해 $B = P^{-1}AP$를 만족하는 $n\times n$ 행렬 $P$가 존재한다면 $A$와 $B$는 Similar Matrix 일단 정의는 위와 같다. 이때 위 정의로부터 여러가지 특성들이 발견된다. $A$는 자신과 Similar 하다. $A = P^{-1}AP$ (if $P = I$) $B$가 $A$와 Similar 하다면, $A$도 $B$와 Similar. $B = P^{-1}AP \rightarrow A = PBP^{-1}$ $A, B$가 Similar. $B, C$가 Similar하다면, $A$와 $C$도 Similar하다. $$ \begin{align} B &= P^{-1}_1AP_1 \\ C &= P^{-.. 2023. 10. 29. 행렬의 여러가지 분해 지금까지 Eigen Decomposition, Singular Value Decomposition(SVD) 와 같은 분해를 봤는데 이번에 여기서 배우는 분해들도 기존 행렬 $A$를 좀 더 자세히 분석하기 위해서 2개 이상의 간단한 행렬들로 분해하는 방법이다. 여기서 배우는 분해는 다음과 같다. LU 분해 PLU 분해 LDU 분해 QR 분해 춀레스키 분해 (Cholesky Decomposition) LU 분해 LU Factorization이라고도 불리는 LU 분해는 단순히 행렬 $A$가 있을때 이를 $A = LU$로 분해하는 것을 의미한다. 이때 위 그림처럼 행렬 $L$은 Lower Triangular Matrix, $U$는 Upper Triangular Matrix이다. 이렇게 행렬 $A$를 하 삼각 행.. 2023. 10. 29. 그람-슈미트 직교화 (Gram-Schmidt Orthogonalization) 이름은 존내 어려워 보이는데 사실 존내 쉽다. 그냥 독립인 n개의 n 차원 벡터들을 서로 수직하도록 만들어(직교화)주는 것이다. 그람-슈미트 직교화란? 그람 슈미트 직교화란 위 그림처럼 서로 독립인 벡터들을 서로 직교하게 만드는 과정을 의미한다. 위와 같이 직교하도록 한 후 각 벡터들을 전부 길이가 1이 되도록 normalize하면 orthonormal한 관계로 만들 수 있다. 결과만 보면 매우 어려울 것 같지만 의외로 고등 수학에서 배운 내용(내적)만으로도 이해가 가능할 정도로 간단하다는 점이 재밌다. 그람-슈미트 직교화 위에서 말한 것처럼 내적의 개념을 사용하면 그람-슈미트 직교화가 가능하다. 먼저 내적에 대해 다시 기억을 끄집어 내보자. 내적이란 결국 정사영을 의미한다. 이전에 본 $a_1$를 $a.. 2023. 10. 29. 이전 1 2 3 다음
