공부 및 정리/선형대수학15 의사역행렬 (Pseudo Inverse) SVD를 배웠으니 SVD를 이용한 의사역행렬(Pseudo Inverse)에 대해서 알아보도록 하자. 의사역행렬이란? 의사역행렬이란 Doctor 의사가 아니라 의사 코드(Pseudo Code) 할 때 의사. 즉 가짜 역행렬이라는 것이다. 우리가 이전에 역행렬에 대해서 배웠을 때, 역행렬은 정 사각(Square) 행렬에서만 정의된다고 했었다. 하지만 $m \times n$ 행렬과 같이 정사각 행렬이 아닌 행렬에 대해서도 역행렬과 유사한 역할을 행렬이 있으면 일반적인 상황에서 매우 큰 도움이 될 것이다. 이러한 상황에서 진짜 역행렬은 아니지만 역행렬의 역할을 비슷하게 해주는 행렬을 의사역행렬이라 부른다. 의사역행렬 $$ A = U\Sigma V^T $$ 이전에 특이값 분해에서 우리는 $m \times n$ 행.. 2023. 10. 14. 특이값 분해 (Singular Value Decomposition) 특이값 분해 벌써 고윳값 분해의 확장판인 특이값 분해를 정리할 때가 왔다. 으하하 선형 대수를 다시 공부해야지 마음을 먹었을 때 특이값 분해에 대해서 대충만 알고 제대로 배워본 적이 없어서 특이값 분해는 대체 어떻게 정 사각 행렬이 아닌 행렬에 대해서 분해를 하는 것일까 궁금했었는데 드디어 그 비밀을 파헤쳐 볼 때가 되었다. 이번 장에서는 다음 내용들을 다룬다. 특이값 분해란? 특이값 분해 특이값 분해(SVD: Singular Value Decomposition)란? 특이값 분해라는 이름을 딱 들으면 바로 이전에 배운 고윳값 분해가 생각이 난다. 고윳값 분해와 마찬가지로 특이값 분해 또한 행렬을 대각화 할 수 있는 방법이다. 고윳값 분해의 가장 큰 문제점인 $n \times n$ 정방 행렬이어야만 한다는.. 2023. 10. 14. 고윳값 분해 최소 자승법이라는 고비를 넘었으나 바로 2차 고비인 고윳값 분해가 나왔다. 칙쇼 뭐 어쨌든 여기서 배우는 것은 다음과 같다. 고윳값, 고유 벡터란? 고윳값, 고유 벡터 구하기 고윳값 분해 고윳값, 고유 벡터란? 고윳값 분해에 대해서 다루기 전 먼저 고윳값과 고유 벡터에 대해 알아야 한다. $$ A\textbf v = \lambda \textbf v $$ 고윳값과 고유 벡터는 위 식으로 설명할 수 있는데, 위 식을 만족하는 $\textbf v$를 eigen vector, $\lambda$를 eigen value라 부른다. 위 식에 대해서 자세히 살펴보기 전 이때 먼저 $A$가 정 사각 행렬이라는 점을 짚고 넘어가야 한다. 정 사각 행렬이 아닌 행렬에 대해서는 고값과 고유 벡터라는 것이 정의가 되지 않는다... 2023. 10. 2. 최소 자승법 드디어 선형 대수의 첫 고비인 최소 자승법(Least Squares)이다! 학교에서 처음으로 선대를 배웠을 때 이게 무슨 말인지 이해가 안 갔었지만 이젠 다르다. 크하하 어차피 앞으로 배울 내용들에서도 계속 최소 자승법이랑 연관 지어서 나오기도 하고 생각보다 간단하니 이번에 포스트 하나를 사용해 제대로 정리를 해서 최소자승법을 익혀보도록 하자. 본 장에서는 아래 내용들을 배운다. 최소 자승법 문제 소개 최소 자승법 최소 자승법이 사용되는 예시 문제 소개 최소자승법(Least Squares)이 먼저 어떤 문제를 푸는데 사용되는 방법인지 파악 하는 것이 중요하다. 최소 자승… 즉, 제곱(자승)을 최소화 한다는 말인데, 어떤 제곱을 최소화 하냐는 것을 먼저 알아야 한다. 먼저 행렬 $A$의 column spa.. 2023. 10. 2. 가우스-조던 소거법과 역행렬 가우스-조던 소거법과 역행렬 이번 장에서는 가우스-조던 소거법이라는 연립 일차 방정식을 풀어내는 알고리즘과 이전 장에서 배운 역행렬에 관해 더 깊게 알아본다. 이번 장에서는 이러한 내용을 다룬다. 가우스-조던 소거법 역 행렬 행렬식 (Determinant) 행렬식의 기하학적 의미 가우스-조던 소거법 가우스-조던 소거법은 그냥 단순히 연립 일차 방정식을 풀어내는 알고리즘으로 그냥 우리가 중고등학교에서 연립 방정식을 풀어내는 것을 일반화한 것에 불과한 알고리즘이다. $$ \begin{matrix} 4x_1 + 2x_2 = 18 \\ x_1 - x_2 = 3 \end{matrix} $$ 위와 같은 미지수가 2개인 연립 방정식이 존재한다고 하자. 이때 우리는 본능적으로 아래 식에 2를 곱해 위 식에 더해 $x_.. 2023. 9. 29. 행렬의 특성과 특별한 행렬과 벡터 드디어 행렬의 특성들과 특별한 행렬들에 대해서 정리한다. 이번 장에서는 다음 내용들을 배운다. Linear Combination (선형 결합)과 Span Linearly Independent (선형 독립)과 Basis (기저) 항등 행렬 역 행렬 역 행렬의 존재 조건 기타 특별한 행렬과 벡터 Diagonal Matrix (대각 행렬) Symmetric Matrix (대칭 행렬) Unit Vector (단위 벡터) Orthogonal Matrix (직교 행렬) Rank Null Space Linear Combination과 Span 이전 장에서 Vector들의 Row Space, Column Space에 대해서 약간 맛보기를 해 보았다. Vector들은 서로 더하고 빼며 Space를 이루게 되는데 이렇게 .. 2023. 9. 29. 이전 1 2 3 다음
