[인공지능을 위한 선형대수] 영공간과 직교여공간

이 글은 주재걸 교수님의 <인공지능을 위한 선형대수> edwith 강의를 기반으로 영공간과 직교여공간 개념을 정리하였습니다.

[LECTURE] 영공간과 직교여공간 : edwith

---

고유벡터와 고유값 (Eigenvectors and Eigenvalues)

(𝐴−𝜆𝐼) 𝐱 = 𝟎

영공간 (Null Space)

𝐴𝐱 = 𝟎 을 만족하는 𝐴 집합을 Nul 𝐴 라고 한다. 

 

영공간(Null Space) 정의

 

내적 관점에서는 '0'을 만족하는 x, y를 구하는 것이나, 서로 직교한다면 내적이 '0'이 되는 개념을 활용한다면, 매트릭스 𝐴 의 각각의 row 벡터(a1, a2, a3)과 직교하는 [x, y] 벡터의 좌표를 구하는 것과 동일하다. 

Orthogonal 관점에서의 Null Space 

영공간에 대한 이해를 위해 각도에 대한 개념을 추가로 덧붙인다.

각도가 선형 종속(linearly dependent)이라면 평면 안에 들어온다는 뜻이다. Projection 하면 평면과 벡터의 각도는 '0'이 된다.

1도만 있어도 선형 독립(linearly independent)하게 된다. 직교(orthogonal) 하다는 것은 이 각도가 90도가 된다.

따라서, 선형 독립이 직교하지 않을 수 있지만 직교한 벡터는 항상 선형 독립이다. 

 

 

Fundamental Subspaces Given by 𝐴

위에 설명했던 Matrix 𝐴로 설명을 하면, Colum space가 있는 전체 집합은 3차원이다. Row space는 row들이 span 하는 subspace를 의미하며, 기본적으로 2차원에 포함된다.

 

선형 독립하는 벡터를 Gram Schmidt를 통해서 각도가 1도라도 삐져나온다면, prjection을 하여 수직은 벡터를 찾을 수 있다.

즉, 선형 독립(linearly independent)하는 벡터를 찾을 수 있다면 Gram Schmidt를 하여 직교하는 벡터를 찾을 수있다.

 

Rank Theorem

Row A 벡터 [1, 2, 3]과 선형 독립인 벡터를 직교하는 벡터들의 집합은 평면을 이루므로, Row space가 선이라면, Null space는 평면이 된다. 따라서 Nul A 또는 base 벡터는 2차원이 된다.

N개의 차원에서 찾을 수 있는 base 벡터는 N가 되듯, 3차원의 벡터가 있을 때 row space의 base 벡터가 1이라는 말은 Null space를 2개(3-1)까지 찾을 수 있다. 따라서, 3 = dimRowA + dimNulA 으로 직관적으로 이해할 수 있으며, rank-nullity theorem이라고 한다.

 

Orthogonal Complement(여집합)

위의 개념들을 정리하면 아래와 같다.