[인공지능을 위한 선형대수] 부분공간의 기저의 차원

Subspace

닫혀있는 결합의 연산

 

재료벡터가 있을 때, 모든 선형 집합을 포함하는 선형결합은  

 

Basis of a Subspace

 

기저벡터 (Basis)

Subspan을 Fully span 하는 집합

1. 벡터 두 개로 fully span 하는 경우, 이 subspace의 기저벡터이다.

2. linearly independent 해야됨 

중복을 허용하지 않는 (=linearly independent) 

 

span이 주어져있고, 기저 벡트를 찾는 상황

 

 Ununique of Basis 

기저벡터는 유니크하지 않다

 

가중치(계수) 값이 0.8, 1.1 -> 105, 88 로 변경됨

기저벡터가 바뀌면 가중치(계수)가 변경된다.

 

Dimension of Subspace

 

수학적 의미에서의 Dimension

: Subspace가 주어졌을 때, subspace에 있는 기저벡터의 개수

 

Q. 간단한 기저벡터는?

Standard basis : 축과 길이가 '1'이고, 수직인 기저벡터 

기저벡터가 바뀌면 같은 점을 나타내더라도, 가중치(계수) 값만 바뀌게 됨

 

Column Space of Matrix

컬럼이 많은 경우, 재료벡터로 사용됨.

Span이 곧 Subspace 다?

매트릭스가 주어졌을 때, 컬럼들의 span

 

Rank of Matrix

Feature들 간의(e.g.,  몸무게, 키) 

키와 몸무게가 비례한다면 활용할 수 있겠지만, 

 

* 키와 몸무게가 비례하는 feature라면, 기계학습 모델 입장에서는 선형결합 되어 설명이 가능하기 때문에 쓸모가 없는 것들이다.

rank = 5 중복된 정보들이다

선형회귀, SVM 등의 선형 모델에서 중복성을 띄는 것들(linearly dependent)을 헤집어 놓는다. 

값이 확확 바뀌면 오버피팅이 발생하기 때문에, regulaztion을 써서 linearly dependet 컬럼을 제거해서 방지한다.