[인공지능을 위한 선형대수] 선형독립과 선형종속

이 글은 주재걸 교수님의 <인공지능을 위한 선형대수 - 선형독립과 선형종속> edwith 강의를 기반으로 선형대수 개념을 정리하였습니다.

[LECTURE] 선형독립과 선형종속 : edwith

---

Uniqueness of Solution for Ax = B

재료벡터 안에 상수벡터가 존재한다면 '해(solution)가 존재'하게 되는데, 해가 한 개인지 여러 개인지 확인할 수 있는 개념이 선형독립(Linear independence)이다.

 

선형의존이 되는 상황

1. 여러 방법으로 평행사변형을 만들 수 있어, 해가 여러 개인 경우 (해가 유일하면 선형독립이 된다.)
2. 두 개의 벡터가 우연치 않게 세 번째 벡터가 기존의 Span 영역에 포함하게 되어 Span의 영역은 증가하지 않는 경우 (직관적으로 살펴봤을 때 평형사변형을 만들 수 있는 계수가 다양하기 때문)
3. (아래 그림처럼) 두 개의 벡터만으로도 평행사변형을 만들 수 있는 경우

v3를 사용하지 않고 평행사변형을 이룰 수 있으므로 선형의존

 

선형독립 (Linear Independence)

(Practical) Definition

선형독립의  practical한 의미

벡터들을 하나씩 추가했을 때 span 영역이 늘어나는지 또는 기존의 영역에 포함되어 벡터를 추가해도 더 이상 span이 늘어자지 않는지 살펴봐야 한다. 이에 따라서 "선형 의존(linearly dependent)"인지 또는 "선형 독립(linearly independent)"인지 파악할 수 있다.

 

3차원 공간에서 벡터가 4개인 경우, 항상 벡터는 "선형 의존"이 된다.

3개의 벡터만으로도 3차원을 구성할 수 있기 때문에, Span이 전체집합이 된다. 네 번째 벡터가 무엇이든지 Span 영역에 포함되게 되어 "선형의존"이 된다. 즉, 미지수의 개수(주어진 벡터) 보다 방정식의 개수(3차원)가 적으면 해가 무조건 많이 존재한다.

 

3차원 공간에서 벡터가 2개만 있을 때는 경우에 따라서 달라진다.

상수벡터가 두 벡터의 Span 안에 포함하기 때문에, 우선 해가 1개 이상은 존재한다. 해가 한 개인지 여러 개인지는 경우에 따라서 선형독립과 선형의존이 결정된다. 첫 번째 벡터의 Span에 상수벡터가 우연히 포함되는 경우 해가 무수히 많게 되기 때문이다 (=선형의존). 다시 말해, 두 번째 벡터가 첫 번째 벡터의 상수배인 경우에 방향성이 일치하여 해가 무수히 많게 된다.

 

(Formal) Definition

선형독립의 formal한 의미

주어진 재료벡터가 0 벡터라고 생각해보자.

이 경우는 수학적으로 Homogeneous equation이 된다. Ax=b에서 b가 무엇이든지 신경쓰지 않고, 해가 존재할 때 벡터 b가 span 안에 포함했는지에 따라서 해의 개수가 정해진다. 

 

Trivial Solution (너무 쉬워서.. 하찮은... 솔루션...)

그러나 영벡터로 만들어버리면 어떤 벡터의 span에도 무조건 포함된다. 상수배(가중치)를 0으로 지정하면 항상 영벡터로 만들 수 있기 때문이다. 따라서 해가 최소 1개는 있게 되는데, 이 경우의 해는 '0'이 되며 Trivial Solution이라고 한다.

 

해가 1개 이상 존재할 때, 

• 해가 한 개만 존재하는 경우, 재료벡터는 linearly independent (선형독립)하다.
• Trivial solution 외 다른 해(nontrivial solution, 어느 하나는 0이 아닌 해)가 존재하는 경우, 재료벡터가 linearly dependent (선형의존) 하게 된다.

Two Definitions are Equivalent

 

모든 벡터가 아닌 일부 벡터만 영벡터로 만드는데 참여한다면 nontrival solution 중 하나가 된다. 

 

예를 들어, 아래와 같은 식이 있을 때 어떤 계수가 0이 아닌지 살펴본다면

 

3*[v1 ] + (-1)*[v2] + 0*[v3] + 2*[v4] + 0*[v5]  = 0

 

벡터의 계수가 '0'이 아닌 경우는 nonzero가 된다. Nonzeor인 벡터 중 마지막으로 나온 재료벡터(=v4, 주인공)를 제외한 나머지 nonzero 벡터를 오른쪽으로 옮기면, 값을 나눠주어 1로 만들 수 있다.

 

2/2*[v4] = -3/2*[v1] + 1/2*[v2]

 

이를 통해서 이전 벡터들의 선형 결합으로 나타낼 수 있게 된다. 하나씩 벡터를 추가하는 것과 어느 하나가 nonzero가 됐을 때와 동치인 상황이다(?)

 

Geometric Understanding of Linear Dependence

 

선형종속 (Linear Dependence)

Linearly dependent 개념

A linearly dependent vector does not increase Span!

재료벡터가 추가됨에 따라서 선형결합에 참여를 해서 평행사변형을 입체로 만들어 Span을 입체화하게 된다.

그러나 선형종속 벡터는 동일한 Span의 영역에 머물기 때문에, Span의 영역이 커지지 않는다.

 

Linear Dependene and Linear System Solution

v3가 v1과 v2 안에 포함되면 v3가 포함되더라도 span의 영역은 늘어나지 않는다. 

이 외에도 다른 해를 찾을 수 있다.

Q. Ax = b 방정식에서 해가 존재할 때, 언제 해가 유일하게 존재하는가?

평형사변형이 유일하게 한 개로 이루어져 꼭지점을 만족할 때 ( = a1, a2, a3가 linearly indepentdent 할 때) 해가 유일하게 존재한다.

---

선형독립과 선형종속의 개념을 정리하면 아래와 같다.

벡터공간의 원소 v1, v2, ... , vn에 대하여 동시에 0이 아닌 스칼라 c1, c2, ... , cn의 선형결합이 영벡터 또는 0이 나온다면 v1, v2, v3, ... , vn은 선형종속이 된다. 그 외 나머지 경우인, 모든 계수가 0인 경우를 제외하고 영벡터를 만들 수 없다면 이는 선형독립이 된다.