KAIST 산업및시스템공학과 문일철 교수님의 인공지능 및 기계학습 개론 II 중 <10.8 Understand the LDA(Latent Dirichlet Allocation)> 강의를 위주로 기타 자료를 참고하여 정리하였습니다. 잘못된 부분이 있으면 말씀해 주세요.
베이지안 네트워크니깐 factorization 먼저 시작하자
알파, 베타는사전 지식이고 변치않음
펙토라이제이션 하려면,
1) 베타가 피에 영향을 줌, k만큼의플레이트가 있음
오른쪽 노테이션) 피 바 베타 (세미콜론으로 간략하게 표현
알파 -> 세타 : 여러번의 멀티플리케이션
궁극적으로 세타와 피를 없애줘야함
왜 없애야하냐면, 베리어블들이 w~베타가 있음
w는 관측치이기 때문에 없앨 수 없음
z는 깁스샘플링 대상이 되므로, z를 없애는 것은 좋지 않음
알파와 베타는 사전 지식이기 때문에,주어진 것이므로 없애면 안됨
-> 수식을 더 간단하게 하기 위해, 세타와 피를 없애자
== Collapsed Gibbs sampling
We are going to collapse θ and φ to leave only W, Z, α and β
•Why? W (Data point), Z (Sampling Target), α and β (priors)
•Collapsed Gibbs sampling!
세타와 피를 없애보자
마지널라이즈 아웃을 해야됨
쪼인트를 이렇게 막고 인티그라를 함 -> 세타와 피가 없어지면서 P(W,Z;α,β) 상태가됨
??? 독립된 두개의 인티그랄로 나옴
1.Independence between two integrals
2.Need to remove the integrals and come up with the sampling distribution
적분은 없애는 게 제일 좋음 -> 적분을 없애보자^^
Gibbs Sampling on Z (2)
토픽별로 유니크(사전) 단어들이 등록되어 있으면 단어들이 등장할 확률을 토픽별로 분리
단어(사전 단어) x 토픽별로 등장할 수 있는 확률이 정해져있음
한 토픽에는 모든 단어의 등장 확률이 합이 1이 됨
$$
P(zi=j|z⃗ −i,w⃗ )∝n(wi)−i,j+βn−i,j+Wβndi−i,j+αndi−i+Tα
$$
Gibbs Sampling
Metropolis-Hastings 알고리즘의 스페셜 케이스
accpet probability로 함
propoasl distribution이 아닌..
억셉트 프로바빌리티로함..
특정 타임에서 z^t latent variable이 있음
과거에는 모두 업데이트 했으나, 한 번에 업데이트 하는 게 아니라 한 변수마다 업데이트를 하는 컨셉이다.
k에 대해서만 *로 업데이트함
깁스가 제안한 것은, 기존의 probabiltiy distribution을 그대로 사용해보자
써보되, 여러 variable 중 한 개만 업데이트 한다
나머지는 모두 given 상태
q를 잘 알려진
detailed valid equation이 만족됨
-> 항상 디테일드를 만족한다
언제나 1이되는 내용
모두 True라고 가정, Buglary를 업데이트하려면
컨셉 정리
개별 스텝은 랜덤 베리어블을 교체한다.
Collapsed Gibbs sampling 기법은 불필요한 일부 변수를 샘플링에서 생략하는 기법입니다. b가 그런 변수라 가정하면 c를 고정시킨 상태에서 a를 뽑고, a를 고정시킨 상태에서 c를 뽑습니다.
$$
9\times9
$$
댓글