3.2. Conditional Independence Review

3.2. Conditional Independence Review

이 글은 공부를 위해 적는 것입니다.
모든 저작권은 KAIST 문일철 교수님과 Edwith에 있습니다.
강좌 URL : https://www.edwith.org/machinelearning1_17/lecture/10586/
PDF는 위 강좌 URL을 통해 무료로 다운받을 수 있습니다.
Image 파일 아래의 글들은 강의를 토대로 작성되었으며 저의 생각이 약간 감미된 경우 또한 있습니다.

배운점

• X parameter가 지수적으로 증가하는 것이 가져오는 효과
• Conditional Independence를 통한 계산량 감소

이번 시간 Naive Bayes Classfier에 대해 배우겠다.

X = sky, temp, Humid, wind, water, forecast
Y = EnjoySpt
P(X=x|Y=y) for all x,y에 대한 것의 문제
(64-1) = 63의 경우의 수 * yes or no k개
Input을 많이쓸수록 지수적으로 증가 -> 문제

 많은 parameter에 대한 고려는 너무 많은 수를 고려해야함
-> 배울 수 없다. 해결이 필요하다.

x는 벡터의 값, 길이는 d

가정을 도입하자!
독립을 가정 수정 -> 지수적 증가를 없앨 수 있음
P(x1|x2,y) = P(x1|y)
P(x1,x2|y) = P(x1|y)P(x2|y) 독립

Conditional Vs marginal Independence 차이
Commander가 명령을 내렸는지 모른다고 가정, OfficerB가 앞으로 움직인다면
OfficerA에는 OfficerB가 영향을 미치므로 독립이 아님
Commander가 명령을 했다면 B의 행동이 A의 행동에 영향을 미치지 않음

Marginal Independence : P(X) = P(X|Y)

Commander : Y
OffercerA,B = x1, x2

latent 정보만이 나에게 영향을 미친다
즉 Commander의 정보만이 OfficerA에게 영향을 미친다
-> Conditional Independent