3.3. Naive Bayes Classifier Review
이 글은 공부를 위해 적는 것입니다.
모든 저작권은 KAIST 문일철 교수님과 Edwith에 있습니다.
강좌 URL : https://www.edwith.org/machinelearning1_17/lecture/10587/
PDF는 위 강좌 URL을 통해 무료로 다운받을 수 있습니다.
Image 파일 아래의 글들은 강의를 토대로 작성되었으며 저의 생각이 약간 감미된 경우 또한 있습니다.
배운점
- Conditional Independence를 통한 계산량 감소을 얻어낸 Naive Bayes Classifier
- Naive Bayes Classifier의 문제점 2가지
P(X=x|Y=y)가 많은 joint가 된 상황이었고 많은 지수적 parameter가 필요했음
Conditional Indepence Assumption 적용 후
P(X=x|Y=y)가 개별적 곱셈으로 표현이 가능 = (2-1)dk
d : length of vector
정확히 같지는 않은 이유 : Conditional Indepence을 적용했기 때문
=> 정확하게 적용을 할 수 없기에 억지스럽게 가정했음
joint 형식을 곱셈을 통한 것으로 바뀜
Naive Bayes는 Optimal classifier가 맞음
쉽게 만듬
1. 현실에서는 통용되기 어려움
2. Sparse의 경우 Naive Bayes가 적용되기 어려움
MLE가 아닌 MAP를 통해 개별확률을 만들어줘야함
0이 되는 것을 막기위해 사전정보를 넣어서 만들어주는 것을 요구받음
다음 시간 Naive Assumption 가정을 하지않고도 적용이 가능한 Logistic에 대해 알아볼 것
