인공지능 및 기계학습 개론 3강 요약
Written on July 15th, 2018 by hyeju.kim인공지능 및 기계학습 개론 . 3강 Naive Bayes Classifier
edwith 인공지능 및 기계학습개론 강의를 참고하여 만들어진 포스트입니다.
1. Optimal Classification
- Optimal predictor of Bayes classifier
$f^* = argmin_f P(\hat{Y} \neq Y)$
classifier는 곡선형태인 확률분포를 통해 risk를 줄임 (logistic)
logistic을 해보기에 앞서 curve를 만들어보는게 Naive Classifier
두 개의 클래스일 경우:
| $f^*(x) = argmax_{Y=y} P(Y=y | X=x)$ |
| $= argmax_{Y=y}P(X=x | Y=y)P(Y=y)$ |
| P(X=x | Y=y): Class Conditional Density = Likelihood, P(Y=y) = Class Prior |
주어진 x값에서 제대로 class를 판단하게끔 (극단적으로) 판단하기.(곡선형태)
-
X변수들이 많아진다면?
변수들끼리의 interaction이 생긴다. 이 interaction이 없다고 가정하는 것이 naive bayes classifier
2. Naive Bayes Classifier
특성들 사이의 독립을 가정하는 베이즈 정리를 적용한 확률 분류기의 일종
다음과 같은 경우
| P(X=x | Y=y) 는 x변수가 너무 많아 구하기 힘들다. |
즉 그래서 다음과 같은 가정을 사용한게 Naive Bayes Classifier이다.
- conditional independece
관측치(Y)가 알려지지 않았을 때는 다른 X2변수가 X1에 영향 미칠 수 있다. 그러나 관측치(Y)가 알려졌을 때는 다른 X2변수가 X1에 영향 미치지 않는다는 것이 Conditional Independence
Marginal independence vs. Conditional Independence (A,B)
Marginal Indepdence:
| X and Y and independent if and only if P(A)=P(A | B) |
Conditional Independence:
| P(A | B,Y) = P(A | Y) |
(2^d - 1) k
(2-1)dk
- naive bayes classifier function 정리
-
한계 1 : Naive Asssumption
-
한계 2: incorrect Probability Estimations
관측치가 별로 없을 경우(insufficient data) 제대로 못 구할 수 있다. MLE -> MAP(prior사용해서라도)
3. 예시: Sentimental Analysis using Naive Bayes Classifier
log 사용하는 이유: 0에 가까우면 곱하기를 많이하면 0. 000xxx 형태로 되는데, 이걸 컴퓨터에서는 0으로 인식하기 때문에 log씌어줌.