Bayes Rule 과 Naive Bayes에 대한 이해

1. Bayes Rule

• Bayes Rule은 조건부 확률을 계산하는 식이다.
• 주어진 사건의 prior와 evidence에 기반하여 사건의 사후 확률인 posterior를 계산할 수 있기에, 사전 지식을 새로운 관측 데이터로 갱신할 때 유용하게 사용된다. 
• 한마디로 "어떤 사건 A가 일어났다는 정보를 기반으로, 사건 B가 일어날 확률을 업데이트하는 방법"
• 수식은 아래와 같이 표현된다.

Bayes Rule

• Posterior P(A|B) : 사건 B가 발생했을 때, 사건 A가 일어날 확률
• Likelihood P(B|A) : 사건 A가 발생했을 때, 사건 B가 일어날 확률
• prior P(A): 사건 A가 발생할 사전 확률
• evidence P(B): 사건 B가 발생할 확률

2. Naive Bayes Rule

• Naive Bayes는 베이즈 정리를 기반으로 하는 분류 알고리즘이다.
• Naive Bayes는 Bayes Rule을 확장해서 여러 특성(feature)을 기반으로 사건의 확률을 계산하는 간단한 분류 알고리즘
• 이 모델은 각 feature가 서로 독립적이라고 가정한다.
• 분류 순서는 다음과 같다.
  1. 분류할 데이터의 클래스 Ck에 대해, 주어진 입력 데이터 x1,x2,...,xn에 대한 조건부 확률을 구한다.
  2. 모든 feature가 서로 독립적이라는 가정을 적용하면 아래와 같이 식을 작성할 수 있다. 사후 확률이 가장 높은 클래스를 선택하여 분류를 수행한다.

Naive Bayes