Bayes' rule

베이즈 정리(Bayes' theorem, Bayes' rule, Bayes' law)는 확률론과 통계학에서 사건과 관련된 사전지식을 기반으로 사건의 확율을 나타낸다.
예를 들어, 암발생이 나이와 관련이 있다면, 베이즈 정리를 사용하여 사람들이 암을 가지고 있는지 정확하게 파악하기 위해 나이를 사용할 수 있다.

베이즈 정리는 이항분포의 확률 변수에 대한 분포를 계산하는 방법을 연구한 토마스 베이스(Thmas Bayes, 1701~1761)의 이름을 땄다.
베이즈의 출판되지 않은 원고는 왕립 학회(Royal Society)에서 읽히기 전에 친구인 리차드 프라이스(Richard Price)가 정리했다.
프라이스가 정리한 베이스의 주요 논문인 "우연의 원칙에서 문제를 해결하기 위한 에세이(An Essay towards solving a Problem in the Doctrine of Chances^[1])"(1763)에 베이스 정리를 포함하고 있었다.
프라이스는 베이지안 통계학의 철학적 근거 중 일부를 제공하는 논문에 대한 소개서를 썼다.
1765년 그는 베이스의 유산에 대한 그의 작업을 인정받아 왕립 학회의 특별회원으로 선정되었다.

베이스 정리는 이전의 경험과 현재의 사건을 토대로 어떤 사건의 확률을 추론하는 알고리즘이다. 따라서 사건이 일어날 확률을 토대로 의사결정을 할 경우 그와 관련된 사전 정보를 얼마나 알고 있고 이를 제대로 적용할 수 있는가에 크게 좌우된다.
흔히 베이즈 정리는 조건부 확률(Conditional Propability)이라는 말로 표현되기도 한다.

$$ P(A \mid B) = \frac{P(B \mid A) , P(A)}{P(B)} $$
P(A) : 사건 A가 일어날 확률
P(B) : 사건 B가 일어날 확률
P(A|B) : 사건 A가 일어났을 때 사건 B가 일어날 확률
P(B|A) : 사건 B가 일어났을 때 사건 A가 일어날 확률^[2]

$$ P(Y=y \mid X=x) = \frac{P(Y=y , X=x)}{P(X=x)} = \frac{P(Y=y)P(X=x \mid Y=y)}{\sum_{y'}P(Y=y')P(X=x \mid Y=y')} $$

$$ posterior = \frac{prior * likehood}{evidence} $$

• posterior(사후확률)^[3]
• prior(사전확률)^[4]
• likehood(가능도)^[5]
• evidence(증거)^[6]

예를 들어, 건빵 2봉지를 샀고, 별사탕도 2봉지라고 하자. 첫번째 봉지에는 하얀 별사탕이 10개, 분홍별사탕이 30개 들었고, 두번째 봉지에는 각각 20개씩 들었다.두 봉지의 별사탕을 하나의 접시에 담고, 눈을 감은 채 별사탕 하나를 집어 들었다. 눈을 뜨고 집어든 별사탕을 살펴보니 분홍 별사탕이다. 이 별사탕이 첫번째 봉지에서 나왔을 확률은 다음과 같다.

$$P(첫번째봉지|분홍별사탕) = \frac{P(분홍별사탕|첫번째봉지)P(첫번째봉지)}{P(분홍별사탕)}$$
$$= \frac{(30/40) * (40/80)}{(50/80)} = \frac{60}{100} = 60% $$

참고문헌
Bayes' theorem
조건부 확률을 이용한 베이즈 정리
조건부 확률(베이지안)의 이해를 위한 예제 및 풀이