[확률] 1. Probability Theory (확률론)

1. 확률

1.1. 표본공간 (Sample Space)

어떤 표본공간 $S$는 어떤 실험으로부터 나올 수 있는 모든 결과들의 집합이다.

이때, 실험이란 어떠한 시행이나 과정을 말하며, 각 시행결과가 발생할 가능성을 수학적인 구조로 설명하는 것이 확률론의 핵심이다.

 

예시: 카드 덱에서 두 개의 카드를 비복원추출하는 표본공간은 다음과 같다.

 

1.2. 확률값 (Probability Values)

특정 실험 결과의 실제 발생 가능성은 표본공간의 각 요소에 확률 값을 할당함으로써 찾아진다. 각 결과에는 0과 1사이의 값이 할당되며, 표본공간의 모든 요소에 대한 확률값의 합은 1이다.

 

• 표본공간 : $S =  \left\{O_1,O_2, ..., O_n \right\}$
• $O_i$에 대한 확률 : $P(O_i) = p_i$,    $0\leq p_i \leq 1$
• $p_1 + p_2 +... + p_n = 1$

 

2. 사건 (Events)

사건이란 표본공간의 부분집합을 의미한다. 즉 표본공간 $S$에서 사건 $A$가 발생할 확률은 $P(A)$로 정의되며 $A$에 포함된 모든 실험 결과에 대한 확률값의 총합으로 정의된다.

 

 

$$P(A) = 0.10 + 0.15 + 0.30 = 0.55$$

 

2.1. 여사건 (Complement)

여사건, 즉 남는 사건이라는 뜻이다. 이는 $A$에 포함되지 않은 모든 실험 결과들에 대한 발생 확률의 합으로 정의된다.

$$P(A') = 1 - P(A)$$

 

 

3. 사건의 조합 (Combinations of Events)

3.1. 교집합 (Intersection)

교집합은 사건 $A\cap B$ $A$와 $B$ 모두 발생하는 사건으로, 그 확률은 $P(A\cap B)$로 나타낸다.

 

$$P(A\cap B) = 0.07 + 0.19 = 0.26$$

 

$\text{lemma)}$ $P(A\cap B) + P(A\cap B') = P(A)$,  $P(A\cap B) + P(A'\cap B) = P(B)$

 

3.2. 배반사건 (Mutually Exclusive Events)

만약 두 사건 $A$와 $B$에 대해 , $P(A\cap B) = 0$이 성립하면, 두 사건 $A$, $B$는 배반사건이다.

 

 

3.3. 합집합 (Unions)

합집합은 사건 $A$ 또는 $B$가 발생하는 사건으로, 그 확률은 $P(A\cup B)$로 나타낸다.

 

$$ P(A\cup B) = P(A'\cap B) + P(A\cap B) + P(A\cap B') $$

$$ P(A\cup B) = P(A) + P(B) - P(A\cap B)$$

 

만약, $A$와 $B$가 배반사건이면, $P(A\cup B) = P(A) + P(B)$

 

 

4. 조건부 확률 (Conditional Probability)

 

조건부 확률이란 사건 $B$가 발생했다는 전제 하에 $A$가 발생하는 비율이다. 

$$P(A|B) = \frac{P(A\cap B)} {P(B)}$$

 

만약, $A$와 $B$가 배반사건이면, $P(A|B) = 0$

 

$$P(A|B) = \frac{P(A\cap B)} {P(B)} = \frac {0.26} {0.56} = 0.46$$

 

 

5. 베이즈 정리 (Bayes' Theorem)

▶만약 $A_1, A_2, ... , A_n$이 표본공간의 분할(Partition)이라면, $B$에 대한 $A_i$들의 사후 확률(Posterior Probability)는 다음과 같은 공식으로 설명 가능하다.

$$P(A_i|B) = \frac{P(B|A_i) \cdot P(A_i)}{\sum_{j=1}^{N} P(B|A_j) \cdot P(A_j)}$$

 

이 때, 사건이 $A$와 $B$ 두 개만 있다고 가정하면, 

$$ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}$$

로 나타낼 수 있다.

 

 

6. 순열과 조합 (Permutations and Combinations)

임의의 $n$개의 object들을 일렬로 나열하는 경우의 수를 $n\; \text{factorial}$이라고 표현하고, $n!$로 표기한다.

$$n! = n(n-1)(n-2)\times .. \times2\times1$$

 

6.1. 순열 (Permutations)

$n$개 중 $k$개를 순서를 구분하여 추출해 나열하는 것을 순열이라고 하고,

$${}_nP_k = \frac{n!}{(n-k)!}$$와 같이 나타낸다.

 

6.2. 조합 (Combinations)

$n$개 중 $k$개를 순서를 구분하지 않고 추출하는 것을 조합이라고 하고,

$${}_nC_k = \frac{n!}{(n-k)!k!}$$와 같이 나타낸다.