09. Bayesian Inference under Multiple Information

복수의 정보를 얻었을 때의 추정

1. 복수의 정보를 바탕으로 베이즈 추정을 실시

• 지금까지 실시한 베이즈 추정은 사전 정보를 1회로 한정했다

• 그러나 실제 추정에서는 복수의 정보로부터 이루어진다

• 베이즈 추정은 복수의 정보를 얻었을 때의 추정에 관해 상당히 중요한 성질을 가진다

2. 두 종류의 실험 조합

• 직면한 현상에 대한 결과을 얻기위해서는 여러 가지 가능성이 있어 각각의 가능성에 확률을 할당할 수 있는 경우 그 현상을 '실험(experiment)'이라고 부른다

• 지금까지는 단순히 '정보'라고 해왔지만 이제부터는 '실험'이라는 용어도 사용한다

• 예를 들어, 주사위를 던져서 나온 눈을 확인한 것이 '실험'이다

• 또한 내일 날씨가 맑음, 구름, 비, 눈의 네 가지 결론 중 무엇이 될 것인가를 보는 것도 '실험'이다

• 이제 두 종류의 실험이 있을 때, 그 두 가지를 한데 묶어 그것을 또 다른 실험으로 본다면 그 결론에 대한 각각의 확률은 어떻게 될지에 대해 생각해 보자

두 종류의 실험에 대한 베이즈 확률을 구하기 위해 다음과 같은 경우를 생각해보자

• 제1실험은 동전을 던져 앞이나 뒤가 나오는 것을 결론으로 하는 확률 현상이다

• 제2실험은 주사위를 던져서 나올 눈을 결론으로 하는 확률 현상이다

• 위의 두 시행을 하나로 묶으면 제 3시행이 만들어진다

• 예를 들어, 제1시행에서 '앞면'이 나오고, 제2시행에서 '$4$'가 나온 경우 이를 하나로 묶어서 '앞면과 $4$'라는 제3시행을 얻을 수 있다

• 이와 같은 실험을 '직적 실험(direct product experiments)'라고 한다

• 제3실험의 결과는 다음과 같이 동전의 앞뒤 $2$가지와 주사위의 눈의 수 $6$가지에 대하여 $2\times 6=12$가지가 된다

• 참고로, '직적' 또는 '직접곱'이라는 수학용어는 각각의 경우를 곱하여 모든 경우의 수를 아래와 같이 격자 모양에 늘어놓아 묶음을 만드는 것을 뜻한다
  

3. 독립적인 직적실험의 확률은 곱셈으로 구할 수 있다

• '2개의 실험이 독립'되어 있다는 것은 '어느 한쪽의 실험이 다른 한쪽의 실험 결과에 영향을 미치지 않는다'는 것을 의미하며 '독립 실험'이라고 한다
  

• 예를 들어 동전과 주사위를 던지는 실험의 경우, 동전의 앞면이 나오는 결과가 주사위가 어떤 눈이 나오는지에 대해 영향을 주지 않는다

• 이 것이 '실험의 독립성'이다
  

• 그러면 '독립되지 않은 2개의 실험'은 무엇일까?

• 예를 들어, '서울의 내일 날씨'와 '경기도의 내일 날씨'라는 실험은 '관계가 없다'고 볼 수 없을 것이다

• 서울에서 내일 비가 온다고 하면 경기도에도 내일 비가 내릴 가능성이 상당히 높다고 추측하는 것이 일반적이다

• 이처럼 2개의 실험이 독립적이지 않은 실험을 '종속 실험'이라고 한다
  

• 실험의 독립성을 논할 때 '서로 영향을 주지 않는다'고 하거나 '관계가 없다'고 정의하는 것은 좋은 방법이 아니다

• 수학적으로 어떻게 정의하고 계산해야할 것인지 알 수가 없기 때문이다
  

• '어느 한쪽의 실험이 다른 실험에 영향을 주지 않는다'는 것과 직감적으로 동일한 것을 뜻하게 될 수학적 계산에 의해 독립성을 정의해보자

독립 실험에 대한 수학적 정의

앞에서 논의했던 동전 던지기와 주사위 던지기 실험을 생각해보자

• 주사위 던지기에서 눈이 $1$이 나올 확률은 $\frac{1}{6}$이며, 다른 눈이 나올 확률도 동일하게 $\frac{1}{6}$이다

• 이제 다시 앞의 복합 실험 결과표에서 '앞면'일 경우만을 제외하면 주사위의 각 눈이 나올 확률은 어떻게 될까?

• 만일 $1$이 나오기 쉽다면(확률이 $\frac{1}{6}$보다 크다면), '앞면'이라는 동전 던지기 실험의 결과가 주사위 던지기 실험에 영향을 준다고 생각할 수 있다

• 따라서 동전이 '앞면'이라는 결과가 주사위 던지기 실험의 결과 몇이 나오는가에 영향을 주지 않는다면 동전 던지기의 결과 '앞면'의 경우만을 빼더라도 역시 주사위 던지기의 결과는 동일하게 나올 것이다

• 이는 동전이 '뒷면'이라는 결과에 대해서도 동일하게 적용된다

• 이 단계에서는 아래 그림에서 위아래 직사각형의 면적이 같다는 사실을 알 수 없다

• 그런데 주사위의 눈이 '$6$'인 묶음을 뺐을 때 그것이 동전의 '앞'과 '뒤'에 영향을 주지 않는다는 점을 생각하면 오른쪽 끝에 있는 위아래 직사각형 2개는 면적이 같다는 것을 알 수 있다
  

• 따라서 위 '격자 모양으로 늘어선 직사각형 $12$개의 면적은 모두 같다'고 할 수 있다
  

• 그러면 각 실험(동전 던지기와 주사위 던지기를 묶은 실험)의 결과에 대한 확률을 나타내는 직사각형의 면적은 어떻게 될까요?

• 정규화 조건에서 합계가 $1$이 된다는 것을 떠올리면 각 직사각형의 면적은 $1\div 12=\frac{1}{12}$임을 알 수 있다

• 직사각형이 $12$개 인 것은 동전 던지기의 결과 $2$가지와 주사위 던지기의 결과 $6$가지를 곱했기 때문이다

• 따라서 다음과 같이 정리할 수 있다

\begin{eqnarray} \textrm{직사각형의 면적} &=& \frac{1}{12} \\ &=& \frac{1}{2} \times \frac{1}{6} \\ &=& \textrm{동전 $1$개 던지기의 결과에 대한 확률}\times\textrm{주사위 $1$개 던지기의 결과에 대한 확률}\tag{9.1}\end{eqnarray}

• 식 (9.1)을 실험의 각 묶음에 대해 구체적으로 적어보면

\begin{eqnarray} \textrm{앞과 $1$이 나올 확률} = \textrm{앞이 나올 확률} \times \textrm{$1$이 나올 확률} \end{eqnarray}

또는

\begin{eqnarray} \textrm{뒤와 $5$가 나올 확률} = \textrm{뒤가 나올 확률} \times \textrm{$5$가 나올 확률} \end{eqnarray}

과 같이 된다

• 따라서 '묶음의 확률은 각 확률의  곱이 된다'는 뜻이다
  

4. 독립 실험의 확류에 대한 곱셈 공식

앞의 동전 던지기와 주사위 던지기 실험의 예에서는 직사각형이 완전히 균등하게 분할되어 있는데 이것은 특수한 경우로 일반적인 경우를 생각해보자

• 예를 들어 제1실험의 결과가 $a$, $b$, $c$, $d$의 $4$가지이며, 제2실험의 결과가 $x$, $y$, $z$의 $3$가지인데 각각 일어날 확률은 같지 않을 수 있다

• 이 $2$가지 실험이 독립적인 경우, 직적 실험은 다음과 같이 그릴 수 있다

• 위의 그림에서 행 하나만을 보면 직사각형 $4$개의 면적은 제각각이며, 열 하나를 보더라도 직사각형 $3$개의 면적도 제각각이다
  

• 그러나 하나의 행만을 보면 $4$개의 직사각형 각 면적의 비례관계는 어느 행이나 같으며, 열 또한 각 사각형의 면적 비례관계도 동일하다

• 따라서 각 행에서 $4$개의 직사각형은 제1실험의 결과를 나타내기 때문에 직사각형의 가로 변의 비는 제1실험의 결과의 확률의 비와 같다

• 또한 각 열에서 $3$개의 직사각형은 제2실험의 결과를 나타내기 때문에 직사각형의 세로 변의 비는 제2실험의 결과의 확률의 비와 같다

• 따라서 다음과 같이 구할 수 있다

\begin{eqnarray}\textrm{$a$와 $x$일 확률} &=& \textrm{$a$일 확률} \times \textrm{$x$일 확률}\\ \textrm{$a$와 $y$일 확률} &=& \textrm{$a$일 확률} \times \textrm{$y$일 확률}\\\vdots \\ \textrm{$d$와 $z$일 확률} &=& \textrm{$d$일 확률} \times \textrm{$z$일 확률}\\\end{eqnarray}

• 위와 같은 곱셈 공식을 '독립 실험 확률의 곱셈 공식'이라고 한다
  

출처 : 세상에서 가장 쉬운 베이트 통계학 입문