05. Bayesian Inference의 특징

추론의 과정에서 부각되는 베이즈 추정의 특징

베이즈 추정이 어떤 논리구조를 가진 추정인가?

표준 통계적 추정(네이만-피어슨 통계학)과의 차이점을 알아보자

추론이란 무엇인가?

명확하지 않은 사항에 대하여 몇 가지 증거(정보)를 바탕으로 추리하여 그 사실을 밝혀내는 행위를 말한다

가장 전형적인 추론 방법 :  논리적 추론

• '논리' : 수학의 증명에서 말하는 논리

논리적 추론의 예

눈 앞에 상자가 하나 있다고 하자. 그 상자가  $X$ 상자인지 $Y$ 상자인지 중 하나라는 것은 알지만 둘 중 어떤 상자인지 겉으로 봐서는 알 수가 없다. 이것이 '명확하지 않은 사항'에 해당한다.

여기서 두개의 상자에 대한 정보가 있다. 두 상자 모두 각각 10개의 공이 들어있는데 상자 $X$에는 10개 모두 흰색 공이고 상자 $Y$에는 10개 모두 검정색 공이다.

이 때 눈 앞의 상자에서 공을 한 개 꺼냈더니 검정색이었다. 검정색 공이라는 것은 '추정'을 위한 정보가 된다. 그렇다면 이 증거로부터 이 상자가 $X$, $Y$ 중 어떤 상자인지 판단할 수 있는가?

• 위의 예는 간단한 추론이라 누구나 상자가 $Y$라고 결론을 내릴 수 있다

논리적 추론 과정

먼저 주어진 정보에 따른 사실 관계를 간단명료하게 표현으로 나타내본다

• 사실 1 : $X$ 또는 $Y$

• 사실 2 : $X$라면 흰색 공

• 사실 3 : $Y$라면 검정색 공

• 사실 4 : 검정색 공(흰색 공이 아니다)

위의 네 가지 사실로부터 $Y$라는 결론을 이끌어 내는 과정을 수학적인 방법(논리적 연역)으로 도출하는 과정

• 과정 1 :  $X$라고 가정한다

• 과정 2 : 과정 $1$과 사실 $2$로부터 흰색 공이 나와야만 한다

• 과정 3 : 사실 $4$에서 상자에서 나온 공은 검정색(흰색이 아니다)이기 때문에 과정 $2$와는 모순이다

• 과정 4 : 따라서 과정 $1$에서 정한 가정은 잘못된 가정이기에 $X$가 아니라는 것을 알 수 있다

• 과정 5 : $X$가 아니기 때문에 사실 $1$로부터 상자는 $Y$라고 결론지어진다

위의 추론 과정에서 이용한 연역적인 방법은 수학의 엄밀한 증명(또는 논리학에서의 연역) 방법으로 비약이 있는 추론은 하나도 없다

• 컴퓨터도 프로그래밍이 가능한 규칙만을 사용하여 결론을 이끌어 낸다!

• 이렇게 내린 결론은 논리적인 결론이다
  

확률적 추론 과정

• 논리적 추론 과정에서 사용한 예와 비슷한 예를 사용하여 확률적 추론 과정을 살펴보자

확률적 추론의 예

눈 앞에 상자가 하나 있다고 하자. 그 상자가  $X$ 상자인지 $Y$ 상자인지 중 하나라는 것은 알지만 둘 중 어떤 상자인지 겉으로 봐서는 알 수가 없다. 이것이 '명확하지 않은 사항'에 해당한다.

여기서 두개의 상자에 대한 정보가 있다. 두 상자 모두 각각 10개의 공이 들어있는데 상자 $X$에는 흰색 공 9개와 검은 공 1개가 들어있고 상자 $Y$에는 검정색 공 8개와 흰색 공 1개가 들어있다.

이 때 눈 앞의 상자에서 공을 한 개 꺼냈더니 검정색이었다. 검정색 공이라는 것은 '추정'을 위한 정보가 된다. 그렇다면 이 증거로부터 이 상자가 $X$, $Y$ 중 어떤 상자인지 판단할 수 있는가?

• 이 사례는 사실 $2$와 사실 $3$이 성립하지 않기 때문에 앞에서 설명한 논리적 추론 방법이 통용되지 않는다

• 그래서 사실 $2$와 사실 $3$을 다음과 같이 바꾸어 추론해야 한다

먼저 주어진 정보에 따라 사실 관계를 간단명료하게 표현으로 나타내본다

• 사실 1 : $X$ 또는 $Y$

• 사실 2 : $X$라면 대체로 흰색 공

• 사실 3 : $Y$라면 대체로 검정색 공

• 사실 4 : 검정색 공(흰색 공이 아니다)

위 사실들로 부터 누구나 직감적으로 다음과 같은 결론을 얻을 것이다

• 대체로 $Y$일 것이다

그러면 '대체로'라는 말을 어떻게 해석해야 할까?

• '대체로'라는 단어의 해석에 표준 통계학과 베이즈 통계학의 입장 차가 선명히 드러난다

• 표준 통계학 추정

• '대체로 $Y$일 것이다'를 '리스크는 있지만 $Y$로 결론 짓자'는 의미로 사용

• 리스크를 각오하고 두 개의 가능성 중 한쪽으로 결론을 내리는 입장

• 베이즈 통계학 추정

• '대체로 $Y$일 것이다'를 '$X$와 $Y$ 모두 가능하지만 $Y$쪽의 가능성이 훨씬 더 클 것이다'라는 의미
  

• $X$ 또는 $Y$라고 결론을 내리는 방식이 아니라 이른바 양다리를 걸친 결론을 내리되 그 가능성에 무게차를 두는 입장
  

출처 : 세상에서 가장 쉬운 베이트 통계학 입문