A/B 검정

A/B TEST

• 검정(test): 일정한 규정에 따라 자격이나 조건을 검사하여 결정

• A/B 검정: 두 종류의 처리 방법이나 제품 또는 절차 중 어느 한쪽이 다른 한쪽보다 더 낫다는 것을 입증하기 위하여 실험대상을 A와 B 두 개의 그룹으로 나누어 진행하는 실험

A/B 검정의 예

• 종자 발아가 어디에서 더 잘되는지 알아보기 위해 두 가지 토양 처리를 검정한다.

• 암을 더 효과적으로 억제하는 두 가지 치료법을 검정한다.

• 두 가지 가격을 검정하여 더 많은 순이익을 산출하는 쪽을 결정한다.

• 두 개의 인터넷 뉴스 제목을 검정하여 더 많은 클릭을 유도하는 쪽을 결정한다.

• 두 개의 인터넷 광고를 검정하여 어느 것이 더 높은 전환율을 얻는지 판단한다.

용어 정리

• 대상(subject) 또는 피실험자(): 처리를 적용할 개체

• 처리(treatment): 어떤 대상에 가하는 특별한 환경이나 조건

• 처리군 또는 처리그룹(treatment group): 특정 처리에 노출된 대상의 집합

• 대조군 또는 대조그룹(control group): 어떤 처리도 하지 않은 대상의 집합

• 검정통계량(test statistics): 처리 효과를 측정하기 위한 지표

• 눈가림 검정(blind test): 특정 처리에 대한 인식이 검정에 영향을 줄 수 있으므로 대상자가 받고 있는 처리가 A인지 B인지 알지 못하도록 하는 검정 방법

• 제대로 된 A/B 검정에는 둘 중 어느 한쪽 처리를 가할 대상이 주어진다.

• 검정의 핵심은 대상을 어떤 특정 처리에 노출시켜야 하는데, 대상을 무작위로 어느 한쪽 처리에 노출시키는 것이다.

• 처리에 노출된 결과의 차이는 다음과 같은 이유로 발생한다고 생각할 수 있다.

• 각각 다른 처리의 효과

• 어떤 대상이 어떤 처리에 노출되는지에 관한 경우의 수

• 무작위로 노출시킨 결과, 자연스럽게 더 좋은 결과를 보이는 대상이 A나 B 한쪽에 집중된다

• A그룹과 B그룹을 비교하는 데 사용하는 검정통계량 또는 측정지표에 주의해야 한다.

대조그룹의 필요성

• 대조그룹이 없다면

• 처리그룹 이외의 대상이 모두 같다는 보장을 할 수 없으며

• 어떤 차이가 나더라도 처리(또는 우연)로 인한 결과인지 확신할 수 없다

• 처리를 하지 않은 대조그룹은 처리그룹과 동일한 조건을 적용한다.

• 단순히 '기준선'이나 이전 경험과 비교할 경우, 처리 이외의 다른 요소가 개입할 가능성이 있기 때문이다.
  

• 웹 환경에서의 A/B 검정 시 처리 조건의 예
  

• 웹 페이지의 디자인

• 제품의 가격

• 헤드라인의 어감 등
  

• 무작위 원칙을 고수하기 위하여 여러 행동 유형과 관련된 지표를 수집할 수 있지만, 실험이 결국 A처리와 B처리 간의 결정으로 이어지는 경우에 단일 지표나 검정통계량을 사전에 정해놓아야 하며, 그렇지 않고 실험 후 검정통계량을 사용하게 되면 연구자 편향에 의해 제대로된 결과를 얻지못할 수 있다.