[그로스 해킹_양승화] 05. 성장 실험 : A/B 테스트

 

[그로스 해킹_양승화] 01. 그로스 해킹이란?

 

1. A/B 테스트란?

✅ 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)으로, 통계적 가설 검정 또는 2-표본 가설 검정의 한 형태

*A/B테스트는 굉장히 명확하고 쉽지만, 이 때문에 누구나 잘 알고 있다고 착각해 설계 과정에서 오류를 범할 수 있다.

 

2. A/B 테스트 설계하기

 

가설

• 무엇을 확인하고 싶은가?
• 독립변수와 종속변수가 무엇인지 정의하고, 종속 변수의 목표 수준을 정하는 형태로 이루어짐
• ex) '서비스 소개를 텍스트로 보여주는 화면보다 이미지로 보여주는 화면에서의 가입 전환율이 10% 높을 것이다'

실험 집단/통제 집단

• 전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의
• 통제 변수 관리와 엄격한 기준에 따른 샘플링 필요

독립 변수

• 설명 변수 or 예측 변수 → 인과 관계에서 "원인"이 되는 변수
• 종속 변수에 영향을 줄 것이라고 기대되는 변수
• 일반적으로 2개 내외의 수준을 설정
• ex) '서비스 소개를 보여주는 방식'

종속 변수

• 인과 관계에서 "결과"가 되는 변수
• 독립 변수에 의해 영향을 받을 것으로 기대되는 변수
• 종속 변수의 변화량에 따라 실험의 성과 판별 가능
• 측정 가능해야하며, 어떤 기준으로 측정할 것인지에 대한 조작적 정의가 사전에 명확하게 설정되어야 함

통제 변수

• 실험 집단/ 통제 집단 모두에서 동등한 조건을 가져야 하는 변수
• 독립변수가 아니지만, 종속 변수에 영향을 미칠 수 있는 제3의 변수
• A/B테스트의 성패는 통제 변수를 얼마나 잘 관리하느냐에 달린 경우가 많음

샘플 크기

• 가설 검증에 필요한 실험 참가자의 숫자

실험 기간

• 가설 검증을 위한 데이터를 수집하는 데 필요한 기간을 정의해야함
• 특별한 이유 없이 진행 중인 실험을 임의로 중단하고 중간에 결론을 내리면 안 됨

 

3. A/B 테스트 설계 시 유의사항

📍A/B 테스트 설계의 성패는 실험 집단과 통제 집단을 적절하게 나누고 통제 변수 관리를 얼마나 잘했느냐에 달려 있다

 

실험 집단과 통계 집단 샘플링 

• 랜덤 추출(random sampling)과 편의 추출(convenient sampling)을 혼동하지 말자!
  → 회원 번호를 홀/짝으로 나누는 것이 과연 랜덤 추출일까? '가입 경로'라는 통제변수가 고려되지 않아 오류를 범할 수 있다.
• 이처럼, 제3의 변수가 종속 변수에 영향을 미칠 수 있다고 판단된다면, 이를 통제 변수에 포함해 샘플링 과정에 반영함으로써 종속 변수에 미치는 영향을 차단해야 한다.

순차 테스트와 동시 테스트

• 순차 테스트는 A 조건으로 일정 기간 테스트를 한 후, B 조건으로 바꾸어 연이어 테스트를 진행하고 이 두 가지 조건의 결과를 비교하는 방식
• 순차 테스트의 가장 큰 문제는 제대로 된 통제 변수를 관리할 수가 없다.
  → 실험 기간이 달라짐에 따라 기대하지 못한 외부 효과의 개입 여지가 존재!!

샘플 크기

• 실험을 시작하기 전에 샘플 크기를 미리 정해야 한다는 점에 유의할 것
• 샘플 크기에 대한 고려 없이 실험을 진행한다면, *엿보기 & 조기 중지의 함정에 빠질 수 있음
• 샘플 크기 계산기를 활용해 보자
  →  일반적으로 검증하고자 하는 가설, 검정력, 유의 수준 등 실험 설계 조건을 입력하면 실험에 필요한 샘플 수를 계산해 줌.

Sample Size Calculator

*엿보기 & 조기 중지는 다음 시간에..!!