트래픽이 적을 때 랜딩 페이지 A/B 테스트하는 법

표본 크기부터 계산하세요

랜딩 페이지 A/B 테스트는 간단한 계산에서 시작합니다. 무엇이든 바꾸기 전에 숫자부터 확인하세요. 전환율이 3%일 때 상대적으로 20% 오른 결과를 신뢰수준 95%, 검정력 80%로 잡아내려면 버전당 방문자가 약 14,000명 필요합니다. 테스트 하나에 28,000명인 셈입니다. 랜딩 페이지에 한 달 방문자가 2,000명이라면 이 테스트는 1년 넘게 돌아갑니다. 첫날 이 계산을 해두면 애초에 끝날 수 없는 테스트를 시작하지 않게 됩니다.

변화가 클수록 필요한 트래픽은 줄어듭니다

변화가 크면 같은 계산이 유리하게 작동합니다. 기준이 3%일 때 4.5%로 오른 결과를 확인하려면 버전당 약 2,500명이면 됩니다. 6%까지 올리는 변화라면 약 750명으로 충분합니다. 헤드라인을 새로 쓰고, 제안을 바꾸고, 페이지를 다시 만들면 이 정도가 움직입니다. 버튼 색은 그만큼 못 움직입니다. 트래픽이 적으면 자연스럽게 페이지 전체를 맞붙이는 테스트로 가게 되는데, 보통은 그쪽이 더 쓸모 있는 질문입니다.

랜딩 페이지 A/B 테스트는 한 번에 하나씩

트래픽이 얇은데 세 개 버전으로 나누면 어느 쪽도 읽을 만한 숫자가 나오지 않습니다. 테스트 하나를 끝내고 다음으로 넘어가세요. 각 테스트는 주 단위로 꽉 채워서 돌립니다. 화요일 트래픽과 일요일 트래픽은 거의 다르게 움직입니다. 2주에서 4주를 통째로 돌리면 월급날, 캠페인 집행, 어쩌다 터진 게시물 같은 요인이 평평해집니다. 한 분기에 테스트 네 개를 차례로 돌리는 편이, 네 개를 동시에 돌려 전부 애매하게 끝나는 것보다 낫습니다.

시작 전에 종료일을 정하세요

매일 결과를 들여다보다가 한 버전이 95%를 찍는 순간 멈추면 자기 자신을 속이게 됩니다. 표본이 작으면 무작위 잡음이 그 선을 자주 넘고, 거기서 멈추면 그 잡음이 결론으로 굳습니다. 표본 크기와 종료일을 미리 정하세요. 둘 다 적어두고, 그날이 오기 전까지는 유의성 숫자를 보지 마세요. 참기 힘들면 대시보드를 숨겨두면 됩니다.

더 자주 일어나는 행동을 지표로 잡으세요

구매는 드물게 일어나서 유의미한 수준에 닿기까지 한참 걸립니다. 퍼널 위쪽 이벤트는 훨씬 자주 발생합니다. 주요 CTA 클릭, 폼 입력 시작, 가격 섹션 조회, 데모 영상 재생 같은 것들입니다. 이런 지표는 읽을 만한 표본에 훨씬 빨리 도달합니다. 다만 판결이 아니라 신호로 다루세요. 헤드라인이 클릭을 올리면서 엉뚱한 사람을 들여보내는 경우도 있습니다. 다음 한 달간 매출로 확인하면 됩니다.

무승부 결과보다 사용자 테스트 다섯 번이 낫습니다

트래픽으로 답이 안 나오면 사람에게 물어보세요. 목표 고객과 조건이 맞는 구매자 다섯 명을 데려와 진행자와 함께 테스트하면, 같은 걸림돌 두세 개가 계속 반복해서 나옵니다. 세션 녹화는 스크롤이 멈추는 지점을 보여줍니다. 질문 하나짜리 이탈 설문은 생각도 못 한 반론을 잡아냅니다. 영업 통화 기록에는 페이지에 그대로 써야 할 표현이 가득합니다. 여기엔 검정력이 필요 없습니다.

테스트가 답을 못 주면 판단으로 내보내세요

트래픽이 적은 테스트는 대부분 뚜렷한 승자 없이 끝납니다. 흔한 결과입니다. 숫자가 원하는 쪽으로 기울 때까지 기간을 늘리지 마세요. 배운 것을 적고, 정성적 근거가 지지하는 버전을 골라 내보낸 다음, 다음 테스트로 넘어가세요. 1년으로 보면 잘 고른 페이지 개편 여섯 번이, 방문자 1,200명짜리 표본으로는 애초에 나올 수 없던 결과를 여섯 달 기다린 것보다 낫습니다.