정성 리서치와 정량 리서치를 함께 쓰는 법

정성 리서치는 '왜'와 '어떻게 일어나는지'에, 정량 리서치는 '얼마나'와 '차이가 얼마인지'에 답합니다. 둘을 함께 써야 문제가 어디에 있고 원인이 무엇인지, 그리고 얼마나 많은 사람에게 영향을 주는지 모두 알 수 있습니다. 이 글을 읽고 나면 지금 가진 질문에 어떤 방법을 먼저 써야 할지 판단하고, 자주 쓰는 세 가지 순서에 따라 리서치를 계획할 수 있으며, 리서치 방법 선택을 위한 의사결정 체크리스트도 얻을 수 있습니다.

두 리서치의 정의와 차이

정성 리서치는 인터뷰, 관찰, 개방형 기록 등을 통해 적은 수의 대상에게서 자세한 자료를 모으고, 이를 바탕으로 어떤 상황이 있고 왜 일어나는지를 도출합니다. 정량 리서치는 설문, 행동 데이터, 실험 등을 통해 많은 대상에게서 구조화된 데이터를 모으고, 통계 방법으로 규모를 기술하고 차이를 비교하며 인과관계를 검증합니다.

둘의 차이는 숫자를 쓰느냐 안 쓰느냐에 있지 않습니다. 인터뷰 결론에도 '예시: 참여자 15명 중 6명이 언급'처럼 숫자를 쓰지만, 이 숫자는 표본 안의 상황만 보여 줄 뿐 비율로 일반화할 수 없습니다.

각각 잘 답하는 질문

정성 리서치가 잘하는 것

• 아직 문제가 무엇인지 분명하지 않을 때, 먼저 어떤 상황과 유형이 있는지 찾기
• 이미 관찰된 현상을 설명하기(예: 특정 단계의 전환율이 왜 낮은지)
• 사용자의 목표, 상황, 대안을 파악해 디자인에 쓸 재료를 얻기
• 설문 선택지를 준비하고, 선택지가 사용자가 실제로 말할 상황을 모두 담는지 확인
• 소수지만 중요한 집단을 이해하기(예: 대형 고객이나 고가치 이탈 사용자)

정량 리서치가 잘하는 것

• 특정 니즈나 문제가 사용자 사이에서 어느 정도 규모인지 추정
• 서로 다른 집단, 채널, 버전 간의 차이 비교
• 특정 변경이 실제로 지표 변화를 가져왔는지 확인
• 여러 문제의 우선순위를 정해 자원을 어디에 먼저 투입할지 결정
• 만족도, 리텐션 같은 지표가 시간에 따라 어떻게 변하는지 지속적으로 추적

자주 쓰는 세 가지 조합 순서

정성 먼저, 정량 나중

질문이 아직 모호한 단계에 적합합니다. 먼저 인터뷰를 열댓 건 진행해 사용자가 언급한 원인과 유형을 찾고, 이 유형을 설문 선택지로 만들어 더 큰 표본에서 유형별 비율을 조사합니다. 예를 들어 사용자가 왜 갱신하지 않는지 연구할 때, 인터뷰에서 가격, 사용 빈도 감소, 경쟁 제품으로 전환 등 몇 가지 원인을 찾은 뒤 설문으로 원인별 비중을 추정합니다. 이렇게 하면 설문 선택지가 팀의 추측이 아니라 사용자 자신의 표현에서 나옵니다.

정량 먼저, 정성 나중

데이터에서 이상 징후는 보이지만 이유를 모를 때 적합합니다. 먼저 행동 데이터나 설문으로 문제가 어느 단계, 어떤 집단에서 생기는지 위치를 파악한 뒤, 그 사람들을 찾아 표적 인터뷰를 합니다. 이 순서의 장점은 인터뷰 대상이 정확하고, 인터뷰 가이드도 구체적인 단계를 중심으로 쓸 수 있다는 것입니다.

병행

시간이 촉박하고 두 가지 증거가 모두 필요할 때 적합합니다. 예를 들어 새 기능이 출시된 뒤 사용 데이터와 A/B 테스트 결과를 보면서, 동시에 써 본 사용자와 써 보지 않은 사용자를 인터뷰합니다. 병행할 때는 두 결과를 어떻게 대조할지 미리 정해 두어야 합니다. 데이터에 나타난 변화를 인터뷰가 설명할 수 있는지, 인터뷰에서 반복해서 나온 이야기에 대응하는 행동을 데이터에서 찾을 수 있는지 봅니다. 둘이 일치하지 않으면 아직 파악하지 못한 상황이 있다는 뜻인 경우가 많으므로 한 걸음 더 파고들 만합니다.

순서를 정할 때는 먼저 스스로 물어보세요. 지금 부족한 것이 상황에 대한 이해인지, 규모에 대한 추정인지. 이해가 부족하면 정성을 먼저, 규모가 부족하면 정량을 먼저 합니다.

예시: 행동 데이터로 문제를 찾고, 인터뷰로 이유를 묻기

아래는 절차를 보여 주기 위한 예시이며, 숫자는 모두 가상입니다.

1. 발견: 행동 데이터를 보면 신규 사용자는 가입 후 세 번째 단계인 '계좌 연결'에서 가장 많이 이탈합니다. 예시: 두 번째 단계를 마친 사용자 중 약 40%가 이 단계를 완료하지 않았습니다.
2. 위치 파악: 채널과 기기별로 나눠 보니, 이탈은 특정 광고 채널에서 유입된 모바일 사용자에게 집중되어 있었습니다.
3. 선정: 이 사용자 중에서 세 번째 단계까지 와서 떠난 사람을 찾고, 순조롭게 완료한 사람을 비교 집단으로 삼아 두 집단에서 각각 약 10명을 인터뷰에 초대합니다.
4. 인터뷰: 가장 최근 가입의 구체적인 과정을 중심으로 인터뷰 가이드를 짜고, 세 번째 단계에서 무엇을 봤는지, 원래 무슨 일이 일어날 거라고 생각했는지 후속 질문을 합니다.
5. 정리: 원인을 분류하고 인원수와 반례를 표시해 검증 가능한 가설로 만듭니다.
6. 검증: 주요 원인에 맞춰 페이지를 수정하고, A/B 테스트로 이전 버전과 새 버전의 완료율을 비교합니다.

인터뷰의 예시 대화:

예시: 이탈 집단 10명 중 6명이 자동 결제를 걱정했다고 말했고, 비교 집단에서도 2명이 같은 걱정을 했지만 연결을 완료했습니다. 이 결론은 원인이 무엇일 수 있는지 보여 주지만, 전체 이탈 사용자의 60%가 이 때문이라고 말해 주지는 않습니다. 다음 단계로는 체험 기간이 끝나기 전에 알림을 보내고 언제든 해지할 수 있다는 점을 페이지에 분명히 적은 뒤, A/B 테스트로 완료율이 오르는지 봅니다. 이 원인의 비중을 추정해야 한다면 이탈 페이지에 단일 선택 문항을 하나 추가할 수 있습니다.

표본과 결론의 일반화 범위

두 리서치 모두 일반화할 수 있는 경계가 있으며, 그 경계를 넘은 결론이 의사결정을 가장 쉽게 오도합니다.

• 정성 결론이 일반화하는 것은 유형과 메커니즘이지 비율이 아닙니다. 어떤 상황이 있고 어떤 조건에서 일어나는지는 보여 줄 수 있지만, 표본을 무작위로 뽑지 않았으므로 표본 안의 비율을 전체 사용자에게 그대로 적용할 수 없습니다.
• 정성 리서치의 표본 크기는 주제가 포화되었는지를 기준으로 봅니다. Guest, Bunce, Johnson(2006)은 동질적인 집단에서 약 12건의 인터뷰 이후 새로운 주제가 거의 나오지 않는다는 것을 발견했습니다. 집단 간 차이가 크면 각 집단마다 충분한 수를 확보해야 합니다.
• 5명에 관한 Nielsen(2000)의 결론은 사용성 문제를 찾는 데만 적용되며, 인터뷰나 비율 추정에는 적용되지 않습니다.
• 정량 결론은 표본을 추출한 집단에만 성립합니다. 활성 사용자에게만 배포한 설문의 결론은 이탈 사용자에게 일반화할 수 없고, 자발적으로 응답하는 설문은 의견이 강한 사람 쪽으로 치우치기도 합니다.
• 행동 데이터는 전체 사용자를 포괄하지만, 이벤트 트래킹이 설정된 행동만 기록하므로 제품 밖에서 일어난 일은 볼 수 없습니다.
• A/B 테스트의 결론은 테스트 기간, 테스트에 참여한 집단, 비교한 안에만 적용됩니다. 계절, 시장, 대상 집단이 바뀌면 다시 검증해야 합니다.

리서치 방법을 고르는 법