사용자 인터뷰는 몇 명이면 충분할까

사용자 인터뷰에 몇 명이 필요한지에 대한 보편적인 숫자는 없습니다. 집단이 비슷한지, 질문이 좁혀져 있는지, 세그먼트 비교가 필요한지에 달려 있습니다. 경험상 비교적 동질적인 집단을 대상으로 하나의 좁혀진 질문을 다룬다면, 12회 정도면 주요 관점의 대부분을 들을 수 있습니다. 집단 간 차이가 크거나 세그먼트를 비교해야 한다면 그룹별로 따로 계산합니다. 이 글을 읽고 나면 다음 리서치에서 근거를 댈 수 있는 표본 크기를 정하고, 인터뷰 도중 언제 인원을 늘리고 언제 멈출지 알 수 있습니다.

주제 포화: 인터뷰가 충분한지 판단하는 기준

정성 리서치에서 표본 크기가 충분한지 판단할 때 흔히 쓰는 기준은 주제 포화입니다. 새로운 참여자를 계속 인터뷰해도 새로운 주제가 거의 나오지 않고, 새로 듣는 내용은 대부분 기존 주제를 반복하거나 보충하는 수준인 상태를 말합니다. 이 지점에 이르면 인원을 더 늘리는 효과가 눈에 띄게 줄어듭니다.

가장 많이 인용되는 것은 Guest, Bunce & Johnson이 2006년에 발표한 연구입니다. 이들은 심층 인터뷰 60건을 분석하며 세션마다 새로 나타난 코드를 기록했고, 비교적 동질적인 참여자 집단에서는 처음 12회의 인터뷰가 주제의 대부분을 이미 포괄했으며 주요 상위 주제는 처음 6회 안에 이미 나타났다는 것을 발견했습니다.

이 연구를 인용할 때는 전제를 유의해야 합니다. 참여자의 배경이 비슷하고, 인터뷰 가이드가 상당히 구조화되어 있으며, 질문 범위가 좁혀져 있었다는 점입니다. 참여자가 신규와 기존 사용자, 여러 국가, 여러 요금제에 걸쳐 있거나 리서치 질문 자체가 매우 열려 있다면 12회로는 충분하지 않습니다. 이 수치는 출발점일 뿐 규칙이 아닙니다.

포화는 특정 집단, 특정 질문에 대한 것입니다. 집단이나 질문이 바뀌면 다시 판단해야 합니다.

사용성 테스트 5명: 적용 범위와 흔한 오용

Jakob Nielsen은 2000년 글에서 사용성 테스트 한 라운드에 사용자 5명이면 인터페이스의 사용성 문제 대부분을 발견할 수 있다고 했습니다. 한 번에 15명을 테스트하기보다 5명씩 세 라운드로 나누어 고친 뒤 다시 테스트하는 편이 낫다는 것입니다. 이 결론에는 전제가 있습니다. 모두가 같은 인터페이스에서 같은 과제를 수행하므로 겪는 장애물이 크게 겹친다는 것입니다.

흔한 오용은 '5명이면 충분하다'를 모든 사용자 리서치에 적용하는 것입니다. 니즈 탐색, 동기 이해, 집단별 태도 비교 같은 질문은 답이 훨씬 흩어져 있어서, 인터뷰 5번으로는 가장 눈에 띄는 몇몇 관점만 듣게 되는 경우가 많습니다. Nielsen도 같은 글에서 사용자 집단 간 차이가 뚜렷하면 그룹별로 테스트해야 하고, 통계 수치가 필요한 정량 리서치에는 더 많은 표본이 필요하다고 밝혔습니다.

집단별로 그룹을 나눌 때 그룹당 몇 명이 적당한가

리서치 목적 중 하나가 집단 비교라면, 예를 들어 이탈 사용자와 잔존 사용자, 초보자와 숙련자, 서로 다른 도시를 비교한다면, 포화는 각 그룹 안에서 따로 도달해야 합니다. 전체 12명을 세 그룹으로 나누면 그룹당 4명뿐이어서 어떤 그룹 간 차이도 설득력을 갖기 어렵습니다.

• 먼저 반드시 비교해야 할 그룹을 정하세요. 보통 3개를 넘기지 않습니다. 그룹이 많을수록 그룹당 인원이 적어집니다.
• 그룹마다 동질적인 집단 기준으로 추정합니다. 보통 6~8명에서 시작하고, 질문이 열려 있거나 그룹 내 차이가 크면 12명 쪽으로 늘립니다.
• 표본의 포괄 범위만 넓히려 하고 그룹 간 비교는 하지 않을 차원이라면, 쿼터로 유형마다 최소 한 명씩만 확보하면 됩니다. 그룹 단위로 인원을 다 채울 필요는 없습니다.
• 어느 그룹이 특히 모집하기 어렵다면, 두세 명으로 그룹 전체를 대표하게 하기보다는 비교 범위를 줄이는 편이 낫습니다.

이 표는 경험적 참고치이며 통계적 요건이 아닙니다. 실제 인원은 인터뷰에서 새로운 주제가 계속 나오는지를 기준으로 정합니다.

인터뷰 진행 중: 언제 인원을 늘리고 언제 멈출까

표본 크기는 시작 전에 계획값을 하나 정하고, 인터뷰를 진행하면서 실제 상황에 따라 조정합니다. 3~4회 인터뷰를 마칠 때마다 멈추고 새로 나타난 주제를 표 하나에 기록해, 곡선이 평평해지고 있는지 확인하는 것을 권합니다.

이런 경우에는 인원을 늘려야 합니다

• 최근 몇 회의 인터뷰에서 새로운 주제가 계속 나오고, 줄어드는 기미가 보이지 않을 때.
• 어떤 핵심 결론을 한두 명의 참여자만 뒷받침하는데, 그 결론이 의사결정에 직접 영향을 줄 때.
• 예상하지 못한 집단 간 차이가 나타났을 때. 예를 들어 특정 채널로 들어온 사용자의 이야기가 눈에 띄게 다를 때.
• 어느 그룹의 참여자가 한쪽으로 뚜렷하게 치우쳐 있을 때. 예를 들어 모두 활성 사용자이고 조용한 사용자나 이탈 사용자는 없을 때.

이런 경우에는 멈춰도 됩니다

• 약 3회 연속 새로운 주제가 나오지 않고, 새로 추가되는 내용은 세부 사항을 보충하는 정도일 때.
• 답해야 할 리서치 질문마다 여러 참여자의 원문 발언이 뒷받침하고, 반례도 찾았을 때.
• 인터뷰를 더 해도 얻는 정보가 내려야 할 결정을 바꾸지 않을 때.

AI 인터뷰로 표본을 더 키울 수 있게 되면서 달라진 것과 달라지지 않은 것

AI가 진행하는 인터뷰는 여러 세션을 동시에 진행할 수 있고 세션당 비용도 낮아서, 표본 크기를 십여 명에서 수십 명, 나아가 백 명 이상으로 늘리는 것이 현실적으로 가능해졌습니다. 그 결과 실제로 몇 가지가 달라집니다. 그룹마다 인원을 충분히 배정할 수 있고, 주변부 집단을 따로 떼어 들을 수 있으며, 결론에서 더 무게 있는 인원 비율을 제시할 수 있습니다.

달라지지 않은 것도 있습니다. 표본의 대표성은 여전히 모집에 달려 있습니다. 모두 활성 사용자인 100명의 인터뷰는 신규, 기존, 이탈 사용자를 고루 포함한 20명의 인터뷰만 못합니다. 인터뷰의 질은 여전히 가이드와 후속 질문에 달려 있습니다. 얕게 물으면 인원이 아무리 많아도 같은 층위의 정보가 반복될 뿐입니다. 인원이 많아지면 정리 작업량도 커지므로 주제별로 분류하고, 인원수를 표시하고, 원문 발언을 남기는 일이 더 중요해집니다. 정성 인터뷰의 인원 비율을 통계적 결론으로 삼아서도 안 됩니다. 정확한 비율이 필요하다면 설문이나 행동 데이터로 검증해야 합니다.