AI 사용자 리서치 도구를 고르는 방법

AI 사용자 리서치 도구를 고르는 가장 확실한 방법은 실제 리서치 질문 하나로 시범 사용하면서 아홉 가지 항목을 하나씩 점검하는 것입니다. 후속 질문 능력, 원문 추적, 사람의 검토, 참여자 모집 경로, 다국어, 데이터 보안과 컴플라이언스, 행동 데이터 연동, AI Agent 연동, 요금 체계입니다. 데모 영상과 기능 목록만으로는 결론을 낼 수 없고, 도구가 내 질문으로 실제로 무엇을 만들어 내는지 봐야 합니다. 이 글을 읽고 나면 각 항목을 시범 사용할 때 무엇을 보고 공급업체에 무엇을 물어야 하는지 알 수 있고, 평가 체크리스트와 평가표도 얻을 수 있습니다.

평가 전에 준비할 것

• 실제 비즈니스 질문 하나. 팀이 가까운 시일 안에 실제로 결정해야 하는 것이면 좋습니다(예: 어떤 기능을 쓰는 사람이 왜 적은지)
• 시범 인터뷰에 참여할 5–10명의 참여자. 동료, 잘 아는 사용자, 소규모 모집 모두 가능합니다
• 인터뷰에 익숙한 동료 한 명. 원본 기록을 읽고 후속 질문의 품질을 판단합니다
• 회사의 데이터 보안 및 구매 요건. 법무팀이나 보안팀에서 미리 받아 둡니다
• 평가표와 가중치는 어떤 도구를 보기 전에 먼저 정해 둡니다. 데모의 인상에 휘둘리지 않기 위해서입니다

같은 리서치 질문, 같은 참여자 조건으로 각 도구를 시범 사용해야 비교에 의미가 있습니다.

인터뷰와 분석 역량

1. 후속 질문 능력

이것이 AI 인터뷰와 대화형 설문을 가르는 기준입니다. 참여자가 막연하게 답했을 때 AI가 구체적인 상황, 단계, 이유를 후속 질문으로 묻는지, 아니면 바로 다음 문항으로 넘어가는지 봐야 합니다. 후속 질문이 중립적인지, 참여자 대신 답을 말하지는 않는지도 확인합니다. 아래는 기준을 충족하는 후속 질문의 예시로, 비교용으로 쓸 수 있습니다.

• 시범 사용 시: 직접 만든 인터뷰 가이드로 5건 이상 진행하고 원본 기록을 모두 읽은 뒤, 막연한 답변 뒤에 후속 질문이 몇 번 나왔는지, 후속 질문에 유도 질문이 있었는지 세어 봅니다.
• 시범 사용 시: 일부러 성의 없거나 주제에서 벗어난 답변을 해 보고 AI가 어떻게 대응하는지 봅니다.
• 공급업체에 질문: 후속 질문의 깊이와 방향을 인터뷰 가이드에서 설정할 수 있는지, 특정 주제는 후속 질문하지 않도록 정할 수 있는지.

2. 원문 추적

보고서의 각 결론에 대해 해당 원문, 참여자, 인터뷰 내 위치를 확인할 수 있는지 봅니다. 추적할 수 없는 결론은 팀을 설득하는 데 쓰기 어렵고, AI가 잘못 요약하지 않았는지도 확인할 수 없습니다.

• 시범 사용 시: 결론 3개를 무작위로 골라 하나씩 원문으로 들어가 보고, 원문이 실제로 그 결론을 뒷받침하는지, 인원수 집계가 정확한지 확인합니다.
• 시범 사용 시: 보고서에 반례, 즉 결론과 일치하지 않는 참여자가 한 말이 제시되는지 확인합니다.
• 공급업체에 질문: 결론의 인원수를 어떻게 집계하는지, 같은 참여자가 여러 번 언급하면 중복으로 세는지.

3. 사람의 검토

AI가 만든 인터뷰 가이드와 결론은 모두 사람이 검토해야 합니다. 리서치 리드가 인터뷰 전에 가이드를 검토하고 수정할 수 있는지, 인터뷰 중 참관할 수 있는지, 끝난 뒤 무효 응답을 제외할 수 있는지, 결론을 하나씩 수정하거나 반려할 수 있는지 확인하세요.

• 시범 사용 시: 응답 하나를 제외해 보고 보고서가 그에 맞게 갱신되는지, 결론 하나를 반려해 보고 수정 이력이 남는지 확인합니다.
• 시범 사용 시: 인터뷰가 진행되는 동안 기록을 실시간으로 볼 수 있는지, 인터뷰 가이드에 문제가 있을 때 일시 중지하거나 조정할 수 있는지 확인합니다.
• 공급업체에 질문: 검토 기록을 내보낼 수 있는지, 팀원의 조회 권한과 편집 권한을 어떻게 구분하는지.

참여자와 언어

4. 참여자 모집 경로

대부분의 제품 팀이 가장 인터뷰하고 싶은 대상은 자사 사용자입니다. 도구가 명단을 가져올 수 있는지, 공유 링크를 만들 수 있는지, 제품 안에 초대를 넣을 수 있는지, 필요할 때 외부 참여자를 모집할 수 있는지, 스크리너 설문을 설정할 수 있는지 확인하세요.

• 시범 사용 시: 명단 가져오기와 공유 링크로 각각 몇 명의 참여자를 초대하고, 참여자 입장에서 전체 과정을 한 번 거쳐 보며 매끄러운지 확인합니다.
• 공급업체에 질문: 외부 모집이 어느 국가와 대상을 지원하는지, 참여자 1인당 모집 비용과 기간은 대략 어느 정도인지, 인센티브는 어떻게 지급하는지.
• 공급업체에 질문: 같은 사람의 중복 참여나 명백히 성의 없는 답변을 어떻게 식별하는지.

5. 다국어 지원

사용자가 여러 시장에 분포해 있다면 도구가 참여자의 모국어로 인터뷰할 수 있는지, 다른 언어의 인터뷰를 함께 분석하면서 원문을 보존하는지 확인해야 합니다.

• 시범 사용 시: 해당 언어가 모국어인 동료에게 다른 언어로 인터뷰에 참여하게 하고, 질문이 자연스러운지, 후속 질문이 적절한지 판단합니다.
• 시범 사용 시: 통합 분석 후 각 결론에서 원문과 번역문을 함께 볼 수 있는지 확인합니다.
• 공급업체에 질문: 인터뷰를 진행할 수 있는 언어와 번역만 지원하는 언어는 무엇인지, 음성 인터뷰는 어떤 언어를 지원하는지.

데이터 보안과 컴플라이언스

6. 데이터 보안과 컴플라이언스

인터뷰 기록에는 참여자의 개인 정보와 실제 경험이 담기는 경우가 많으므로, 보안 문제는 도입 후에 보완할 것이 아니라 구매 전에 확인해야 합니다. 핵심은 네 가지입니다. 참여자 동의를 어떻게 기록하는지, 원문을 익명화하는지, 데이터를 어디에 보관하는지, 요청 시 삭제할 수 있는지입니다.

• 시범 사용 시: 참여자가 보는 인트로 안내를 확인하고, 인터뷰를 AI가 진행한다는 점과 데이터 사용 목적을 알리는지 확인합니다.
• 시범 사용 시: 인터뷰 중에 가짜 휴대폰 번호를 말해 보고, 보고서와 내보낸 파일에서 비식별 처리가 되었는지 확인합니다.
• 공급업체에 질문: 데이터 보관 지역, 고객 데이터의 모델 학습 사용 여부, 삭제 요청 반영 기간, 보유한 보안 인증이나 감사 보고서.

연동과 요금

7. 행동 데이터 연동

인터뷰는 왜를 알려 주고, 행동 데이터는 몇 명이 무엇을 했는지 알려 줍니다. 둘을 연동하면 최근 30일 안에 주문했다가 취소한 사용자처럼 행동 기준으로 참여자를 선정할 수 있고, 변경 사항이 출시된 뒤 데이터로 인터뷰 결론을 검증할 수도 있습니다.

• 시범 사용 시: 행동 조건 하나로 참여자를 선정해 초대를 보내 보고, 선정부터 초대까지 몇 단계가 걸리는지 봅니다.
• 시범 사용 시: 보고서에서 사용 시간이나 결제 기록 같은 참여자의 행동 데이터를 함께 볼 수 있는지 확인합니다.
• 공급업체에 질문: 어떤 데이터 플랫폼과 연결할 수 있는지, 데이터 동기화가 실시간인지 주기적인지, 권한은 어떻게 관리하는지.

8. AI Agent 연동

자체 AI Agent에게 일상 업무를 맡기는 팀이 늘고 있습니다. 도구가 MCP, CLI 또는 API를 제공하면 Agent가 직접 리서치를 만들고, 진행 상황을 조회하고, 보고서를 읽어 올 수 있으며, 리서치 결과도 팀의 기존 워크플로에 들어갈 수 있습니다.

• 시범 사용 시: 팀의 Agent가 MCP나 CLI로 리서치를 만들고 보고서를 읽어 오게 해 보고, 인터페이스가 충분한지, 반환된 내용을 바로 쓸 수 있는지 확인합니다.
• 공급업체에 질문: 어떤 작업을 인터페이스로 할 수 있고 어떤 작업은 웹에서만 할 수 있는지, 인터페이스 호출 빈도 제한이 있는지.

9. 요금 체계

흔한 과금 방식은 인터뷰 건수별, 사용자 수(시트)별, 프로젝트별입니다. 단가만 보지 말고, 1년에 리서치를 몇 건 하고 리서치마다 인터뷰를 몇 건 할지 추정해 총비용을 계산해야 합니다.

• 시범 사용 시: 무료 버전이나 체험판으로 인터뷰 가이드부터 보고서까지 리서치 하나를 끝까지 진행할 수 있는지 확인합니다.
• 공급업체에 질문: 외부 모집, 음성 인터뷰, 다국어에 별도 요금이 있는지, 쓰지 않은 인터뷰 건수를 이월할 수 있는지, 요금제를 초과하면 어떻게 과금되는지.

평가 체크리스트와 평가표

아래 체크리스트는 시범 사용 기록에 그대로 복사해 쓸 수 있습니다. 도구마다 한 부씩 따로 작성하세요.

평가할 때는 항목마다 1점, 3점, 5점 중 하나로 점수를 매긴 뒤 가중치를 곱합니다. 아래 표의 가중치는 예시일 뿐이니 팀의 실제 필요에 맞게 조정하되 합계는 100으로 유지하세요.