UX 사용성 테스트 - UX sayongseong teseuteu

이 글은 이런 고민을 가진 분들에게 추천해요.

  • 팀에 UX 리서처가 따로 있지 않아 UT 진행이 고민인 디자이너
  • 디자인 방향성 수립이나 결정을 두고 팀원 간의 의견 조율이 어려운 디자이너
  • 첫 UT를 앞둔 디자이너

“안녕하세요, Product UX팀 이자인(Lilly)예요. 저는 여기어때에서 공간대여 호스트센터 앱 UX 디자인을 담당하고 있어요. 공간대여 호스트센터는 공간대여 사업자를 위한 B2B 앱인데요. 최근 새로운 피처를 구체화시키기 앞서 사용자인 호스트 분들의 생생한 목소리를 듣고자 직접 UT를 진행했었어요.

사실 고백하자면, 저는 UT가 처음이에요. 막상 혼자 시작하려고 보니 굉장히 막막했었는데요. 다행히 여기어때 프로덕트 팀에는 UX 리서치 팀이 함께 하고 있어 매우 든든했답니다. 다만, 일정이 빠듯해서 리서처 분들의 도움 없이 제가 처음부터 끝까지 UT를 진행하게 되었어요. 리서처 분들의 조언과 함께 시행착오를 거듭하며 진행한 UT의 모든 과정을 자세하게 공유해보려고 해요”

대체 UT는 언제 해야 할까?

사실 UT가 필요하다고 느끼는 순간은 많아요. 대표적으로 크게 3가지 상황에서 UT의 필요성을 느끼는 것 같아요.

이 중에서 공간대여 팀은 ❸문제를 개선하기 위한 UX의 가설을 검증하고자 UT를 진행했어요. B2B UX에서는 호스트와 해당 사업에 대한 높은 이해도가 필요해요. 이걸 제대로 알아야만 호스트의 니즈를 프로덕트에서 해결해주고, 어떤 베네핏을 줄 수 있을지 본질적인 고민을 할 수 있기 때문이죠.

신규 피처 제작을 앞두고 론칭 후 계속 인입되고 있던 VOC(Voice of Customer)와 과거에 진행했던 FGI(Focus Group Interview)를 면밀하게 뜯어봤는데요. 호스트 분들이 예약 현황을 한눈에 확인하며 스케줄을 관리하고 싶다는 니즈를 알게 되었어요. 이를 해결하고자 팀원들과 예약 승인과 일정 관리를 모두 관리할 수 있는 캘린더를 만들기로 했죠.

하지만 캘린더 기능과 관련해 팀원마다 생각이 달라 의견 조율이 쉽지 않았어요. 특히, 우리가 작업한 UX가 호스트 분들의 가려운 부분을 정말 긁어줄 수 있는지 궁금했어요. 또, 우리의 의도대로 기능을 잘 사용해줄 수 있을지 걱정이 되었죠. 이런 상황을 계속 두고 고민하기보단 사용자의 진짜 니즈를 파악하는 게 중요하다고 생각해 곧바로 UT를 진행했어요.

UT 준비? 어렵지 않아요: 사전 준비

UT 시작 전, 간단해 보이던 일들이 준비할 때 생각보다 많은 시간을 필요로 했어요. 예를 들어, 비대면으로 UT를 진행한다면 어떤 화상 툴을 사용할지, UT 온보딩은 어떻게 진행할지 등 세부적으로 챙겨야 할 일들이 많았어요. 서두에도 말씀드렸듯 리서치팀이 따로 없거나 UT가 처음인 분들에게 도움 될 수 있도록 사전 준비에 필요한 일들을 정리해봤어요.

1. 인터뷰 리크루팅

  • 가설 검증이 가능한 상황의 참여자 리스트업 후 컨택
  • 인터뷰 사전 안내: 인터뷰 날짜와 시간 조율, 인터뷰 동의서 폼 작성, 인터뷰 진행 방법 공유, 사례금 준비
  • 인터뷰 진행 방법 결정: 온라인 또는 오프라인
  • 온라인이라면? 사용할 화상 플랫폼 결정& 툴 간단 사용 안내 문서 작성
  • 오프라인이라면? 리서치 진행할 장소 선정

2. 역할 분담

여기어때 UX 리서치 팀은 현재 3가지 역할로 나눠 리서치를 진행하고 있어요.

  • 모더레이터: UT 진행 담당
  • 옵저버: 모더레이터 서포팅과 기록 담당
  • 코디네이터: 참여자 리크루팅과 스케줄링, 참여자 커뮤니케이션 채널 운영 담당

UT가 처음인 공간대여 팀은 이를 참고해 좀 더 역할을 세분화해서 배분했어요.

1. 모더레이터와 옵저버
2. 인터뷰 담당 관리자 : 참여자 일정 조율과 참여 동의서 작성 폼 전달, 사례금 지급
3. 사전 인터뷰 안내자: 인터뷰 전 설치 프로그램 및 툴 준비 팔로업, 사전 인터뷰 진행 방법 리마인드

3. UT를 위한 프로토타입 제작

UX 디자이너가 가장 심혈을 기울여서 준비하는 작업이죠. 프로토타입을 제작할 때 인터뷰에서 검증하고 싶은 가설 위주로 태스크 플로우를 설계하는 게 중요해요. 참고로, 모든 플로우를 작동하게끔 만들지 않아도 괜찮아요. 검증하고 싶은 가설 위주의 프로토타입을 만들어야 그에 알맞은 인사이트를 확인할 수 있기 때문이죠.

4. 인터뷰 설문지 작성

인터뷰 설문지는 총 4가지로 구성했는데요.

  • 인터뷰이 정보 및 진행 순서
  • 인터뷰 전 아이스브레이킹용 대본
  • 가설 검증을 위한 과제와 추가 질문
  • 인터뷰 마무리 대본

엑셀 시트로 인터뷰 설문지를 만드는 걸 추천할게요. 팀원들 간의 공유와 수정이 빠르게 진행될 수 있어 좋아요.

5. 제일 중요한 사전 연습

원활한 UT 진행을 위해 팀원들과 함께 참여자와 모더레이터 역할을 돌아가면서 연습했었어요. 사전 연습을 하다 보면 프로토타입에서 누락되거나 실수한 부분을 빠르게 파악할 수 있어요. 또, 인터뷰 질문에 답해보면서 예상하지 못한 상황을 대비하는 등 UT 내용을 보강할 수 있죠. 그러니 시작 전 최소 1번이라도 연습해보시는 걸 추천할게요!

그럼, 실제 UT에 어떻게 적용했는지 직접 작업한 프로토타입과 인터뷰 설문지를 바탕으로 좀 더 자세하게 설명해볼게요.

UT 용 프로토타입 중 일부

먼저, 가설을 정의해요.

  • 가설) 한 번에 예약 승인할 수 있는 UX를 제공한다면, 호스트가 예약 승인을 쉽고 빠르게 할 것이다.

가설 정의는 과제를 통해 검증하고 싶은 바를 정한다는 건데요. AS-IS 앱에서 예약이 들어올 때, 캘린더에서 날짜와 세부 공간별로 분류해야만 예약 승인할 수 있어 호스트가 불편함을 느낄 것이라 생각했어요. 그래서 승인이 필요한 모든 예약 건들을 한 번에 모아 보여주고, 해당 예약 건들을 바로 승인할 수 있도록 맨 앞단에 버튼을 만들어 제공한다면, 호스트분들이 좀 더 쉽게 예약을 승인하게 되어 편리할 것이다라는 가설을 세웠어요.

다음으로 가설을 검증할 수 있는 과제를 만들어요.

위 가설을 바탕으로 총 4가지의 과제를 만들었어요. 과제를 만들 때 주의할 점이 있어요. 과제를 알기 쉽게 안내하고자 자세하게 묘사하면 안 돼요. 참여자들이 스스로 어떤 상황에서 무엇을 해야 하는지 집중력을 잃지 않을 정도로 표현해야 해요.

상황별 예상 질문을 정리한 시트

마지막으로 과제에 대한 상황별 예상 질문을 작성했어요.

팀원들과 함께 호스트의 예상 행동과 상황별로 어떤 질문을 할지 미리 정리했어요. 팀원들과 함께 정리하면 내가 미처 생각하지 못했던 상황에 대해 질문을 다양하게 준비할 수 있어서 좋아요.

가령, 우리가 예상했던 시나리오대로 과제를 이행했다면, 추가적으로 이해하는데 어려움은 없었는지, 순간적으로 머뭇거린 부분이 있다면 어떤 부분인지, 과제를 무리 없이 수행할 수 있었던 이유가 다른 플랫폼을 통해 경험했기 때문인지 익숙함 때문인지, 추가로 더 있으면 좋겠다 혹은 이건 없어도 괜찮겠다 싶은 부분이 있는지.

반대로 우리가 예상한 시나리오대로 과제를 해내지 못했다면, 평소 예약 승인을 어떤 식으로 진행했고, 수행하는 중 이해하기 어려운 문구가 있었는지, 버튼의 위치나 컬러가 눈에 띄지 않았는지 등 여러 질문을 사전에 작성해둔다면 어떤 상황이라도 당황하지 않고 진행할 수 있어요.

본격 UT 진행: 모더레이터로 인터뷰하기

지금부터는 모더레이터로서 UT를 진행하며 느낀 5가지의 인사이트를 공유해볼게요. 5가지만 유념하고 진행한다면, 참여자로부터 좋은 인사이트와 피드백들을 얻을 수 있지 않을까 해요.

  1. 사전 질문으로 인터뷰이의 상황과 배경 파악하기

사전 인터뷰를 통해 미리 인터뷰이의 정보를 알 수 있지만, 현재 어떤 상황에서 일하고 있고, 자주 쓰는 플랫폼과 우리 서비스는 일주일에 얼마나 접속하는지 등 참여자의 피드백이 얼마나 밀도 있을지 가늠할 수 있어요.

2. 충분히 기다리고 끝까지 관찰하기

참여자가 과제 수행 중 어디서 막히고 머뭇거리는지 파악하는 것이 좋아요. 다만, 바로 질문하지 않아요. 예를 들어, 참여자가 버튼을 눌러야 하는데 수행하지 못한다고, ‘왜 지금 버튼을 누르지 못하나요?’라고 즉시 묻는다면 참여자에게 과제 수행에 대한 힌트를 주게 돼요. 이럴 경우, 제대로 된 UT 진행이 어렵게 돼요.

또, 모더레이터의 질문에서 힌트를 찾아 본인의 의도와 다른 가장 합리적인 대답을 하게 돼요. 따라서 사용자의 행동 의도를 정확하게 파악하기 위해서 최소 20–30초 정도 기다리는 걸 추천할게요.

3. 참여자의 질문에 바로 대답하지 않기

참여자의 질문에 즉각적으로 답변을 하다 보면 사용성 테스트를 명확하게 진행할 수 없어요. 참여자의 질문은 아무래도 제품을 사용할 때 직접적으로 연관된 부분이고, 과제를 풀어나가는 데 힌트가 될 수 있거든요. 생각해보면 실제 사용자들은 왜 이렇게 디자인되었고, 이게 무슨 버튼인지 물어볼 사람이 없잖아요. 그 실제 상황과 동일한 상황 속에서 유저가 어려워하는 액션을 캐치해야 해요. 그렇기 때문에 참여자 질문에 대한 답변은 수행해야 할 과제가 모두 완료된 후에 답변해주는 게 좋아요.

4. 기획 의도와 디자인 배경을 설명하지 않기

UT 중 기획 의도와 디자인 배경을 설명하는 건 금물이에요. 혹시라도 이 답변을 들은 참여자는 더 이상 스스로의 생각과 의견을 내비치지 않을 수 있어요. 왜일까요? 잠시 만나 인터뷰하는 것뿐인데 굳이 의견차를 비춰 피곤하고 싶지 않기 때문이죠.

5. 프로덕트에 대한 사용 의향, 선호도 간청하지 않기 (릴리’s tip)

이 부분은 제가 놓쳤던 부분이기도 해요. 저와 같은 실수를 하시는 분이 없길 바라는 마음으로 여러 번 강조하고 싶어요.

모든 UT 과제가 끝나고, 참여자 분들께 관여도 높은 질문을 했었어요. 예를 들어, 경쟁사와 비교할 때 우리 앱은 몇 점을 줄지, 현재 사용하고 있는 앱과 대비하여 오늘 경험한 UX 만족도는 몇 점을 줄 건지. 이 질문에 참여자 분들은 어렵지 않게 우리 앱에 대한 높은 점수를 주셨는데요.

처음에는 높은 점수를 듣고 굉장히 좋아했어요. 그리고 UX를 크게 수정하지 않아도 되겠다라는 잘못된 판단을 했었죠. 하지만 이 기회를 통해 다양한 아티클을 읽어보니 기본적으로 사람은 남들 앞에서 굳이 싫은 소리를 하지 않기 때문에 참여자의 점수를 100% 신뢰하지 않도록 주의해야 한다는 걸 알게 되었어요. 이렇듯 점수에 연연하기보다는 과제를 진행을 하면서 참여자가 보여준 행동에 좀 더 포커스 해야 하다는 걸 느꼈죠.

UT가 끝나고 난 뒤 : 인사이트 도출과 반영

이후, 인터뷰 진행 중 작성한 문서와 녹화본을 토대로 팀원들과 랩업을 진행했어요. 앞으로 어떻게 UX를 고도화해 나갈지 인지 측면과 행동 측면 2가지를 바탕으로 디테일하게 리뷰하며 정리했어요.

a. 인지 측면 : 얼마나 정확하고 충분한 정보를 제공했는가

예를 들어, 아이콘을 보고 어떤 의미인지 파악하고 예상한 액션이 나왔는지, UI 텍스트의 의미를 의도한 대로 이해하고 있는지 그리고 카드 내에 더 필요한 정보가 노출되고 있는지 등 인지 측면을 중점으로 면밀히 살펴봤어요.

b. 행동 측면 : 의도한 UX대로 사용하고, 편리한 사용성을 제공했는가

과제를 수행할 때 시간이 너무 오래 걸리진 않았는지, 터치나 페이지 이동은 너무 많지는 않았는지(효율성 체크), 참여자들이 어떤 부분에서 실수를 했고, 어느 부분을 혼란스러워했는지를 판단하고자 했어요. 이런 부분을 취합하여 전반적인 UX 플로우를 보강하기로 했죠.

UT 이후 UX를 어떻게 개선했나요?

공간대여 캘린더 AS-IS와 TO-BE

UT 때 ‘예약 승인이 필요한 4건을 모두 수락해주세요’라는 과제를 드렸었는데요. 참여한 4분 모두 과제를 수행하지 못하셨어요. 전혀 예상하지 못한 결과였죠. 왜 수행하지 못하셨을까요? 호스트 분들은 예약을 승인하기 전까지 타 플랫폼과의 예약 승인이 겹치지 않는지, 어느 곳에서 먼저 예약이 들어오는지 등 꼼꼼하게 확인 후 승인을 하고 계셨죠.

이러한 이유로 한 번에 예약 건들이 노출되는 UX는 편리함으로 다가오지 않았던 것 같아요. 오히려 우리가 불편할 것이라 생각했던 공간과 날짜 따로 확인하는 UX가 불편하지만 안전하다고 느끼신 거죠. 그래서 과감하게 이 부분은 스펙 아웃했어요.

그 외에 인지하기 어려워한 ‘확정 대기’, ‘예약일자(내림차순)’와 같은 상태 값 문구는 ‘예약 대기’, ‘다가올 예약일 순’으로 수정했어요. 추가적으로 UT 후 참여자분들 모두 추가 인원 결제 기능이 앱에 도입되길 원하셨는데요. 이 의견을 적극 고려하여 우선순위를 높여 가능한 빠른 일정으로 조정했어요.

글을 마치며

인사이트까지 도출한 뒤 업무 진행에 가속이 붙기 시작했어요. UT를 통한 데이터가 UX 방향성에 강력한 근거가 되어 전보다 빠르게 의사 결정을 할 수 있었기 때문인데요. 게다가 팀원 간의 의견 차이를 좁힐 수 있었고, 이를 통해 같은 목표를 향해 갈 수 있는 팀워크를 끌어올리는 데 큰 도움이 되었어요.

무엇보다 앞으로 어떤 일부터 진행해야 할지 UT를 통해 인사이트를 얻을 수 있어 시야가 넓어진 것 같았어요. 앞으로 호스트센터에서 제공해야 할 기능들이 여전히 많은데요. 계속해서 호스트분들의 사업에 큰 베네핏이 될 수 있는 앱이 될 수 있도록 끊임없이 발전시켜 볼게요. 기대해주세요!

그래픽: 김제린(Riny) Visual Interaction Designer
편집: 이소연(Jetty) UX Writer