인사이트를 발굴할 수 있는 UT 준비하기 (feat.Think aloud)

 

말하지 않으면 모른다.

---

 
플젝을 진행할 때부터 UT는 무조건 진행해야 한다!는 마음이 있었다. 
참여자를 구하기가 어려워서...라는 말로 쉽게 넘어가고 싶지 않았고
실제 유저가 앱을 쓰는 모습을 옆에서 관찰한다는 게 너무 궁금하고 꼭 경험해보고 싶었다. 
정말 운이 좋게도 프로젝트에 딱 맞는 퍼소나가 UT참여를 OK 해주심. 
 

UT 준비

UT 목표 : 워크넷 UI, 유저 플로우의 효과성과 효율성 검증

UT후 사후 질문에서 고려해야할 항목 ⓒ박지현

테스트를 진행할 화면은 (1) 프로그램 신청 플로우 화면, (2) 채용정보 상세 화면으로 명확한 상황이었다.
(1)은 굉장히 길고 복잡한 과정이었기 때문에 플로우를 4단계로 짧게 끊고, 중간중간 UI를 비교하는 태스크도 넣었다. 
태스크 별로 행동 지침을 한 문장으로 정리하고, 거기서 파생되는 효과성/효율성 파악 질문을 구성했다.
 
 
- 화면 준비
화면은 실제 앱을 활용하거나 참여자의 이탈 행동을 통제하고 싶다면 프로토타입을 만들어서 진행한다.
우리는 실제 앱으로 UT를 진행했고, UI를 비교하는 태스크만 동일한 기종의 핸드폰을
하나 더 준비해서 프로토타입으로 보여줬다. 
 
그리고 화면을 준비할 때 중요하게 생각했던 것은 시작 화면을 어디로 지정하는지였다.
시작 화면에 따라 난이도가 달라질 수 있기 때문에 고민했다. 
진단하고 싶은 화면 외에 불필요한 화면은 최소화하고, 이미 사용성이 복잡한 상황에서
태스크 난이도를 너무 높이지 않기 위해 시작 화면을 재설정했다.
 
- 시나리오 준비
특정 태스크에서는 참여자의 이입을 높이기 위해서 구체적인 시나리오가 필요하다. 
ex) 당신은 00이고, 현재 00한 상황이며, 00를 위해 00 하려고 합니다. 
 
 
- 질문 준비

태스크 전후로 화면에 대한 생각, 행동의 이유, 현장에서 유저가 어려워하는 부분에 대한 의견을 듣기 위한 질문을 구성한다.
여기서도 역시나 최대한 중립적인 입장에서 열린 질문으로 구성하면 좋다.
 
UT 진행 이후에 휴리스틱 평가라는 것을 알게 되었는데
휴리스틱 평가 항목을 기준으로 사후 질문을 작성해 보는 것도 좋을 것 같다.
 
- 진행자를 보조할 인원 준비
사실 보조 인원이 몇 명이나 있어야 하는지는 잘 모르겠지만
진행자 1, 보조자 1, 기록자 1(카메라 녹화로 대체 가능?). 최소 3명은 함께해야 할 것 같다. 
우리 팀은 다양한 기록을 위해 나(진행자) 포함 총 5명의 인원이 함께 참여했다. 
 
진행 보조자 : 진행 상황(진행속도, 필수질문 여부, 유도질문 여부 등)을 확인하고 카메라 녹화 담당
기록자 1: 참여자의 비언어적 표현(표정, 몸짓, 손짓 등)을 기록 
기록자 2: 참여자의 VOC(중얼중얼 거리는 혼잣말등의 언어) 기록
기록자 3: 참여자의 진행자 질문에 대한 답변 기록
 
- 진행자 용 스크립트 준비
태스크 행동 지침과 빼먹으면 안 되는 질문들, 관찰 메모 등을 위한 스크립트를 준비하고 지참하는 것이 좋다.
나 같은 진행 초보자에겐 내가 질문을 했는지 안 했는지 확인하는 용도로 없어서는 안 될 중요한 문서였다. 
태스크와 질문에 대해서는 팀원 모두가 제대로 숙지하고 있어야 하고,
진행 스크립트는 진행 보조자도 한 부 가지고 있어야 진행 흐름에 제대로 도움을 줄 수 있다.
 

진행자용 스크립트 예시 ⓒ박지현

- 참여 환경 세팅 준비
자리 배치를 어떻게 할 것 이냐? 에 대한 고민이 있었다. 역에 있는 오피스룸을 빌린 상태였는데
장소가 협소한 편이었고, 팀원과 참여자를 합치면 6명의 인원이 한 방에 들어가게 되는 상황이라 
혹시나 참여자가 너무 부담스러워하는 거 아닐까? 걱정했다.
 
전날에 우리는 여러 가지 방법을 고민해 봤고, UT날 현장에 가서 
테이블이나 공간 크기를 실제로 확인해 보면서 참여자를 위한 최적의 세팅을 했다. 
 
처음에는 참여자 행동이나 표정을 담기 위해 카메라로 전체를 찍을 예정이었는데
비언어 기록자가 있으니 비언어 기록자만 참여자 앞쪽으로 비스듬히 앉히고 
카메라로는 참여자의 손과 UT 화면만 집중적으로 찍기로 했더니 나름 그럴싸해졌다.

최적의 UT 환경 만들기 ⓒ박지현

- 다과 준비 
테이블에 세팅해 놓을 음료와 다과를 다양하게 준비했다. 
참여자에게 권유했더니 UT 중간에도 잘 드시고 남은 것도 야무지게 챙겨가셔서
준비한 보람을 느낄 수 있었음ㅎㅎ
 

UT 주의 사항

1. 가능한 Think aloud 방식으로 진행한다. 
2. 중립적인 태도를 유지하며 참여자의 의견을 약화/강화시키는 발언을 삼간다.
3. 진행 시 궁금한 점이 발견되면 즉시 개입해서 물어본다.
4. 진행자는 모든 참여자에게 똑같은 진행 방식(농담까지도)을 유지한다.
5. 동일한 사람이 진행하는 것이 좋다. 
6. UT 도중에는 해석하려 하지 말고 오로지 기록에 집중한다. 
7. 태스크를 시작하지 못하고 있다면 약간의 힌트를 줄 수 있다.
8. 힌트를 주고 기다려도 일정시간(태스크에 따라 설정) 내에 완료하지 못하면 실패로 간주하고 종료한다.

 
-※Think aloud※

Think aloud가 중요한 이유는 참여자의 행동, 의도, 생각을 굉장히 자연스러운 흐름으로 알 수 있고,
우리가 사용자를 굉장히 직접적/직관적으로 이해할 수 있게 되기 때문이다. UT에서 절대 빠져서는 안 될 방법.

UT 진행 전 방법론에 대한 설명을 하기보다는 진행 방식에 대해 알려드리겠다고 하며
내가 직접 Think aloud 하는 모습을 보여드렸더니 바로 이해하셨다. 
 
그리고 태스크 중간중간에도 참여자는 화면에 집중하느라 말을 멈추는 경우가 많기 때문에 
진행자가 옆에서 계속해서 말을 해달라고 요청해야 한다. 하지만 나도 진행이 처음이다 보니 덩달아 화면에 집중하면서
요청하는 걸 까먹을 때도 있어서 뒤에서 진행 보조자가 손짓발짓으로 알려주기도 했다. 보조자의 중요성!
 
 
- 즉시 개입하기
태스크 수행 과정 중에도 의문이 생기면 끊고 질문해야 한다.
이걸 진행자가 적절히 개입하는 게 조금 어려웠던 거 같다. 
한창 집중할 때 흐름을 끊게 되는 건 아닌가? 했지만 즉각적인 피드백이나 의견을 듣기에 굉장히 좋은 방법 같다.
 
- 기록에 집중하기 
참여자가 UT를 하는 도중에는 최대한 기록에만 집중한다.
하지만 태스크 종료 후 사후 인터뷰에서 질문을 던진 후 답변을 얻고,
답변을 옳게 이해했는지 의도가 이게 맞는 건지 한 번 더 확인해 보는 과정은 필요한 것 같다.
 

---

정말 아쉽게도 UT 참여자를 단 한 명 밖에 구하지 못했다.
근데 알고 보니 꼭 실사용 유저가 아니어도 유저 테스트는 진행해 볼 수 있다고...! 
진작 알았다면 부모님 대상으로 진행했을 텐데 타이밍을 놓쳐버렸다.
그래서 플젝이 다 끝나고 더 진행해 보기로 팀원들과 결정~
 
사실 심층 인터뷰보다 먼저 진행했던 UT. 가장 마지막 순서로 예상하고 있다가
예상치 못한 일정으로 급하게 잡혀서 심층 인터뷰 질문지 만들던 와중에 
2일인가 3일 후다닥 준비하고 컨펌받고 강사 님하고 시뮬레이션도 못 돌려보고 바로 실전으로...
 
결과적으로 UT는 적극적인 참여자 분 덕에 세미 심층 인터뷰까지 진행되며 나름 성공적으로 마쳤다.
다들 긴장하고 있다가 기가 쭉 빨림과 동시에 뭔가 제대로 했다는 흥분으로 떠들썩했던 기억이 난다.
팀원들이랑 맛있는 점심도 먹고 절거웠던 하루~