숏폼에서 예약으로 연결되는 퍼널 재설계: 트립비토즈 UX 개선 5 (지표 설정편)

그렇다면 해당 기능 개발의 성과 측정을 어떻게 할 수 있을까? 아래 4가지 개념에 해당되는 내용을 설정해보기로한다.

 

최상위 목표(North Star Metric) - 서비스의 장기적인 성장을 가장 잘 설명하는 단 하나의 핵심 지표 

성공 지표(Success Metric, Primary Metric) - 프로젝트의 성공을 증명할 수 있는 지표

보조 지표(Sub Metric, Secondary Metric) - 성공 지표를 보조할 수 있는 지표

가드레일 지표(Guardrail Metric) - 떨어지면 안되는 지표 - 서비스에 악영향을 주었는지를 파악하는 지표

 

(1) 최상위 목표(North Star Metric) - 서비스의 장기적인 성장을 가장 잘 설명하는 단 하나의 핵심 지표 

 

- 전체 예약 건수

먼저 최상위 목표인 전체 예약 건수를 확인한다. 해당 기능은 목적은 유효한 전환을 만드는 만큼 해당 지표를 해치면 안된다.

 

(2) 성공 지표(Success Metric, Primary Metric) - 프로젝트의 성공을 증명할 수 있는 지표

 

- 큐레이션을 통해 예약한 예약 건수

 

큐레이션을 통해서 예약이 이루어졌다면 기능을 통한 전환 성과로 기록할 수 있다. 다만, 이 지표를 설정하기 위해서는 몇몇 고려사항이 필요하다. 먼저, 큐레이션에 의해 영향 받았다는 어떻게 수치화할 것인가이다. 나의 경우 탭을 통해서 숙소 상세 페이지를 진입했다고하면 영향 받은 것으로 판단하고 스와이프를 통해서 목록을 확인한 경우에도 진입 여부와 상관없이 영향을 줬다고 판단하겠다. 물론 이 2가지 동작에는 관여도 차이가 있었기 때문에 가중치를 두어 판단할 수도 있다. 실제 진입의 경우 2점, 스와이프하여 목록은 확인하였지만 상세로 진입하지 않은 경우 1점으로 판단할 수 있다. 먼저 이 글에서는 가중치 없이 진행하도록 하겠다.

 

다음으로 큐레이션 내용 확인 후 예약까지 얼마만큼 시간 여유를 둘 것인가이다. 큐레이션 목록을 확인하더라도 바로 예약이 이루어질 수 있지만 "괜찮은 옵션 같은데 좀더 찾아보고 예약해야겠다." 혹은 "주말에 한 번에 예약해야겠다"는 이야기가 나올 수 있기 때문이다. 나의 경우 여유를 7일로 보는 것이 합리적이라는 판단이다. 최소한 주말의 시간을 넣어두어 충분한 탐색 기간을 부여했음을 가정하고 이 이후에 시간이라면 유저 역시도 큐레이션에 대한 인지가 흐릿해진다고 판단했다. 큐레이션 확인 후 플래그값을 7일 기한으로 두어 예약 완료 시 이 값을 로그로 쌓아두어 추후 확인하면 큐레이션 내용을 확인한 유저가 7일 이내 예약한 데이터를 추출하여 성공 지표로 활용할 수 있다.

 

(3) 보조 지표(Sub Metric, Secondary Metric) - 성공 지표를 보조할 수 있는 지표

 

해당 기능 배포를 통해서 이 기능의 자체 효과에 대해 판단해보기로한다.

 

- 전체 예약 건 중에 큐레이션을 통한 예약 전환율

 

성과 지표가 좋게 나오더라도 전체 예약에서 비율을 확인할 필요가 있다. 성공 지표와 조화를 이루어서 그에 따른 액션 플랜을 구성할 수 있기 때문이다. 예를 들어, 큐레이션 전환 예약률이 높아도 전체에서 기여도가 낮다면 전환이 높은 부분을 살려 큐레이션 영역을 확장하거나 고도화를 진행하는 방향으로 다음 스프린트를 진행해볼 수 있다.

 

 

- 여기 갈래/여행지 저장 클릭율

 

네이밍을 변경했고 디자이너와 인터렉션이나 UI도 변경했다고 가정한 후에 이 기능의 사용 빈도 증감을 확인한다. 배포 이전(북마크)과 이후의 수치 변화를 통해 유저들이 이 기능의 판단을 어떻게 하였는지 확인할 수 있다.

 

- 저장 리스트 재방문율

 

단순 저장 뿐만 아니라 이 리스트를 재확인하는 동작도 보조지표로 활용될 수 있다. 더욱 유저에게 의미있는 기능으로 자리잡아 저장한 콘텐츠를 다시 확인하게 되었기 때문이다. 이 지표 기대 이상으로 높아진다면 예약 탭 전면으로 배치하여 숏컷을 만드는 것도 고려해볼 수 있다.

 

- 큐레이션 영역 노출 대비 스와이프/탭률

 

예약까지 가지 않더라도 상세 진입이라 목록 확인하므로서 상위 퍼널이 강화되었음을 판단할 수 있다. 이 수치에 비례하게 예약 완료가 이루어지지 않았다면 이 후 개선 방법에 대한 논의가 필요하다.

 

전환 효율 관점에서 저장에서 예약 리드 타임 단축이나 푸시 관련해서 보조 지표를 뽑아볼 수 있겠지만 여기서 큐레이션에 집중에서 살펴보는 것으로 마치겠다.

 

(4) 가드레일 지표(Guardrail Metric) - 떨어지면 안되는 지표 - 서비스에 악영향을 주었는지를 파악하는 지표

 

가드레일 지표는 이 기능 배포로 서비스에 전반적인 부작용을 감시하는 지표이다.

해당 지표가 눈에 띄는 악영향을 준다면 롤백 절차를 준비한다.

 

• 전체 예약 건수
• 전체 앱 이탈률
• 예약 취소율 변화 여부
• 상세 페이지 체류시간 감소 여부

이 글에서는 북마크 개선 건과 큐레이션 기능 건을 함께 이야기하였지만 한번에 2가지 기능을 확인하는 것은 성과를 측정함에 있어서 비효율적일 것이다. 그렇기에 큰 방향성에서 큐레이션 기능을 넣는 것는 방향으로 가고 1차적으로 저장 행위를 늘리기 위해 북마크 개선을 통해 지표 개선을 확인한 뒤 그렇게 쌓인 데이트를 기반으로 큐레이션 기능을 도입하는 것이 적절해보인다. 큐레이션이라는 4글자는 짧지만 알고리즘을 짜고 거듭된 수정을 통해서 최적화하는 길을 쉽지 않을 것이기 때문이다.