[카카오페이] 나는 투자로 돈을 벌고 있는걸까? - 자산 탭 투자 성과 해석력 강화 (실험 편)

내 투자력 탭의 리뉴얼 기획을 마치고 실험 설계를 들어가려고 한다. 

 

문제 상황은 카카오페이증권의 증권 탭의 CTR이 늘고 금융 상품이 늘어남에 따라서 매매에 대한 지표들이 상승하나, 자산 탭의 대한 지표는 상승세를 보여주지 못하고 있다. 투자가 늘어남에 따라서 본인의 투자 성과에 대해 궁금해하는 것이 자연스러우나 자연스러운 유입이 반영되지 못하고 있다. 

 

이를 해결하기 위해 이전에 다른 투자자들과의 비교 데이터를 보여주었다면 개인화라는 방향성 맞추어 마이데이터를 활용해 개인 맞춰진 실질적인 투자 수익 현황 지표를 제공한다. 이를 통해 장기적으로는 본인의 투자 성과를 확인하고 포트폴리오 리밸런싱을 제안하는 등 카카오페이 내에서 투자 및 자산 관리의 선순환을 만든다. 간단한 화면 설계는 아래와 같다.

 

 

투자 원금 대비 수익과 주요 지수 대비 수익을 보여주어 본인의 투자력을 보다 객관적으로 판단할 수 있도록한다. 

 

더욱 딥하게 들어가면 물가, 금리를 따져 충분한 수익을 거둬 자산 방어를 했거나 혹은 그 이상의 수익을 거두었는지 판단한다.

그 다음으로 성과를 알기 지표 설정 후 실험 설계를 진행한다.

 

NSM

 

- 내 투자 탭 CTR

> 이번 UI 개선을 통해서 내 투자력에 진입도 중요하지만 근본적으로 내 투자 탭의 내부 피처들이 투자자들에게 전반적으로 도움을 주고 있는지 판단한다.

 

Primary Metrics

 

1. 내 투자력 탭 CTR

> UI 개선의 진입율 상승을 측정한다.

 

2. 내 투자력 탭 체류시간 

> 의미 있는 정보를 제공했는지 체류 시간 상승을 체크한다.

* 다만, 초기에는 정보 학습을 하느라 길어질 수 있지만 점차 짧아질 것으로 예상

 

Secondary Metrics

 

1. 내 투자 메뉴 재방문율

 

> 리텐션을 확인하여 정말 가치 있는 정보는 제공하고 있는지 확인한다.

 

2. 마이데이터 연동 완료율

 

> 내 투자를 보기 위해 마이데이터를 연동 전환이 이루어졌는지 확인한다.

 

3. 정보 탐색 행동 

 

> ⓘ 아이콘으로 세부 정보를 확인하여 실질적 참여를 하였는지 확인한다.

* 이 지표는 인지가 충분히 된 시점에서 하락

 

4. 증권 탭 전환율

 

> 내 투자를 확인 후 30분 내 증권 탭 진입 비율을 확인한다. 장기적인 목표이지만 지표 확인 후 유저의 리밸런싱 행위 영향을 주었는지 측정해본다. 만약 이 수치가 늘어난다면 화면 내에 숏컷을 만드는 것도 고려할 수 있다.

 

Guardrail Metrics

 

1. 자산 탭 전체 체류시간

 

> 내 투자 메뉴로 진입의 가속화가 자산 탭 체류 시간에 악영향을 줄 수 있어 이 지표가 떨어지면 자산 탭에 대한 고민이 따른다.

 

2. 자산 탭 내 타 메뉴 클릭율

 

> 체류 시간과 마찬가지로 다른 메뉴가 묻히지는 않았는지 확인한다. 

 

3. 부정적 피드백 비율

 

> 베타 버전으로 시작하여 천천히 적용해 나가는 방향이지만 자산 계산에 대한 cs나 부정적 평가가 눈에 띄게 증가한다면 해당 기능 전체 배포에 대해 재고 필요하다.

 

A/B 테스트

1. 그룹 분할

 

- A 그룹은 기존 UI를 유지한다.

- B 그룹은 변경된 UI를 노출한다.

 

2. 대상 유저

 

대상 유저의 경우 기본적으로 투자에 관심 있어야하는 유저이어야 한다. 기본적으로 3가지 조건을 두어 유저를 선별한다.

 

- 자산 탭 월 1회 이상 사용자

- 증권 계좌 보유자

- 마이데이터 연동 완료

 

3. 실험 기간

 

4주 동안 측정하여 시장에 변동이 있는 지점에서 유저들의 반응을 살핀다.

 

다음 편에서는 로그 설계로 마무리하겠다.