[인프런] PM을 위한 데이터 리터러시_#5. 성과 측정을 위한 지표(Metric) 정의

📌 이 글은 [인프런] 카일스쿨의 'PM을 위한 데이터 리터러시' 강의 내용을 요약 정리한 것입니다.

4-1. Intro와 카일스토리

지표를 접근 할 때 '배포 후에 확인하자', '나중에 생각하자'라고 하기도 함.
같은 데이터를 구했는데, 사람마다 다르게 나오는 경우가 발생하기도 함.

나도 이때까지는 지표를 바라볼 때
배포 후에 확인하자는 관점에서
봤던 것 같아서 반성했다!

4-2. 지표의 개념

지표란 도대체 무엇일까 ? 데이터? 숫자?

지표 = 측정하고 싶은 것을 숫자로 표현한 것
MECE하게 논리를 구성하면서 봤던 숫자
방향이나 목적, 기준 따위를 나타내는 표지
추상적인 개념과 관련되는 지수, 척도

지표를 왜 생각해야 할까?

우리가 원하는 것: 비즈니스의 성장(= 변화)
변화가 잘 진행되고 있는가?를 숫자로 확인!
비즈니스 영역뿐 아니라, 삶에서도 지표를 활용해 변화 진행여부 확인 가능

지표는 변화가 잘 진행되고 있는가를
숫자로 확인하기 위해 봐야 한다!!

좋은 지표의 조건

Objective: 업무의 목적과 관련된 지표
Measurable: 측정 가능한 지표
Actionable한 지표: 지표를 토대로 행동을 할 수 있는 지표
Understand: 누구나 이해할 수 있는 지표
Specific: 정의를 명확하게 한 지표(다양한 관점으로 해석되지 않는 지표)

=> 불확실성을 줄여줄 수 있는 지표

지표는 언제 생각해야 할까?

최초에 MECE하게 문제를 정의하는 과정에서 지표를 생각해야 함
문제 정의를 하면서 => 이런 부분을 지표로 확인하려면 무엇을 확인해야 할지 생각

지표를 어떻게 개선해야 하는가?

내가 개선하고 싶은 업무가 있다면,
그 반복 업무를 어떻게 해야 더 효율적으로 할 수 있을지 고민
"효율적"인 것의 정의가 무엇인지 생각
이게 더 좋아지려면 무엇을 해야할지(Action Item) 생각

지표가 너무 두렵다면

지표 = 숫자 = 두려움이란 인식이 있어서 두려울 수 있음
=> 숫자가 아니라 성공적인 결과를 말로 표현하고 시작하면 수월
"만약 우리 제품이 엄청 발전하면, 어떤 모습일 것 같아요?"

KPI(Key Performance Indicators)

핵심 성과 지표
회사에서 조직의 목표 설정 시 활용
경영에서 중요하다고 생각하는 지표를 스프레드시트, 대시보드 형태로 관리
조직별로 KPI가 충돌할 수 있음(마케팅팀, 영업팀, 재무팀, 제품팀)

North Star Metric(NSM) & One Metric That Matters(OMTM)

북극성 지표, OMTM 지표라고 부르기도 함
조직별로 KPI가 충돌하는 문제 해결을 위해, '조직에서 가장 중요한 하나의 지표와 연결된 Input Metric을 보도록 하는 관점'을 사용하기도 함
우리 회사에서 단 하나의 지표를 본다면?

KPI는 들어봤는데
OMTM은 처음 들어봤다!

Input Metric & Output Metric

Input Metric

무언가의 Input이 되는 지표
Input Metric의 개선으로 Output Metric도 개선
이 지표를 기준으로 Action
Uber Ride 매출, Uber Eats 매출 등..

Output Metric

무언가의 결과가 되는 지표
광범위하며 비즈니스의 장기 목표를 설정할 때 유용
Uber 매출, DAU 등

=> Input Metric이 개선되면 Output Metric도 개선되는 관계!

메인 지표(Focus Metric), 성공 지표(Success Metric)

프로젝트의 성공을 증명할 수 있는 지표
1~2개가 적당

보조 지표(Sub Metric)

메인 지표를 보조할 수 있는 지표
성공 지표만큼 중요도가 높지는 않지만 보조적으로 파악해야 하는 지표

가드레일 지표(Guardrail Metric)

어떤 기능을 만들어도, 떨어지면 안되는 지표
서비스에 악영향을 주었는지를 파악하는 지표
예) 제품에 광고 기능 추가해 광고 클릭 강제 유도 -> 이탈률 늘고, 매출 늘었음 -> 여기서 이탈률이 가드레일 지표 -> 가드레일 지표가 없으면 매출에 집중하게 될 것

예시를 통해 보니,
가드레일 지표도 성공 지표 못지 않게
중요하구나!

4-3. 지표의 구성 요소

지표는 분자와 분모의 조합으로 만들 수 있음
- 단일 COUNT의 경우 분자와 분모 없이 만들 수도 있음
- 예) 클릭률 = 클릭(click)한 수 / 조회(view)한 수

1. 이벤트 행동(Event, Action) : 사건, 유저가 어떤 행동을 했는가?
  ex. 구매 버튼 click, 앱 메인 화면 view, scroll 움직임, background로 이동
2. 시간축 : 지표를 구성할 때 사용할 시간(시간축은 항상 명시)
  ex. 일자별(Daily), 주차별(Weekly), 월별(Monthly), 시간대별(Hourly)
  
  참고) Flow(유량) vs. Stock(저량)
  Flow는 일정 구간을 설정해 집계 ex. 일자별 배달 취소건
  Stock은 특정 시점에서 집계 ex. 23년 1월 기준 총 회원 수
3. 차원(Dimension) : 데이터의 속성
  ex. 매출을 차원으로 쪼개면 -> 첫 매출/기존매출, 연령대별 매출, 국가별 매출
  (SQL 쿼리에서 GROUP BY에 활용되는 값)
4. 집계 값(Aggregation) : Raw 데이터를 모아서 계산
  ex. 사용자 수(COUNT), 특정 값의 평균(AVERAGE), 합(SUM), 제일 큰 값(MAX)
  (SQL 쿼리에서 GROUP BY와 함께 나오는 집계 함수들)
5. 조건(Condition) : 필요한 경우 특정 조건을 적용
  ex. 특정 웹 페이지를 하루에 3회 이상 접속한 사람 수
  (SQL 쿼리에서 WHERE 문에 나오는 조건) 지표의 구성 요소

4-4. 많이 활용되는 대표 지표

DAU(Daily Active User), WAU, MAU

(차원 기준으로) 얼마나 Active한 유저가 있는가?
지표의 특징
- 이벤트 행동: Active한 행동의 정의가 매우 중요(앱/웹에 접속, 특정 이벤트를 한 경우 등) => 방문 DAU, 거래 DAU 등
- 시간축: 일자별, 주차별, 월별
- 집계값: 하루에 Active한 행동을 한 유저의 수를 DISTINCT하게 COUNT(2번 이상 했어도 1번으로 표히)
- 대략적인 규모를 파악할 때, 투자 유치시 활용
- 초반엔 유의미할 수 있으나, 추후엔 다른 지표를 활용(Retention 등)
- Push 메세지나 퍼포먼스 마케팅으로 인해 일시적으로 늘릴 수는 있음
- 여러번 접근하는 경우가 존재하는데, 그걸 Unique한 수로 확인

PV(Page View)

정의: 특정 페이지를 본 수
이벤트 행동: VIEW(웹 또는 앱의 특정 페이지 접근)
시간축: 일자별, 주차별, 월별, 시간대별
차원: 디바이스별, 성별, 연령대별 PV
집계값: 특정 기간의 VIEW 수를 COUNT
참고) PV는 전환율 계산 시 분모로 활용

UV(Unique View)

특정 페이지를 본 순 방문자 수
이벤트 행동: VIEW(웹 또는 앱의 특정 페이지 접근)
시간축: 일자별, 주차별, 월별, 시간대별
차원: 디바이스별, 성별, 유저 정보 등 대부분 활용 가능
집계값: 특정 기간의 VIEW 수를 COUNT
특징: 여러 번 접근하는 경우도 존재하는데, 그걸 Unique한 수로 확인

CVR(Conversion Rate, 전환율)

특정 행동을 한 후, 전환된 비율
- = 전환 수 / 특정 행동을 한 수
- 예) home 페이지에서 검색 버튼을 클릭한 사람들이 얼마나 주문하는가?
전환(Conversion)에 대해 정의 필요. 예 : 구매 전환율
지표의 특징
- 광고, 제품에서 많이 쓰이는 지표
  - 예) 상품 구매하는 사람 수 / 광고 클릭하는 사람 수
- CTR(클릭률)과 같이 보며 좋은 컨텐츠인지 확인
- 제품(앱/웹)에서도 많이 쓰이는 지표 : 특정 페이지 구매 전환율은 얼마나 되는가?
  - 예) 상품 화면으로 넘어가는 사람 수 / 메인 홈 화면 접속한 사람 수
- 지표의 이해를 위해 XX 전환율처럼 구체적인 단어를 써주면 더욱 좋음
- 퍼널의 앞단에서 전환되기 까진 오래 걸릴 수 있음

CTR(Click Throught Rate, 클릭율)

어떤 것을 보고(또는 페이지 접근한 후) 특정 Component(버튼 등)을 클릭한 비율
= 클릭 수(Click) / 노출된 수(Impression, View)
예) home 페이지에서 검색 버튼을 클릭한 비율
지표의 특징
- 사람들이 관심을 가지면 클릭할 것이다라는 가정이 내포됨
- 퍼널 관점에서 다음 퍼널로 넘어가는지를 파악할 때 활용(이 땐 특정 버튼을 클릭하는지로 판단)
- CVR(전환율)과 같이 보면서 컨텐츠가 좋은지를 파악
- (특정 행동을 한 후 전환하는) 전환율보다 순간의 결과를 파악할 수 있는 지표

<CTR, CVR 요약>

CTR이 높다: 해당 영역, 콘텐츠를 사람들이 관심 있게 봤다(많이 반응)
CTR이 낮다: 해당 영역, 콘텐츠를 사람들이 반응하지 않는다(많이 반응하지 않음)
CVR이 높다: 특정행동 한 사람이 전환을 더 잘 한다
CVR이 낮다: 특정행동 한 사람이 전환까진 안 간다

전환율과 클릭율의 차이를
명확히 알 수 있었던 대목!

Duration Time(체류 시간)

특정 부분(페이지 등)에 얼마나 머물렀는가?
머물렀는지 계속 파악해야 하기 때문에, 세션의 정의 중요
(하나의 세션에 마지막으로 접속한 시간 - 처음 접속한 시간)

Session(세션)

정의된 기간 동안 유저가 앱/웹에서 활동하는 묶음
하루에 여러번 사용하는 서비스는 세션 단위로 묶어서 분석하기도 함
Google Analytics는 기본적으로 30분 동안 아무 활동이 없으면 세션을 종료하는 것으로 간주

User Engagement

정의: 유저가 우리 서비스에 관심 가진 순간
회사마다 모두 다름
Google Analytics는 앱이나 웹이 켜진 순간에 주기적으로 user_engagement라는 이벤트 발생시킴

Funnel(퍼널)

퍼널 정의: 깔때기
퍼널 분석 정의: 제품에서 설계한 의도대로 유저들이 퍼널을 지나는지 확인하는 분석
퍼널은 앞에서 뒤로 개선하는 것보다 뒤에서 앞으로 개선하는 것이 좋음
- 결제할 사람을 확실히 결제하게(결제화면까지 온 사람이 결제완료까지 갈 수 있도록) 만들고, 나중에 유입을 늘리기
- AARRR와 관련된 개념
배달 앱 예시
- 메인 화면
- 음식점 화면
- 음식 세부 화면
- 장바구니 화면
- 결제 화면
- 결제 완료

AARRR

Acquisition : 얼마나 제품에 접근하는가?
Activation : 고객이 최초의 좋은 경험을 하는가?
Retention : 다시 제품을 사용하는가?
Revenue : 얼마나 돈을 버는가?
Referral : 다른 사람에게 공유하는가?

RARRA

예산을 줄여야 하는 상황에는 마케팅 비용부터 줄어듦
퍼널의 마지막 부분(결제 전환 시점)부터 개선해서 점점 앞단으로 가는 RARRA 전략도 많이 사용됨

Retention : 다시 제품을 사용하는가? (리텐션이 가장 중요!)
Activation : 고객이 최초의 좋은 경험을 하는가?
Referral : 다른 사람에게 공유하는가?
Revenue : 얼마나 돈을 버는가?
Acquisition : 얼마나 제품에 접근하는가?

AARRR vs RARRA

어떤 관점을 사용할지는 상황에 따라 다르며, 필요할 때 적절하게 취하는 것이 핵심
- 비즈니스 모델 상황
- 경쟁사가 많은지
일단 어느정도 유저가 존재해야, 그 안에서 리텐션을 형성할 수 있음. 그러므로 절대 공식은 없음
- 제품 초기: 처음은 알리는 과정 필요. 알려지지 않으면 재사용도 불가.
- 어느 정도 성장 후: 사용자들이 계속 재사용하도록 집중
- 회사에 예산 적거나 투자 안 되는 경우: 수익성에 집중

어떤 퍼널 개선이 중요한지는
상황에 따라 다르다!

Retention(리텐션)

서비스를 사용한 사람이 다시 사용하는 비율
- 사용의 정의 필요
- 단순히 앱/웹 방문? (방문한 사람이 다시 방문하는 비율)
- 구매한 사람이 다시 구매하는 비율?
- 용도에 따라 정의하고 이름 붙임 ex. 방문 리텐션, 구매 리텐션
- 집계값: 특정 기간에 가입한 유저가 이후 기간에 얼마나 계속 사용하는지 집계

한창 공부할 때 이 부분에 대해 질문을 했던 적이 있다
리텐션이 재방문 비율인지, 재구매 비율인지 헷갈려서.
용도에 따라 정의하고 이름 붙인다는 걸 기억하자!

리텐션의 핵심은! (PMF 찾았을 때 보이는) 평평한 리텐션이 언제 생기는가? 평평한 리텐션을 아예 끌어올리려면 어떻게 해야할까?
제품에서 주요하게 보는 Output 지표
단, 서비스의 사용 주기가 길다면 리텐션을 보기까지 시간이 오래 소요되므로 다른 지표를 파악하는 것이 필요할 수 있음 (ex. 부동산 서비스는 이사 주기가 보통 2년 -> 방문 주기를 어떻게 해야 2년보다 짧게 만들 수 있을까? -> 커뮤니티 서비스)

부동산 서비스를 예로 들어 생각해보니 재미있다!
타 서비스들에도 접목해서
리텐션의 개념을 생각해볼 수 있겠다!

Cohort(코호트)
- (통계적으로 동일한 특색이나 행동 양식을 공유하는) 집단
- 보통 가입일자 기준으로 많이 파악
- 가입한지 몇주가 될 때까지 남아있는가?

4-5. 지표 정의 Process

지표 정의하는 과정
너무 궁금해!

지표 만들기

해결하고자 하는 문제가 무엇인가?
내가 원하는 결과는 어떤 것인가?
"문제 정의"

성과 지표 설정

1. 기획 확인하기 : 문제 정의 확인
2. 성과를 측정할 수 있는 가설
3. 성과 지표 고민

성과 지표 설정이 어려운 이유

상황에 따라 모두 다르기 때문

처음 시작되는 경우: 프로젝트 시작 이유 떠올리기
과거에도 있었던 기능이 개선된 것인지
새로운 기능이 추가 되었는지
UX 등의 큰 변화가 있었는지

데이터 비교 방법

데이터를 어떻게 비교해볼지 고민하기

전후 비교: 기존에 존재하던 기능을 개선해 배포한 경우
AB Test: 기존에 없던 신규 기능을 배포한 경우

성과 지표 개수 고민

너무 고민이 많아질 때는 심플하게 생각해보기
메인으로 볼 지표 1개, 나머지는 보조 지표로 선택
때로는 모든 것을 지표로 정의하지 말고, 간단하게 정의하는 것도 필요
다만, 이 기능으로 인한 사용성 지표는 파악 가능할 것(ex. 클릭률)

무엇을 지표로 설정할지 오래 고민했었는데,
너무 고민이 많아질 때는
심플하게 생각하라는 지점이 인상 깊었다!

대표적인 지표

클릭률(노출 대비 클릭)
리텐션: Daily가 아닌 Weekly인 경우 빠르게 보기 어려울 수 있음
해당 기능을 통해 얻은 수익(예약 건수, 매출, 손익 등)
기능의 배포 성공 여부
퍼널 전환율
구매 전환율

지표 정의 Process 도식화

멘탈 시뮬레이션

여러 관점으로 어떻게 될지 미리 생각해보는 프로세스
정의하는 과정에서 이런 시뮬레이션을 해보는 것이 매우 도움이 됨
- 지표가 올라간다면 왜 그럴까? => 더 빠르게 올릴 수 있을까?
- 지표가 내려간다면 왜 그럴까? => 내려가지 않도록 하려면 무엇을 해야할까?
미리 예상할 수 있는 결과를 생각한 후, 미리 대비해 불확실성을 감소할 수 있음

앞으로는 멘탈 시뮬레이션을
계속 해보자!

추가) Metric Store

자주 사용하는 지표 정의 모아두면 유용 => 지표 패턴화
첫 시작은 노션 또는 스프레드시트로 기록
전사적으로 공유하고 동일한 지표를 보는 것이 좋음

매번 헷갈렸던 지표 정의
싹 정리해서 모아놔야지!
회사에서는 이를 공유하는 것도 좋겠다!

'서비스 기획해요 > 강의 들어요' 카테고리의 다른 글

[인프런] PM을 위한 데이터 리터러시_#7. 데이터 로그 설계, 데이터 QA (1)	2024.09.23
[인프런] PM을 위한 데이터 리터러시_#6. 결제 전환율 개선 프로젝트 (1)	2024.09.19
[인프런] PM을 위한 데이터 리터러시_#4. 모든 것의 근본 - 문제 정의 (0)	2024.09.11
[인프런] PM을 위한 데이터 리터러시_#3. 데이터를 활용하는 데이터 리터러시 (6)	2024.09.09
[인프런] PM을 위한 데이터 리터러시_#2. 3년차 PM 이직 1일차, 무엇을 해야 할까요? (1)	2024.09.07