신기함을 넘는 제품
목차
- 서문
- 1. 시장을 이해하기
- 2. 문제정의
- 3. 문제증명 실험 설계
- 4. 구현을 위한 아키텍처링
- 5. 배포와 홍보
- 6. 결과와 반응
- 얻은 배움
서문
1월 12일부터 23일까지, 어느 정도 새 출발의 구직 절차가 끝나고 늘 하고 싶었던 작업을 했습니다. 저는 콘텐츠를 통한 배움의 힘을 믿고 있고, 콘텐츠 시장이 더 커지면 좋겠다는 생각을 합니다. 그래서 처음에는 내가 겪는 작은 문제부터 시작합니다. AI와 함께 시장조사부터 문제정의, 실험 설계, 프로토타입 빌드, 광고, 데이터 확인 후 회고까지 한 결과를 정리해봤습니다.
1. 시장을 이해하기
- Atoms AI 사용하기
처음 써보면 상당히 좋다라는 느낌을 받지만, 구체적인 맥락이 부족합니다. 매우 넓은 리서치를 대행해주는 사업조사 인턴을 둔 느낌입니다. 시장의 Size를 예측하고, 문제의 크기를 설정하고 하는 등 나름의 논리가 있지만 논리가 뾰족하지는 않아 보였습니다. 가령 경쟁사로 가져온 서비스가 사용자 수가 적은 공공 서비스이거나, 한국에서 인지도가 낮은 서비스들이었습니다.
- 직접 써보기
저는 시장과 고객을 이해하기 위해 서비스들을 먼저 조사했습니다. 하나씩 써보니 각각 아래와 같은 특징이 있고 '콘텐츠'의 정의도 모두 달랐습니다. 그러나 공통적으로 써보니 2가지가 서비스의 Size를 결정짓는다 느낍니다.
1)Selection의 Quantity , 2)Delivery의 차별성
광의의 의미로 콘텐츠를 경험(장소, 이벤트, 액티비티, F&B)까지 확장하면 Selection의 Quantity는 대부분 높고 풍부하나, Quality(어떻게 찾아야 하냐)에는 어려운 부분이 많았습니다. 콘텐츠에 최적화된 Filter, Sorting, Categorizing이 부족해보입니다.
- BM을 이해하기
저는 Eventbrite에 주목했습니다. Eventbrite는 뉴욕에 위치한 Event Discovery 플랫폼입니다. 뉴욕은 워낙에 다민족의 사람들이 살기 때문에, 작은 도시의 커뮤니티와 네트워킹이 발달되어 있습니다.
제가 주목한 점은 [1] Categorizing과 [2] Mood 기반 큐레이션입니다.
[1] 음악/비즈니스/F&B/커뮤니티/영화/패션/라이프스타일 등 'Culture'라 표현하는 것들을 세분화된 카테고리로 데이터화했고, 각 meta data로 organizer, region, period, map 까지 연결하여 세분화된 탐색이 쉬웠습니다.
[2] Event list의 Discovery는 '어떤 느낌을 원하는지'에 초점을 맞춥니다. creative inspiration, soft socializing, neighborhood revival 등 차가운 도시에 사는 사람들이 다양한 경험으로 채울 수 있는 것을 무드 기반으로 추천합니다.
저는 이를 서울이라는 도시에 착안해서 고민해보고, 문제정의를 했습니다.
2. 문제정의
2-1. 가설: 도심에 거주하며 취향에 투자하는 2030 세대는 주말마다 ‘경험'을 원할 것이다.
2-2. 사용자 페인 포인트: 단순한 소비나 소음 속에서 휘발되는 시간 대신, ‘감도높은 경험' (eg. 사유·잔상·회복 등)을 느끼고 싶어 하지만, 정보 탐색의 피로로 인해 결국 무의미한 계획 실패로 귀결된다.
한국의 경우 사람들이 '주말에 어디가지?'를 떠올릴 때 하는 습관은 우선 인스타그램을 켜는 것입니다. 검색을 하거나 팔로우 해뒀던 휴먼 큐레이터 (eg. @dripcopyrider, @space_editor 등)의 최근 게시물을 봅니다. 그 이유는 Selection의 Quantity가 아니라 Quality 때문인데, 정량적 정보뿐만 아니라 공간의 '감도' '느낌' 등을 사람이 리뷰하기 때문입니다. 그러나 인간 큐레이터의 계정도 너무나도 많아지고 있습니다.
증거는 관찰이었습니다. 저와 지인을 포함한 사용자는 인스타/블로그에서 정보 검색 → 계정 팔로우 → 포스팅 탐색 → 저장 → 선택 피로 → 실행 실패 라는 행동 패턴을 보였습니다.
2-3. 핵심 가치: 완벽한 일치보다도 새로운 공간과 경험을 발견할 때 느끼는 기쁨을 제공한다.
그러나
논리적으로는 문제인 것 같아 '보이는데', 실제로 문제인지는 모르겠고 얼마나 큰 문제인지도 모르겠었습니다. 그래서 저는 Gemini와 대화하고 문제증명 실험이라는 걸 해보기로 합니다.
- “이 타깃은 매주 주말 감도 높은 경험을 원하지만, 탐색 피로로 인해 실행하지 못한다.” → 맞을까?
- “주말에 감도 높은 경험을 하고 싶지만 탐색 피로를 느끼는 20~30대가, 나의 무드에 맞춘 큐레이션을 직접 신청하고 RSVP 할 만큼 문제를 절실히 느끼는가?” → 문제의 크기가 크지 않다면, 문제가 아니라 나의 취미다.
3. 문제증명 실험 설계
- DA로써의 AI
3-2. 가치 가설: "개인화된 무드 기반 큐레이션을 제공하면 높은 인게이지먼트가 발생할 것이다."
3-3. 성공 지표 (Primary Metric): 랜딩페이지 방문 대비 결과 페이지 조회율(전체 응답 완료 비율) 30% 이상 시 문제가 실재하는 것으로 판단. 유사 서비스의 초기 MVP 검증 지표로서 볼 수 있는 몇 가지를 추천해주고 제가 비교 검토하여 결정합니다.
3-4. 성과 판단: 지표 미달 시 이 문제는 비즈니스가 될 수 없음을 명시함.
문제를 증명하는 실험은 가장 간단하면서도 확실한 검증지표여야 했습니다. 응답에 필요한 input을 줄일 수도 있지만, 일부러 허들을 넣고 최소 3개의 form을 입력할 만큼의 비용을 사용자가 감당하는지 보려 했습니다.
그리고 MVP이기 때문에 추천 모델은 가장 돈이 안들고, 비용이 낮은 방법을 고민했습니다.
4. 구현을 위한 아키텍처링
- Gemini와 PRD Refinement
이때 가장 중요한 것은 PRD 입니다. 시니어 개발자와 일할 때와 다르게, AI는 맥락이 많이 필요한 개발자입니다. 제가 개발자분과 일할 때 어떤 질문을 받았는지를 떠올려 봤습니다. 그리고 Gemini에게 이렇게 요구합니다.
**"개발자가 알아듣기 쉬운 PRD로 발전시키고 싶어. 시니어 개발자가 되어서 요구사항을 구현하기 위해 필요한 질문들을 나에게 던져줘."그럼 모든 요구사항을 명확히 하기 위해 제게 must-have와 nice-to-have를 구분하는 질문, 앞으로 이 서비스의 로드맵이나 미래에 이러한 확장성이 필요하다고 생각하는지 등등을 물어봅니다.
그리고 어느 정도 질문이 마무리 되었다 싶으면, 그때 summarize 해서 PRD를 보완해달라고 하면 됩니다. 가령, 저는 지도 embedding이나 추천 모델의 정확도 정도는 nice to have 정도로 두고 Phase 1을 만들고 싶다고 했습니다.
- Playground test
그래서 저는 사전에 추천모델을 어떻게 구성하면 좋은가?에 대한 질문을 Gemini와 논의했었습니다. 크게 두 갈래가 있었습니다.
A. 추천을 위한 Set Data DB를 구축한다.**장점은 정확한 것이지만, 단점은 DB를 구축해야 하는 공수였습니다.
B. 프롬프트 기반 추천을 쓴다. 장점은 구현이 빠르다는 것이지만, 단점은 부정확하다는 것이었습니다.
저는 1번은 MVP에 맞지 않다고 판단하여 2번을 택하기로 하되, Gemini playground에서 미리 테스트를 해봤습니다.
테스트를 하다보니 '거짓말'의 정도가 MVP라도 상용이 불가능할 정도였습니다. 특히 지역과 맞지 않는 이벤트를 추천하거나, 없는 콘텐츠를 만들어냈습니다. 이 문제 또한 Gemini와 대화해보니 2가지 방법이 있었습니다.
A. Google Grounding 서치를 쓴다. Gemini 모델이 응답을 할 때 Google search mode를 켜서 직접 검색 후 검증하게 만드는 방식입니다.
B. 외부 검색 엔진을 붙인다. 외부 검색 엔진을 붙여서 AI가 본인의 뇌에서 정보를 만들어내는 게 아니라, 현실 세계의 검색 정보를 통해 풀을 찾고 그를 기반으로 큐레이션 하는 것이었습니다.
A로 몇번 테스트를 해도 거짓말은 도저히 나아지지 않았습니다. 그래서 B를 쓰기 위해 Serp api Free plan을 검토합니다. 우리가 구글에 검색할 때 구글 AI mode가 정확한 정보를 주는 것은 구글의 검색엔진에 기반하기 때문입니다. 그러나 이 검색엔진은 구글만이 소유하는 데이터라 사용하려면 3rd party를 통해 돈을 내야 합니다.
- 아키텍처링? 내가 안한다.**
빠른 가설 검증을 위해 Lovable Cloud(Supabase)를 중심으로 한 서버리스 아키텍처를 구축했습니다.
- Frontend: React SPA와 Zustand를 사용하여 고감도 UI를 구현하고, Framer Motion으로 사용자 경험을 고도화함.
- Backend: Supabase Edge Functions에서 Gemini 2.0-flash API를 호출하여 AI 큐레이션을 생성함.
- External API: SerpAPI를 연동하여 추천 장소의 이미지를 검색하고, 네이버 지도를 통해 위치 정보를 제공함.
- Tracking: analyticsService를 통해 유저의 모든 전환 단계를 가상 URL로 트래킹하여 user_events 테이블에 기록함.
5. 배포와 홍보
배포한다고 사용자가 알아서 찾아오진 않지요. Instagram 타겟팅 광고로 홍보를 병행했습니다.
마케터 시절 크리에이티브를 만든 경험을 살려서 Google 앱 광고 공식대로 홍보 영상을 만듭니다. 요즘은 스크린샷만 구성해서 인스타그램 Edits로 화면 전환 효과를 넣으면 그럴듯한 숏폼 홍보영상 하나가 나옵니다.
그 과정에서 Vrew, Kling AI, Midjourney 와 같은 AI 제작 툴도 써봤는데, 아직 앱 홍보에 최적화되어 있지는 않았습니다.
모든 것은 앱에서 다 할 수 있습니다. Instagram 계정을 만들고 타겟팅을 설정해서 광고합니다. 저처럼 타겟팅이 명확하고 예산이 3만원 이하로 작은 서비스는 타겟에게의 적합한 도달이 중요하므로 관심사 타겟팅 조건을 넣는 게 좋습니다.
6. 결과와 반응
노출을 받고 유입된 사용자들의 raw log가 하나 둘 쌓이는 것은 상당히 재미있습니다. 재미는 재미이지만, 결국 지표가 가장 중요할 것입니다.
- 긍정적 반응: 결과 페이지에 Feedback을 받는 UI를 넣어두었습니다. 사용자들은 서비스의 디자인과 AI가 제안하는 '나만을 위한 추천'이라는 컨셉에 대해 신기해하고 흥미를 보였습니다. 또한 필터 추가 요청, 콘텐츠 범위 확장 요청, 추천 고도화 요청 등이 있었습니다.
- 그러나 박살난 결과: 실패입니다. 약 500명이 들어왔고, Primary metric인 페이지 진입 대비 결과 조회율은 16%입니다. Secondary metric인 Waitlist 신청자 수가 0명이며, High engagement metric을 드릴 다운했습니다. 가짜로 '예약' '저장' 등 작동하지 않는 버튼을 만들고 누르면 waitlist를 신청하게 했습니다. 그러나 결과 페이지 확인 대비 high engagement 전환율은 11~15% 였습니다.
- 기술적 한계: Serp-api를 붙여도 검색엔진이 RAG처럼 동작하는 구조는 아니였습니다. AI가 생성한 추천 결과의 20~30%에서 할루시네이션(허위 정보)이 발생하여 신뢰도를 떨어뜨렸습니다.
얻은 배움
이번 프로젝트를 통해 제품 개발에 있어 두 가지 교훈을 얻었습니다.
첫째, '비타민'과 '페인 킬러'의 차이입니다. "감도 높은 주말"은 있으면 좋은(Nice-to-have) 비타민 서비스였을 뿐, 사용자의 절실한 고통을 해결해 주는 페인 킬러가 아니었습니다. 사용자를 계몽시키려는 공급자 중심의 마인드는 시장에서 외면받는다는 것을 다시 한번 확인했습니다.
삼쩜삼 대표 EO 인터뷰 영상 입니다. PMF를 찾는 데 실패하다가 삼쩜삼을 내고는 고맙다며 맥주를 사주는 고객 한 명을 만난 이야기입니다.
둘째, 실세계 데이터 연동의 중요성입니다. 방대한 오프라인 정보를 AI만으로 처리하려다 보니 최신성과 정확성 유지에 실패했습니다. AI 큐레이션 서비스를 구축할 때는 반드시 검증된 데이터 소스(Source of Truth)와 이를 연결할 검색 엔진(RAG)이 필수적임을 깨달았습니다.
이전부터 생각만 해오던 서비스를 추천모델까지 가안으로 구현해보는 것은 상당히 좋은 경험이었습니다. 약 1주 정도 투자하여 런치의 full-funnel을 해보는 것에서 '할 수 있다'는 자신감도 생깁니다.
AI 시대에 어떤 사람이 살아남을 것인가에 대한 각자의 의견들이 있습니다. 저는 이번에 A to Z를 혼자 해보면서 느낀 게 있는데 바로 '사업감각'이라는 것입니다. AI가 시장조사, 제품 구현, 데이터 조언, 마케팅 등을 도와줄 수 있으나 '돈 냄새'를 맡는 건 상당히 어렵습니다. 많은 사업이 PMF를 찾지 못하고 죽는 이유가 있습니다. 고객의 고통을 해결하는 문제를 직감적으로 찾고 이에 빠르게, 많이 투자해보는 게 가장 맞다고 생각합니다.
시장 하나를 제대로 이해하는 것도 시간이 오래 걸리는 일입니다 (시장 조사를 하는 것과 시장에서 현장을 아는 건 다른 것이므로). 바이브 코딩을 하다보면 계속 실패하므로, 실패해도 내가 흥미가 쉽게 떨어지지 않는 시장 하나를 정하고 시도를 반복해보면 좋을 것 같습니다.