서비스 개선 (25.11.14)

개선점 1. PDF OCR

pdf에서 바로 텍스트 추출시 깨지는 문제 pdf가 이미지로 구성되어 있는 경우가 많음 as-is: pdf 텍스트 추출 to-be: pdf → 이미지로 변환 → ocr로 텍스트 추출

개선점 2. 이미지 파일 추가

레시피 업로드 시 현재 PDF만 받도록 되어 있음. 보통 알바생들 레시피를 이미지로 찍어서 갖고있어서 이미지도 추가할 필요성 느낌 as-is: pdf만 받음 to-be: image도 받도록 함

성능 안 좋아도(메뉴 생성까지 3분 걸려도) 리텐션이 생길 거라 예상했음. = 니즈가 강력하면 UX 구려도 기능이 working하기만 하면 쓸 거라 생각했음. 그래서 가설검증(7일차 리텐션 30%)을 위해 메타 광고 돌려봤음. → 근데 리텐션이 안 생김.

배운점) 핵심기능만으로 리텐션이 생기는가?

→ 담부터는 첨부터 핵심기능의 성능을 끌어올리고, 핵심기능까지 도달하는 퍼널을 개선한 후에 선보이는 게 좋겠다. 안 그럼 동일한 문제가 되풀이되어 다음 스텝으로 나아가는 시간이 오히려 지체될 수 있을 것 같다. 가설 검증하려는 핵심기능만 그렇게 최적화하고, 나머진 일단 UX 최적화 안 해도 좋으니 말이다. 다시한번 생각하자. 리텐션은 제품의 기본 체력이다. (토스 PO 세션) 근데 기본체력이 안 좋다 → 망하는 지름길 가치는 있는데 리텐션 안 잡혀서 실패하는 서비스가 대부분이지 않을까?

→ 그럼에도 불구하고 기능이 working할 때 리텐션이 생기는지 빠르게 검증하는 건 중요함 → 그래서 엄청 ux를 최적화할 필요는 없고, 적절히 개선된 기능을 사용할 수 있도록 균형을 잡는 게 필요해보임

→ 그래서 초기엔 이 기능만으로 리텐션이 생기는지 검증하기 위해 소규모 예산으로 빠르게 실험해보고, 리텐션이 안 생기면 그 이유가 뭔지 판단해서 개선한 다음에 또다시 실험해보는 게 자연스런 과정인 듯?

→ 나는 이전 실험에서 리텐션이 안 생긴 이유가 핵심 기능 성능과 UX라고 생각했음. 그래서 이번에 그 부분을 더 개선해서 다시 실험해보면 다음 스텝으로 나아갈 수 있지 않을까?

모수가 작긴한데(9명) ai upload → 랜덤 암기로 이어지는 전환율이 33%밖에 안 됨 (11.25 기준) 그 이유로 ai 결과를 받는 데까지 걸리는 시간 + 결과 성능이 주된 요인이라고 여겨짐 (개별 사용자 트래킹하면 ai upload 버튼 클릭만하고 그 이후로 활동 없는 경우가 많음)

→ 그래서 지금은 제품 성능을 개선할 때임. 그렇게 개선하고 다시 모객하면 실사용자 50명 100% 달성 가능함.

개선점 도출

개선점 1. 핵심 기능의 성능을 끌어올려야 함

PDF 업로드 후 메뉴 생성 시간 3분 걸리는 문제 → 메뉴 생성 시간 단축할 수 있는 방법?

1) 기술적

방법 1. 용량을 줄이기? 파일 업로드 → 용량 줄이기 3번 retry 후에 못 들고오면 원본 파일 들고오기 용량 줄인 파일 → OCR

2) UX

방법 2. 알림 기능 도입 파일 업로드 → “메뉴가 생성되면 알려드릴게요!” 알림 기능 사용자는 다른 일 하고 있다가 알림 받으면 접속 (원티드 ai 느낌)

방법 3. 실시간 결과물 표출 as-is: PDF 여러 장이면 → 각 페이지 단위로 쪼개서 메뉴 생성 → 모두 합친 결과물을 내보임 to-be: PDF 각 페이지별 메뉴가 생성될 때마다 실시간으로 결과물 업데이트 (lilys.ai 느낌)

개선점 2. 앱 시작 → 핵심 기능 이용까지 걸리는 시간을 줄여야 함

핵심기능(메뉴 생성 → 랜덤 암기) 이용자가 9명 중에 3명밖에 안 되는 문제 (11.25 기준)

as-is: 로그인 → 레시피 업로드 페이지 → (메뉴 생성) → 메뉴 리스트 페이지 → 랜덤 암기 to-be: ? 퍼널을 어떻게 개선할 수 있을까?

개선방법 제안

현재 시스템 분석 결과 - 병목 지점 (3분 소요 원인):

  1. 순차 처리: 10페이지 PDF를 for-loop로 하나씩 처리 (apps/ai/src/main.py:251-261)
  2. 페이지당 개별 LLM 호출: 페이지마다 OpenAI API 호출 (~15-20초/페이지)
  3. 이중 번역: 메뉴/재료마다 한국어 체크 → 번역 (50개 메뉴 시 100+ 추가 호출)
  4. 스트리밍 없음: 전체 완료될 때까지 클라이언트 대기

방법 2 & 3 추천: 실시간 결과물 표출 + 백그라운드 처리


Phase 1: 즉각 개선 (1-2일 작업)

  1. 병렬 페이지 처리 구현
# apps/ai/src/main.py 수정
import asyncio
 
async def generate_menus_from_text_util(recipe_text_list: List[str]):
    # 순차 처리 → 병렬 처리
    tasks = [generate_menus_from_text(text) for text in recipe_text_list]
    results = await asyncio.gather(*tasks)
 
    all_menus = []
    for menu_response in results:
        all_menus.extend(menu_response.menus)
    return MenuResponse(menus=all_menus)

효과: 10페이지 3분 → 약 30초로 단축 (6배 향상)

  1. 번역 로직 최적화
# 개별 번역 호출 제거 → 한 번에 일괄 번역
async def batch_translate(items: List[str]) -> List[str]:
    non_korean = [item for item in items if not is_korean(item)]
    if not non_korean:
        return items
 
    # 한 번의 LLM 호출로 전체 번역
    prompt = f"Translate to Korean: {', '.join(non_korean)}"
    # ...

효과: 번역 시간 50% 이상 단축


Phase 2: 실시간 스트리밍 구현 (2-3일 작업)

아키텍처 변경: [Mobile] ⇐WebSocket⇒ [Server] ⇐HTTP Streaming⇒ [AI Service]

  1. AI 서비스에 스트리밍 엔드포인트 추가
# apps/ai/src/main.py
from fastapi.responses import StreamingResponse
 
@app.post("/generate/menus/stream")
async def generate_menus_stream(file: UploadFile):
    async def event_generator():
        # PDF 페이지별 처리
        for i, page_text in enumerate(extract_text_from_pdf(file)):
            menu_response = await generate_menus_from_text(page_text)
 
            # 각 페이지 완료 시마다 전송
            yield f"data: {json.dumps({
                'page': i + 1,
                'menus': menu_response.dict()
            })}\n\n"
 
        yield "data: {\"done\": true}\n\n"
 
    return StreamingResponse(
        event_generator(),
        media_type="text/event-stream"
    )
  1. 백엔드 서버에 WebSocket 추가
// apps/server/src/router/upload/index.ts
import { Server as SocketServer } from 'socket.io';
 
router.post('/upload-recipe-async', async (req, res) => {
    const recipeId = await prisma.recipe.create({ /* ... */ });
 
    // 즉시 응답 반환
    res.json({ recipeId, status: 'processing' });
 
    // 백그라운드에서 처리
    processRecipeInBackground(recipeId, file, req.io);
});
 
async function processRecipeInBackground(recipeId, file, io) {
    // AI 서비스 스트리밍 연결
    const response = await fetch('http://ai-service/generate/menus/stream', {
        method: 'POST',
        body: file
    });
 
    const reader = response.body.getReader();
    while (true) {
        const { done, value } = await reader.read();
        if (done) break;
 
        const data = JSON.parse(value);
 
        // DB에 저장
        await saveMenus(recipeId, data.menus);
 
        // WebSocket으로 클라이언트에 전송
        io.to(recipeId).emit('menu-progress', {
            page: data.page,
            menus: data.menus,
            totalProgress: calculateProgress()
        });
    }
 
    // 완료 알림
    io.to(recipeId).emit('menu-complete', { recipeId });
}
  1. 모바일 앱에 실시간 업데이트 UI
// apps/mobile/src/screens/UploadScreen.tsx
import { io } from 'socket.io-client';
 
const socket = io('your-server-url');
 
const handleUpload = async () => {
    const response = await uploadRecipe(file);
    const { recipeId } = response;
 
    // 진행 상황 리스닝
    socket.on('menu-progress', (data) => {
        // 실시간으로 메뉴 추가
        setMenus(prev => [...prev, ...data.menus]);
        setProgress(data.totalProgress);
    });
 
    socket.on('menu-complete', () => {
        // 완료 알림 표시
        showNotification('메뉴 생성 완료!');
    });
 
    // 결과 페이지로 이동 (진행 중인 상태로)
    navigate('MenuList', { recipeId });
};

효과:

  • 사용자는 즉시 피드백 받음 (첫 페이지 결과 ~5초 내)
  • 진행 상황 실시간 확인
  • 완료 시 푸시 알림 가능
  • 3분 기다림 → 5초 후부터 결과 확인 시작

Phase 3: 추가 최적화 (선택사항)

  1. 이미지 압축
# apps/ai/src/main.py
def optimize_pdf_images(pdf_bytes: bytes, max_size_mb: int = 2):
    images = convert_from_bytes(pdf_bytes, dpi=150)  # DPI 낮춤
 
    for image in images:
        # 리사이즈
        if image.width > 2000:
            ratio = 2000 / image.width
            image = image.resize((2000, int(image.height * ratio)))
 
        yield image

효과: OCR 시간 20-30% 단축, 메모리 사용 감소

  1. LLM 배치 처리
# 여러 페이지를 하나의 프롬프트로
prompt = f"""
Extract menus from these pages:
 
Page 1:
{page_texts[0]}
 
Page 2:
{page_texts[1]}
...
"""

효과: API 호출 횟수 감소, 비용 30% 절감


퍼널 최적화 제안

현재: 로그인 → 업로드 → 생성 → 리스트 → 랜덤 암기

제안 A: 샘플 데이터로 즉시 체험 로그인 → “샘플로 바로 시작하기” → 랜덤 암기 (샘플 메뉴) ↓ 체험 후 “내 레시피 추가하기” → 업로드

제안 B: 온보딩 간소화 앱 시작 → 랜덤 암기 (미리 준비된 인기 레시피) ↓ 로그인 유도 로그인 → 내 레시피 추가

제안 C: 업로드 단계에서 미리보기 업로드 → 실시간 메뉴 생성 & 미리보기 ↓ 동시에 “이 메뉴로 바로 암기하기” 버튼

추천: 제안 C - 실시간 스트리밍과 시너지


우선순위 추천

  1. Phase 1 (1-2일): 병렬 처리 + 번역 최적화 → 즉시 3배 속도 향상
  2. Phase 2 (2-3일): 스트리밍 구현 → UX 대폭 개선
  3. 퍼널 최적화: 제안 C 구현 → 핵심 기능 도달률 향상
  4. Phase 3 (선택): 추가 최적화
서비스 개선 (25.11.26)

개선점 1. LLM 파싱 병렬처리 → 시간 2분 → 1분

as-is: 순차처리

주요 로직은 아래와 같음

  1. PDF → 이미지
  2. 이미지 OCR → 이미지 하나당(PDF 파일 중 페이지 하나당) 텍스트 추출하는 데 평균 4초
  3. LLM 파싱 → 페이지 하나당 프롬프트 넣고 OpenAI API 호출해서 결과 얻는 데 평균 7초
  4. 한국어 번역 (fallback)

이중에서 2, 3번이 젤 시간 오래 걸림.

성능개선 before (총 걸린 시간, 생성된 메뉴 개수)

  • 공차_밀크티_커피.png
  • 공차_스무디_크러쉬.png 11.25초 (10개), 13.89초 (13개)
  • 고단백_2p
  • 메가커피_5p 56.69초 (69개)
  • 메가커피_음료_5p 41.37초 (52개)
  • 빽다방_9p.pdf 111.85초 (122개)
  • 컴포즈_9p.pdf 47.67초 (42개)

성능개선 after

  • 공차_밀크티_커피.png 14.46초 (19개), 20.66초 (30개), 31.24초 (36개)
  • 공차_스무디_크러쉬.png 23.82초 (15개), 16.70초 (19개), 15.45초 (16개)
  • 고단백_2p 17.28초 (14개), 15.38초 (14개), 13.16초 (16개)
  • 메가커피_5p 36.37초 (70개), 41.11초 (74개), 41.24초 (94개)
  • 메가커피_음료_5p 27.01초 (66개)
  • 빽다방_9p.pdf 51.73초 (115개)
  • 컴포즈_9p.pdf 29.99초 (58개)

결과

  • 단일 페이지(1p)에서 오히려 느려짐 → 병렬 처리 오버헤드 (asyncio.gather 생성/관리 비용)
    • → 단일 페이지에선 병렬처리 말고 순차처리 하도록 수정
  • 다중 페이지(5p 이상)에서 2배 이상 개선
빽다방 9p (가장 좋은 결과)
Before: 111.85초 (122개) - 순차 처리
After:  51.73초 (115개)  - 병렬 처리
→ 60초 단축, 2.2배 빠름
병렬처리 이후 개선점 도출

성능 비교표:

파일페이지Before (초)After (초)메뉴 개수개선율평가
공차_밀크티1p11.2514.46-31.2410→19-36-28% ~ -177%느려짐
공차_스무디1p13.8915.45-23.8213→15-19-11% ~ -71%느려짐
고단백2p56.6913.16-17.2869→14-1670-77% 개선3.3-4.3배
메가커피5p-36.37-41.24-→70-94--
메가커피_음료5p41.3727.0152→6635% 개선1.5배
빽다방9p111.8551.73122→11554% 개선2.2배
컴포즈9p47.6729.9942→5837% 개선1.6배

주요 발견사항:

  1. 단일 페이지(1p)에서 오히려 느려짐 - 병렬 처리 오버헤드
  2. 다중 페이지(5p+)에서 2-4배 개선
  3. 메뉴 개수 불일치 - LLM 비결정성

개선 방안:

  1. 단일 페이지 최적화 추가 (긴급)
async def generate_menus_from_text_util(recipe_text_list: List[str]) -> MenuResponse:
    start_time = time.time()
 
    # 단일 페이지는 순차 처리가 더 빠름
    if len(recipe_text_list) == 1:
        print(f"[PERF] Single page - using SEQUENTIAL processing")
        menu_response = await generate_menus_from_text(recipe_text_list[0])
        print(f"[PERF] Total time: {time.time() - start_time:.2f}s")
        return MenuResponse(menus=menu_response.menus)
 
    # 다중 페이지는 병렬 처리
    print(f"[PERF] Starting PARALLEL processing of {len(recipe_text_list)} pages")
    # ... 기존 병렬 처리 로직

예상 효과:

  • 공차 이미지: 31초 → 11초로 복원
  • 다중 페이지는 그대로 빠른 성능 유지
  1. 메뉴 개수 불일치 해결
# 현재
llm = ChatOpenAI(model="gpt-3.5-turbo")  # temperature 기본값 0.7
 
# 개선안
llm = ChatOpenAI(
    model="gpt-3.5-turbo",
    temperature=0.0  # 결정적 출력 (일관성 증가)
)
  1. 메뉴 개수 급증 원인 파악 필요
  • 서버 로그에서 parsed_menus vs translated_menus 비교
  • 어느 단계에서 메뉴가 증가하는지 확인

개선점 2. OCR 병렬처리 → 시간 1분 → 19초

빽다방 9p
Before:  51.73초 (115개)  - LLM 병렬 처리
After: 18.97초 (97개) - LLM 병렬 처리 + OCR 병렬 처리
→ 32.76초 단축, 2.7배 빠름

LLM + OCR 병렬처리 → 6배 빨라짐

개선점 3. LLM 파싱 결과 일관성 높이기 → 일관성 34% → 13%

똑같은 인풋인데 매번 생성된 메뉴 개수가 달라짐 (비결정적임)

예시:
  공차_밀크티: 10개 → 19개 → 30개 → 36개 (매 실행마다 증가)
  메가커피_5p: 70개 → 74개 → 94개

메뉴 개수 불일치를 해결해야 함 → LLM temperature 기본값이 0.7인데, 0.0으로 설정 → 단, temperature=0.0이어도 OpenAI는 100% 결정적이지 않음 → temperature=0.0 설정해도 메뉴 개수 달라짐 → seed 추가 (무작위가 아니라, 재현 가능하게 함)해도 메뉴 개수 달라짐. → 프롬프트 수정: 규칙 추가

중요 규칙:
1. 각 메뉴는 정확히 한 번만 포함하세요 (중복 제거)
2. "아이스"와 "핫"은 별도 메뉴로 분리하지 마세요 (예: "아이스 아메리카노", "핫 아메리카노" → "아메리카노" 하나로)
3. 사이즈 차이(Tall, Grande, Venti 등)는 별도 메뉴로 분리하지 마세요
4. 명확하게 구분되는 메뉴만 추출하세요
5. 모든 내용은 한국어여야 합니다
Temperature란?

LLM이 다음 단어를 선택할 때 얼마나 확률적으로 선택할지 결정하는 값입니다.

Temperature 0.0 (결정적, 일관적)

  • 항상 가장 확률 높은 답변 선택
  • 같은 입력 → 같은 출력 (거의 100%)
  • 창의성 낮음, 일관성 높음

Temperature 0.7 (기본값, 균형)

  • 확률적으로 다양한 답변 선택
  • 같은 입력 → 다른 출력 가능

Temperature 2.0 (매우 창의적, 무작위)

  • 매우 다양하고 예측 불가능한 답변

현재 상황:

llm = ChatOpenAI(model="gpt-3.5-turbo")
# temperature 미지정 = 기본값 0.7 사용

같은 PDF로 3번 실행: 공차_밀크티.png 1회: 10개 메뉴 2회: 19개 메뉴 ← 왜 다를까? 3회: 30개 메뉴 4회: 36개 메뉴

원인: temperature=0.7이라서 매번 LLM이 다르게 파싱함

용도Temperature이유
데이터 추출/파싱0.0일관성 중요
번역0.0-0.3정확성 중요
요약0.3-0.5약간의 다양성
창작 (시, 소설)0.7-1.0창의성 중요
브레인스토밍1.0-2.0다양성 극대화

메뉴 파싱은 데이터 추출이므로 temperature=0.0 추천!

결과

현재 상황:

  • 68개 → 77개 → 72개 (약 ±13% 변동)
  • 평균 72개 정도

Before (개선 전):

  • 당신의 초기 테스트: 70→74→94개 (약 ±34% 변동)

개선 효과:

  • 변동폭이 34% → 13%로 감소
  • 완전히 동일하지는 않지만 일관성 2배 이상 향상

현실적 목표:

  • 완벽한 일관성 (불가능)
  • 높은 일관성 (±10% 이내) ← 현재 달성!
지표BeforeAfter개선
변동폭±34%±13%2.6배 개선
처리 시간41초34-38초17% 단축
일관성낮음중간-높음향상

개선점 4. 스트리밍으로 UX 개선 → 19초 → 17초

  1. 병렬처리 (as-is)
  2. 순차 스트리밍
  3. 병렬 스트리밍 → 확실히 병렬이 시간 거의 2배 가까이 단축

빽다방_9p

모드첫 결과전체 시간총 메뉴
병렬 처리 (기존)18.97초18.97초97개
순차 스트리밍12.72초47.70초99개
병렬 스트리밍16.73초17.04초92개

→ 전체 시간 줄이기 → 다수의 페이지는 무조건 병렬로 가야 함 → 첫 결과 빨리 보이기 → 무조건 스트리밍

→ 순차 스트리밍이 병렬처리(순서보장)로 기다릴 필요 없어서 첫 결과가 확실히 빠름. 근데 전체 시간은 병렬 스트리밍 압승 → 병렬 스트리밍으로 가고, 초기 답답함을 해소하기 위해 진행율 같은 거 보여주기

결과 분석

OCR 병렬화 효과 - 컴포즈 9페이지:

지표이전현재개선
병렬 처리28.74초11.38초2.5배 빠름
순차 첫 결과25.65초9.07초2.8배 빠름
병렬 첫 결과25.92초8.93초2.9배 빠름

빽다방 9페이지:

지표이전현재개선
병렬 처리46.85초18.97초2.5배 빠름
순차 첫 결과45.23초12.72초3.6배 빠름
병렬 첫 결과46.56초16.73초2.8배 빠름

사용자 경험 분석 (빽다방 기준):

순차 스트리밍: 12.72초 → 첫 메뉴 표시 15초 → 페이지 2 메뉴 추가 … 47.70초 → 완료 체감: “오! 12초 만에 결과가 나왔어! 계속 추가되네!”

병렬 스트리밍: 16.73초 → 첫 메뉴 표시 17.04초 → 완료 체감: “16초 기다림… 그 후 빠르게 완료”

모드첫 결과 (빽다방)전체 시간UX
순차 스트리밍12.72초 (1위)47.70초최고
병렬 스트리밍16.73초17.04초 (1위)좋음
병렬 처리18.97초18.97초보통

최종 추천: 모바일 앱 기본값은 순차 스트리밍

  • 사용자가 12초에 첫 결과를 보고, 계속 업데이트되는 것을 보면서 기다림
  • 47초가 걸려도 사용자는 이미 12초부터 결과를 보고 있어서 답답하지 않음!

Phase 1 → Phase 2 → 최종 결과:

  • 최초: 3분 (180초)
  • Phase 1 (병렬 처리): 47초 (3.8배 개선)
  • Phase 2 (순차 스트리밍): 첫 결과 12.72초 (14배 개선!)

→ 처리 속도 2분 → 17초 → 성능 7배 향상, 처리 시간 86% 감소

로딩시간 체감 비교 (영상)

컴포즈 9p

before

before 영상

after

after 영상

→ 다시 소규모 예산으로 메타광고 실험해보고 만약에 그래도 리텐션이 안 생긴다 싶으면 두 가지 방법이 있음

  1. 액티베이션 최적화하기
  2. 새로운 기능 생각하기 → 기존 기능이 기본체력이 안 좋다고 판단