PoC → Production AI Reference

왜 이 Lab을 만들었나

AI 기능은 이제 짧은 시간에도 데모를 만들 수 있습니다.

문제는 실제 서비스에 넣는 순간부터입니다.

• 누가 어떤 데이터에 접근할 수 있는가?
• AI가 어떤 행동까지 직접 실행할 수 있는가?
• 잘못된 답이나 행동은 어떻게 막는가?
• 결과가 좋아졌는지 무엇으로 평가하는가?
• 실패했을 때 사람이 어떻게 이어받는가?
• 비용과 지연시간은 어느 수준까지 허용되는가?

이 Lab은 특정 프레임워크 사용법이 아니라 PoC를 운영 가능한 AI 기능으로 바꿀 때 필요한 레이어를 정리한 reference입니다.

Reference flow

User / Event
    ↓
Authentication / Identity
    ↓
Authorization / Data Scope
    ↓
Agent / Orchestration
    ├─ Knowledge retrieval
    ├─ Tool / API calls
    └─ Structured outputs
    ↓
Policy / Guardrails
    ↓
Human Approval (when required)
    ↓
Action
    ↓
Audit Log / Trace
    ↓
Evaluation / Feedback

1. Identity & permission

“문서를 검색할 수 있다”와 “이 사용자가 이 문서를 검색해도 된다”는 다른 문제입니다.

Production에서는 최소한:

• 사용자 식별
• 역할/조직 기준 데이터 범위
• tool별 권한
• 민감 데이터 제외

를 별도로 설계해야 합니다.

2. Tool execution

AI가 답변만 하는 서비스와 실제 행동을 하는 Agent는 위험도가 다릅니다.

예:

• 메일 초안 작성 → 낮은 위험
• 메일 자동 발송 → 더 높은 위험
• 가격 확정 → 높은 위험
• 결제/환불 처리 → 매우 높은 위험

행동별로 자동 실행과 승인 단계를 분리해야 합니다.

3. Human approval

Human-in-the-loop는 “AI가 부족해서” 넣는 기능이 아닙니다.

책임과 리스크가 큰 행동의 권한 경계입니다.

예:

AI drafts action
→ person reviews
→ approve / reject / edit
→ action executes
→ result logged

4. Audit & trace

운영 중 문제가 생겼을 때 확인할 수 있어야 합니다.

최소한:

• 입력
• 사용한 context/source
• 선택한 tool/action
• 결과
• 승인자
• 실패/재시도

가 추적 가능해야 합니다.

5. Evaluation

“잘 되는 것 같다”는 production 기준이 아닙니다.

기능에 맞는 평가를 정해야 합니다.

Examples:

• retrieval hit rate
• grounded answer rate
• tool-call accuracy
• escalation rate
• human edit rate
• cost / latency
• failure rate

6. Fallback

Agent가 실패했을 때 서비스를 멈추지 않게 합니다.

• 사람이 이어받기
• 기존 workflow로 돌아가기
• 안전한 read-only 모드
• 재시도 제한

같은 fallback이 필요합니다.

MAJIEM point of view

마지음은 AI 프로젝트에서 모델 선택보다 업무와 권한 경계를 먼저 봅니다.

PoC가 이미 있다면 전부 다시 만들기보다, 실제 운영에 필요한 빈 레이어를 찾아 작은 범위부터 보완하는 방식을 선호합니다.

MAJIEM LAB / Reference — 실제 고객 납품 사례가 아닌 자체 기술 콘텐츠입니다.