FAQ¶
자주 묻는 질문
데이터 관리¶
Q1. 외부 모델(GPT-4, Claude) 캡션은 Milvus에도 저장하나요?
A1. Feature Store에만 저장합니다.
Milvus는 스키마 안정성 이슈로 여러 모델 결과를 통합 관리하기 어렵습니다. Feature Store를 Single Source of Truth (SSOT)로 설정하여 일관성 있게 데이터를 관리합니다.
역할 구분:
- Feature Store: 캡션 데이터 버전 관리 및 연구/분석용 저장소
- Milvus: VSS 서비스(RAG, Video QA)를 위한 벡터 검색 시스템
Q2. 동기화 실패 시 데이터 일관성은 어떻게 보장하나요?
A2. 새 timestamp로 버전 생성하여 자동 재시도합니다.
실패 시 기존 데이터를 덮어쓰지 않고, 새로운 timestamp로 버전을 생성하여 다음 주기에 자동 재시도합니다. Feature Store에 저장되어도 Metadata Store에 등록되지 않으면 검색 불가능합니다.
핵심 원칙:
- Immutable: 생성된 데이터는 수정 불가
- Append-only: 덮어쓰기 금지, 모든 이력 보존
- Automatic Retry: Checkpoint 저장 후 다음 주기 자동 복구
성능¶
Q1. Milvus 동시 접근이 기존 시스템 성능에 영향을 주지 않나요?
A1. 기본적으로 부하를 최소화하는 방식으로 설계되었으나, 실험을 통한 검증이 필요합니다.
동작 방식:
- 최초 1회: 새벽 시간대에 전체 데이터 동기화
- 이후 10분마다: 새로 추가된 데이터만 조회 (예: 30건)
검증 필요 사항:
- VSS 쓰기 작업 중 신규 데이터 조회 시 성능 영향
- 동시 접근 시 latency 변화
- 성능 저하 발생 시 Rate Limiting 적용
아키텍처¶
Q1. 왜 서빙 시스템(AiD)이 아닌 VSS에 연결하나요?
A1. 현재는 Video Understanding 목적에 집중합니다. AiD/AiM 연동은 다음 단계입니다.
현재 시스템은 video understanding을 목적으로 제작되었으므로, VSS와 연동하는 방향만 고려합니다.
유즈케이스¶
Q1. 평가만 필요하면 Milvus 직접 조회가 더 간단하지 않나요?
A1. Feature Store는 Milvus의 구조적 한계를 해결하여 다양한 유즈케이스를 지원합니다.
| 문제 | Milvus 직접 조회 | Feature Store |
|---|---|---|
| 스키마 안정성 | VSS 업데이트 시 깨짐 | ✅ 안정적 유지 |
| 다중 모델 관리 | 스키마 변경 필요 | ✅ 유연한 추가 |
| 버전 관리 | 시점 구분 불명확 | ✅ Point-in-Time |
Milvus의 스키마 안정성, 확장성 제약, 시간 기반 버전 관리 부재 문제를 해결하여, 단순 평가를 넘어 모델 비교, 실험 재현, config 분석 등을 지원합니다.