Medallion Architecture 정리

Image

---

🥉🥈🥇 Medallion Architecture 정리

한 줄 정의

👉 데이터를 품질 단계별로 나눠 관리하는 아키텍처 패턴

(원본 → 정제 → 분석용)

---

왜 나왔냐면?

• Data Lake에 데이터만 쌓아두니
  • 뭐가 믿을 수 있는 데이터인지 모르겠고
  • 다시 처리하기도 힘들고
  • 팀 커질수록 혼란

그래서 Databricks 쪽에서

👉 “단계별로 책임을 나누자” 하고 정리한 개념

---

전체 구조 (핵심)

🥉 Bronze  →  🥈 Silver  →  🥇 Gold
원본         정제         분석/비즈니스

---

🥉 Bronze (Raw / 원본)

역할

• 데이터 있는 그대로 보관
• 재처리(backfill) 대비

특징

• CSV / JSON / 로그
• 중복, null 있어도 OK
• append-only

한 줄 요약

👉 “손대지 않은 원본 금고”

---

🥈 Silver (Clean / DW Core)

역할

• 사람이 이해 가능한 데이터로 정리
• DW의 핵심 영역

주요 작업

• 타입 캐스팅
• 컬럼명 정리
• null / 중복 처리
• 기본 품질 검증 (GE, dbt test)

한 줄 요약

👉 “신뢰 가능한 표준 데이터”

---

🥇 Gold (Serve / DM)

역할

• 바로 써먹는 데이터
• 분석, 대시보드, KPI

특징

• Fact / Dimension
• 집계 완료
• BI, ML 직결

한 줄 요약

👉 “비즈니스 질문에 바로 답 나오는 데이터”

---

Medallion은 뭐가 아니냐?

❌ 모델링 기법 아님

❌ 특정 도구 아님

👉 **운영 구조(패턴)**임

• Kimball / Inmon → 어떻게 모델링할까
• Medallion → 어디까지 정제된 데이터인가

---

실무에서 제일 흔한 매핑

Bronze  : GCS / S3 raw, parquet
Silver  : dbt staging / intermediate
Gold    : dbt marts (fact / dim)

👉 dbt는 보통 Silver~Gold 담당

---

장점 한 방에 정리

• 문제 생기면 단계별 추적 가능
• 재처리 쉬움
• 역할 분리 명확
• 팀 커져도 안 무너짐

---

면접용 20초 답변 (이거 외워도 됨)

“Medallion Architecture는 데이터를

Bronze–Silver–Gold 단계로 나눠

품질과 책임을 분리하는 운영 패턴입니다.

Bronze는 원본 보존,

Silver는 정제된 DW 코어,

Gold는 분석용 데이터 마트 역할을 합니다.”

---

네가 만든 구조랑 연결하면

👉 네가 한 게 바로 Medallion Architecture의 정석 구현

• GCS raw → 🥉 Bronze
• dbt staging → 🥈 Silver
• dbt marts → 🥇 Gold

---

마지막 핵심 문장

👉 Medallion Architecture =“데이터 신뢰도를 단계로 관리하는 방법”

---