DQ Tools

 

📌 목차

1. DQ 툴 한눈에 보는 지도
2. 오픈소스 DQ 툴
3. 클라우드 / 상용 DQ 툴
4. 파이프라인 내장형 DQ
5. 어떤 툴을 선택해야 하나? (추천 조합)

---

1️⃣ DQ 툴 한눈에 보는 지도

구분목적

오픈소스	룰 기반 DQ, 테스트 자동화
클라우드	관리형 DQ, 대규모 모니터링
파이프라인	ETL 중 실시간 차단
관측(Observability)	이상 탐지·대시보드

---

2️⃣ 오픈소스 DQ 툴 (DE가 가장 많이 씀)

🔹 Great Expectations

가장 대표적인 DQ 툴

• SQL / Spark / Pandas 지원
• row count, null, range, uniqueness
• Airflow 연동 쉬움
• 테스트 코드처럼 DQ 작성

📌 언제 쓰나?

데이터 웨어하우스 + 배치 파이프라인

---

🔹 Soda

모니터링 중심 DQ

• YAML 기반 룰 정의
• 이상 탐지(anomaly detection)
• Slack 알림 강력

📌 언제 쓰나?

지속적 모니터링, 운영 환경

---

🔹 Apache Deequ

대용량 Spark DQ 최강자

• Amazon 개발
• 통계 기반 DQ
• 수십억 row 처리 가능

📌 언제 쓰나?

Spark / EMR / Glue 환경

---

3️⃣ 클라우드 / 상용 DQ 툴

🔹 Monte Carlo

“데이터 이상 알림 끝판왕”

• row count, freshness, schema 변경 자동 감지
• SQL 없어도 이상 탐지
• 가격 비쌈 💸

📌 언제 쓰나?

대기업 / 전사 데이터 모니터링

---

🔹 BigQuery

• INFORMATION_SCHEMA 기반 DQ
• row count / freshness 체크
• Google Cloud 환경에 최적

---

🔹 AWS Glue Data Quality

• Glue ETL에 내장
• 규칙 기반 검증
• S3 + Glue 사용자에게 편함

---

4️⃣ 파이프라인 내장형 DQ

🔹 Apache Airflow

• DQ를 Task로 분리
• 실패 시 downstream 차단
• Slack / Email 알림

🔹 dbt

분석 쪽 DQ 표준

• not_null / unique / accepted_values
• 테스트 = DQ
• 문서화 자동

📌 단점:

대용량·실시간 DQ는 한계

---

5️⃣ 어떤 툴을 선택해야 하나? ⭐

✅ 가장 흔한 실무 조합

🟢 스타트업 / 소규모

• dbt + SQL
• Great Expectations

🟡 중견 / 성장 단계

• Airflow + Great Expectations
• Soda (모니터링)

🔵 대규모 / 엔터프라이즈

• Spark + Deequ
• Monte Carlo

---

🎯 핵심 요약

DQ 툴은 “검증” + “감지” + “차단”을 어디까지 할 거냐의 선택

• 룰 기반 → Great Expectations
• 모니터링 → Soda / Monte Carlo
• 대용량 → Deequ
• 분석 중심 → dbt