Data Quality 검증은 어떻게 하는가?

 

📌 목차

1. DQ를 “한다”는 것의 의미
2. DE에서 DQ 전체 흐름
3. 단계별 DQ 수행 방법 (실무)
4. DQ 룰 예시 모음
5. 처음 DQ 시작할 때 추천 방식

---

1️⃣ DQ를 “한다”는 것의 의미

DE에서 DQ를 한다는 건 단순히 체크 한 번이 아니라,

데이터 파이프라인 안에
자동으로 품질 검사를 넣고
이상 시 감지·알림·차단까지 하는 것

을 말해.

✔ 자동화
✔ 반복 가능
✔ 실패 시 액션 존재

이 3개가 없으면 “DQ를 한다”라고 보기 힘들어.

---

2️⃣ DE에서 DQ 전체 흐름

🧭 큰 그림

데이터 수집
   ↓
[1차 DQ] 양 / 누락 체크
   ↓
데이터 가공
   ↓
[2차 DQ] 값 / 룰 검증
   ↓
데이터 저장
   ↓
[3차 DQ] 스키마 / PK / 최신성
   ↓
알림 · 차단 · 로그

---

3️⃣ 단계별 DQ 수행 방법 (실무)

📥 1. 수집 단계 DQ (Ingestion)

목표: “데이터가 제대로 들어왔나?”

✔ 체크 항목

• row count 전일 대비 ±X%
• 수집 성공 여부
• 파일/파티션 존재 여부
• 중복 수집

✔ 방식

• SQL row count 비교
• 메타 테이블 기록
• 실패 시 파이프라인 STOP

---

⚙️ 2. 가공 단계 DQ (Transformation)

목표: “가공하면서 망가졌나?”

✔ 체크 항목

• NULL 비율
• 값 범위 초과
• 비즈니스 룰 위반
• 조인 후 row 급변

✔ 방식

• 조건 COUNT
• FAIL 시 task 실패
• 로그 테이블 적재

---

🗄️ 3. 저장 단계 DQ (Serving)

목표: “사용자가 믿고 쓸 수 있나?”

✔ 체크 항목

• PK 중복
• 스키마 변경
• 최신 데이터 존재
• 파티션 누락

✔ 방식

• UNIQUE 검사
• schema registry
• freshness 체크

---

4️⃣ DQ 룰 예시 모음 (바로 쓰는 수준)

🔹 Row Count

ABS(today_cnt - yesterday_cnt) / yesterday_cnt > 0.3 → FAIL

🔹 NOT NULL

SELECT COUNT(*) WHERE col IS NULL;

🔹 범위 체크

WHERE age < 0 OR age > 120

🔹 PK 중복

GROUP BY pk HAVING COUNT(*) > 1

🔹 Freshness

MAX(event_time) < now() - 2 hours → FAIL

---

5️⃣ 처음 DQ 시작할 때 추천 방식 ⭐

❌ 처음부터 하지 말 것

• 모든 컬럼 DQ
• 복잡한 통계 모델
• 완벽한 규칙

✅ 이렇게 시작

Top 5 DQ만 먼저

1. row count 증감
2. PK 중복
3. NOT NULL
4. 날짜 파티션 존재
5. 최신 데이터 여부

👉 이 5개만 있어도 **사고의 80%**를 막아.

---

🎯 핵심 요약

DQ는 “체크”가 아니라 “시스템”이다

• 자동
• 실패 시 알림/차단
• 파이프라인 일부로 존재