DQ(Data Quality)란?

 

📌 목차

1. DE에서 DQ란 무엇인가
2. DE에서 관리하는 DQ 항목 전체 맵
3. 수집 → 처리 → 저장 단계별 DQ 체크 항목
4. 실무에서 자주 쓰는 DQ 체크 예시

---

1️⃣ DE에서 DQ란?

**DE에서의 DQ(Data Quality)**는
👉 *“데이터 파이프라인이 안정적으로, 신뢰 가능한 데이터를 만들어내는가”*를 의미해요.

분석가/ML이 쓰기 전에
엔지니어 단계에서 걸러야 할 품질 기준이 바로 DE의 DQ입니다.

---

2️⃣ DE에서 관리하는 DQ 항목 전체 맵

DE에서는 DQ를 기술적 관점 + 데이터 관점 둘 다 봅니다.

🔹 핵심 DQ 분류 (DE 기준)

구분DQ 항목설명

데이터 값	정확성 (Accuracy)	값이 비정상적이지 않은가
데이터 값	완전성 (Completeness)	NULL / 누락 데이터
데이터 값	유효성 (Validity)	타입·포맷·범위
데이터 구조	스키마 일관성	컬럼 변경, 타입 변경
데이터 구조	유일성 (Uniqueness)	PK 중복
데이터 흐름	적시성 (Timeliness)	데이터 지연
데이터 흐름	정합성 (Consistency)	시스템 간 값 불일치
파이프라인	재현성	재처리 시 결과 동일
파이프라인	안정성	실패, 누락 없는가

---

3️⃣ 단계별 DE DQ 체크 항목

📥 1. 수집(Ingestion) 단계 DQ

“데이터가 제대로 들어왔는가?”

• 건수 체크 (row count)
• 수집 실패 여부
• 중복 수집 여부
• 소스별 지연 시간
• 파일/배치 누락

📌 예:

어제 10만 건 → 오늘 2천 건 ❌

---

⚙️ 2. 처리(Transformation) 단계 DQ

“가공하면서 데이터가 망가지지 않았는가?”

• NULL 증가 여부
• 값 범위 이상치
• 조인 후 데이터 감소/폭증
• 비즈니스 룰 위반
• 타입 캐스팅 오류

📌 예:

금액 < 0
나이 > 120

---

🗄️ 3. 저장(Storage / Serving) 단계 DQ

“사용자가 믿고 쓸 수 있는 상태인가?”

• PK 중복
• 스키마 변경 감지
• 파티션 누락
• 최신 데이터 존재 여부
• 조회 성능 저하

---

4️⃣ 실무에서 자주 쓰는 DQ 체크 예시

✔ 가장 흔한 DQ 체크 Top 10 (DE 실무)

1. row count 전일 대비 ±X% 초과
2. PK 중복 존재 여부
3. NOT NULL 컬럼 NULL 발생
4. 날짜 포맷 오류
5. 값 범위 초과 (age, price 등)
6. 스키마 변경 감지
7. 파티션 누락
8. 데이터 지연 SLA 초과
9. 조인 후 데이터 급감
10. 재처리 결과 불일치

---

🔍 DE 관점 핵심 요약

DE에서 DQ는 “분석 이전에 데이터 사고를 막는 방어선”이다

• 분석 DQ ❌ → 결과 신뢰도 문제
• DE DQ ❌ → 데이터 자체가 망가짐