GE(Great Expectations) 이란?

 

📌 목차

1. GE(Great Expectations)란?
2. GE를 왜 쓰나? (DE 관점)
3. GE 핵심 개념
4. GE 기본 사용 흐름
5. DE 실무에서 GE 쓰는 패턴
6. 언제 GE가 잘 맞고, 안 맞나

---

1️⃣ GE(Great Expectations)란?

GE = Great Expectations는
👉 데이터 품질(Data Quality)을 코드처럼 정의하고 자동 검증하는 오픈소스 툴이야.

한 줄 요약하면,

“데이터에 대한 기대 조건(Expectation)을 정의하고
실제 데이터가 그 기대를 만족하는지 자동으로 검사”

📌 예:

• row 수가 너무 줄지 않았는가?
• NULL 이 있으면 안 되는 컬럼에 NULL 이 있는가?
• 값이 허용 범위를 벗어나지 않았는가?

이걸 사람이 눈으로 안 보고, 자동으로 검사해줌.

---

2️⃣ GE를 왜 쓰나? (DE 관점)

❌ GE 없이 DQ 하면

• SQL 여기저기 흩어짐
• 기준이 문서로만 존재
• 누가 어떤 DQ를 하는지 모름
• 실패해도 그냥 지나감

✅ GE 쓰면

• DQ 기준이 코드로 관리
• 파이프라인에 자동 포함
• 실패 시 즉시 감지
• 리포트/로그 자동 생성

👉 그래서 GE는
**“DE용 DQ 테스트 프레임워크”**라고 보면 딱 맞아.

---

3️⃣ GE 핵심 개념 (이거 중요 ⭐)

GE는 아래 4가지만 이해하면 돼.

🔹 1. Data Source

• 데이터가 어디 있나?
• DB, DWH, S3, Pandas, Spark 등

🔹 2. Expectation

• 데이터가 만족해야 할 조건
• 예:
  • NOT NULL
  • UNIQUE
  • 범위 체크
  • row count 비교

🔹 3. Expectation Suite

• Expectation들의 묶음
• 테이블 단위 / 파이프라인 단위

🔹 4. Validation

• 실제 데이터 vs Expectation 비교 결과
• PASS / FAIL

---

4️⃣ GE 기본 사용 흐름 (순서 기억하면 끝)

🧭 전체 흐름

데이터 연결
   ↓
Expectation 정의
   ↓
Validation 실행
   ↓
결과 저장 / 실패 처리

---

🔹 Step 1. 데이터 연결

• DB (BigQuery, Snowflake, Postgres 등)
• 파일 (CSV, Parquet)
• Spark DataFrame

---

🔹 Step 2. Expectation 정의 (DQ 룰 작성)

대표적인 Expectation 예:

• NOT NULL
• UNIQUE
• 값 범위
• row count
• 정규식 포맷

📌 “테스트 코드 쓰듯이” DQ를 정의함

---

🔹 Step 3. Validation 실행

• 파이프라인 중간에 실행
• 결과가 FAIL이면:
  • Airflow task 실패
  • downstream 차단
  • Slack 알림

---

🔹 Step 4. 결과 리포트

• 어떤 컬럼이
• 어떤 조건에서
• 왜 실패했는지

👉 사람이 바로 이해 가능

---

5️⃣ DE 실무에서 GE 쓰는 패턴 ⭐⭐⭐

✅ 가장 흔한 패턴

🟢 Airflow + GE

• ETL 끝 → GE 실행
• FAIL → DAG 실패
• SUCCESS → 다음 단계 진행

🟢 DWH 테이블 검증

• 적재 직후 DQ 체크
• 분석가 사용 전 방어

🟢 배치 파이프라인

• 매일 동일한 Expectation 실행
• 품질 추이 추적

---

🔍 실제로 많이 쓰는 DQ 예

• row count 전일 대비 ±X%
• PK 중복 없음
• NOT NULL 컬럼 NULL = 0
• 날짜 포맷 오류 없음
• 최신 데이터 존재

---

6️⃣ 언제 GE가 잘 맞고, 안 맞나?

✅ GE가 잘 맞는 경우

• 배치 ETL
• 테이블 단위 DQ
• SQL 기반 DWH
• Airflow 사용 중

❌ GE가 안 맞는 경우

• 초실시간 스트리밍
• ms 단위 검증
• 초대용량 Spark 통계 기반 (→ Deequ가 더 적합)

---

🎯 핵심 요약

GE는 “DQ를 테스트 코드처럼 관리하는 도구”

• 사람이 눈으로 ❌
• 문서로만 ❌
• 자동 + 코드 기반 ✔