GE 실제 코드 예시

 

📌 목차

1. GE 코드 전체 흐름
2. 기본 세팅 (가장 단순한 방식)
3. 실무에서 가장 많이 쓰는 Expectation 예시
4. Validation 실행 & 실패 처리
5. DE 실무 팁

---

1️⃣ GE 코드 전체 흐름 (이거 기억하면 끝)

데이터 로드
   ↓
Expectation 정의
   ↓
Validation 실행
   ↓
결과 확인 (PASS / FAIL)

GE는 테스트 코드 쓰듯이 DQ를 작성한다고 생각하면 돼.

---

2️⃣ 기본 세팅 (Pandas 기준, 제일 쉬움)

DB / Spark도 거의 동일한 구조라
개념 익히기엔 Pandas가 최고

pip install great-expectations

import great_expectations as ge
import pandas as pd

# 데이터 로드
df = pd.read_csv("users.csv")

# GE DataFrame 생성
ge_df = ge.from_pandas(df)

---

3️⃣ 실무에서 가장 많이 쓰는 Expectation 예시 ⭐⭐⭐

🔹 1. NOT NULL 체크

ge_df.expect_column_values_to_not_be_null("user_id")

👉 의미

user_id 컬럼에 NULL 있으면 FAIL

---

🔹 2. PK 유니크 체크

ge_df.expect_column_values_to_be_unique("user_id")

👉 의미

user_id 중복 있으면 FAIL

---

🔹 3. 값 범위 체크 (나이, 금액)

ge_df.expect_column_values_to_be_between(
    "age",
    min_value=0,
    max_value=120
)

---

🔹 4. 허용 값 목록 체크

ge_df.expect_column_values_to_be_in_set(
    "gender",
    ["M", "F"]
)

---

🔹 5. 날짜 포맷 체크

ge_df.expect_column_values_to_match_regex(
    "signup_date",
    r"\d{4}-\d{2}-\d{2}"
)

---

🔹 6. row count 최소 보장

ge_df.expect_table_row_count_to_be_between(
    min_value=1000
)

👉 의미

데이터가 너무 적으면 FAIL

---

4️⃣ row count 전일 대비 ±X% 예시 ⭐ (실무 핵심)

GE에는 “전일 대비”가 내장돼 있진 않아서
👉 어제 row count를 변수로 넣어서 비교하는 방식이 일반적이야.

yesterday_cnt = 100000
today_cnt = ge_df.shape[0]

diff_pct = abs(today_cnt - yesterday_cnt) / yesterday_cnt

assert diff_pct <= 0.3, "Row count anomaly detected"

📌 실무에선:

• 어제 row count → 메타 테이블에서 조회
• 이 assert 실패 → Airflow task FAIL

---

5️⃣ Validation 실행 & 결과 확인

result = ge_df.validate()

print(result["success"])

• True → DQ 통과
• False → DQ 실패 (파이프라인 중단)

실패 시 어떤 정보가 나오나?

• 실패한 컬럼
• 실패한 Expectation
• 실패한 row 개수 비율

👉 사람이 바로 원인 파악 가능

---

6️⃣ Airflow / 배치에서 쓰는 패턴 (중요)

✔ 실무 패턴

result = ge_df.validate()

if not result["success"]:
    raise Exception("Data Quality Check Failed")

👉 이 한 줄로:

• Airflow task FAIL
• downstream 차단
• Slack 알림 트리거 가능

---

7️⃣ DE 실무 팁 ⭐⭐⭐

❌ 하지 말 것

• 모든 컬럼에 Expectation
• 하루에 50개 DQ
• 너무 빡센 기준

✅ 이렇게 해라

• 테이블당 5~10개 핵심 DQ
• PK / row count / freshness 우선
• 점진적으로 추가

---

🎯 핵심 요약

GE는 “DQ를 테스트 코드로 작성하는 도구”

• expect = DQ 룰
• validate = 실행
• FAIL = 파이프라인 중단