Lazy Evaluation 이란?

한 줄 비유

👉 “할 일 목록만 적어두고,진짜 일은 마지막에 한 번에 한다.”

---

---

Lazy Evaluation 이란?

👉 연산을 즉시 실행하지 않고,‘실행 계획(DAG)’만 쌓아두는 방식

Spark에서는:

• filter
• select
• join

같은 건 바로 실행 안 함

---

언제 진짜 실행되나?

👉 Action을 만났을 때

Action 예시

• count()
• show()
• collect()
• write()

이 순간에 Spark가:

1. 지금까지 쌓인 연산을 보고
2. 실행 계획을 최적화하고
3. 한 번에 실행

---

예제로 보면 바로 이해됨

df2 = (
    df
    .filter(df.price > 100)
    .select("user_id", "price")
)

👉 여기까지는 아무 일도 안 함

df2.count()

👉 이때서야 진짜 실행

---

왜 이렇게 하냐?

1️⃣ 최적화 가능

• 불필요한 연산 제거
• 조건 먼저 적용
• 컬럼 최소 읽기

👉 자동으로 빠르게

---

2️⃣ 실패 줄이기

• 중간 결과 저장 안 함
• 필요할 때만 계산

---

3️⃣ 분산 처리에 유리

• 전체 DAG 보고
• 파티션/셔플 전략 최적화

---

Lazy vs Eager (즉시 실행)

구분 Lazy Eager

실행 시점	action 시	즉시
최적화	가능	거의 없음
Spark	✅	❌
Pandas	❌	✅

---

Lazy Evaluation의 부작용

👉 처음 쓰면 헷갈림

• print 찍었는데 안 나옴
• cache 했는데 효과 없는 것 같음

❗ cache도 action 있어야 실제로 저장됨

---

면접용 20초 답변

“Lazy evaluation은 Spark가 변환 연산을 즉시 실행하지 않고

실행 계획으로만 쌓아두었다가,

action이 호출될 때 전체 DAG를 최적화해 한 번에 실행하는 방식입니다.”

---

마지막 핵심 문장

👉 Lazy evaluation 덕분에 Spark는 빠르다.

---