Dataframe 이란?

---

---

📊 DataFrame 이란?

한 줄 정의

👉 행(row)과 열(column)로 이루어진 “표 형태의 데이터 구조”

(엑셀·SQL 테이블 같은 개념)

---

직관적인 비유

DataFrame = 엑셀 표를수천 대 컴퓨터에 나눠서 동시에 계산하는 구조

---

DataFrame의 핵심 특징

1️⃣ 스키마가 있다

• 컬럼 이름 + 타입 보유
• Spark가 데이터 구조를 이해함

user_id : long
event_time : timestamp
price : double

👉 이게 RDD와 가장 큰 차이

---

2️⃣ SQL처럼 다룬다

df.filter(df.price > 100).groupBy("user_id").count()

또는

SELECT user_id, COUNT(*)
FROM df
GROUP BY user_id

👉 분석가·엔지니어 모두 친숙

---

3️⃣ 자동 최적화 된다

Spark가 내부에서:

• 불필요한 컬럼 안 읽음
• 조건 먼저 적용
• 실행 계획 재작성

👉 사람이 최적화 안 해도 빠름

---

4️⃣ 분산 처리 기본 내장

• 데이터 자동 분할 (partition)
• 여러 executor가 병렬 처리
• 장애 나도 자동 복구

👉 대용량에 강함

---

DataFrame vs RDD (한 눈 비교)

구분 DataFrame RDD

구조	표 (행/열)	리스트
스키마	있음	없음
최적화	자동	없음
난이도	쉬움	어려움
실무	표준	거의 안 씀

👉 실무에서는 DataFrame이 기본

---

Spark에서 DataFrame이 중요한 이유

• Spark SQL 엔진과 바로 연결
• BI / dbt / DW와 궁합 좋음
• 코드 짧고 가독성 좋음
• 성능 최적화 자동

👉 그래서 Spark = DataFrame 중심 엔진이라고 봐도 됨

---

언제 DataFrame 쓰면 안 될까?

거의 없음 😅

아주 특수한 경우만:

• 컬럼 구조 없는 비정형 데이터
• 복잡한 객체 단위 연산

---

면접용 15초 답변

“DataFrame은 행과 열로 구성된 분산 데이터 구조로,

스키마를 가지고 있어 Spark가 자동으로 최적화할 수 있습니다.

현재 Spark 실무에서는 RDD보다 DataFrame API가 표준입니다.”

---

마지막 핵심 문장

👉 DataFrame은 ‘사람이 보기 쉬운 표’이면서‘Spark가 최적화하기 쉬운 구조’다.

---