K8s란?

📌 목차K8s란 무엇인가 (한 줄 정의)왜 K8s가 필요해졌나K8s가 해결하는 문제K8s 핵심 개념 정리K8s 전체 동작 흐름한 줄 요약 (암기용)1️⃣ K8s란 무엇인가?**K8s(Kubernetes)**는컨테이너(Docker)를 자동으로 배포·확장·복구·관리해주는 플랫폼이다.공식적으로는Kubernetes =👉 컨테이너 오케스트레이션 도구2️⃣ 왜 K8s가 필요해졌나?❌ Docker만 쓸 때 문제컨테이너가 죽으면? → 수동 재시작트래픽 증가하면? → 수동으로 컨테이너 늘림서버 여러 대면? → 어디서 뭐가 도는지 모름배포 중 장애? → 서비스 다운👉 컨테이너가 많아질수록 관리 지옥✅ K8s의 등장“컨테이너 관리, 사람이 하지 말고 시스템이 자동으로 하자”3️⃣ K8s가 해결하는 핵심 문제K8s는 아..

GE 실제 코드 예시

📌 목차GE 코드 전체 흐름기본 세팅 (가장 단순한 방식)실무에서 가장 많이 쓰는 Expectation 예시Validation 실행 & 실패 처리DE 실무 팁1️⃣ GE 코드 전체 흐름 (이거 기억하면 끝)데이터 로드 ↓Expectation 정의 ↓Validation 실행 ↓결과 확인 (PASS / FAIL)GE는 테스트 코드 쓰듯이 DQ를 작성한다고 생각하면 돼.2️⃣ 기본 세팅 (Pandas 기준, 제일 쉬움)DB / Spark도 거의 동일한 구조라개념 익히기엔 Pandas가 최고pip install great-expectationsimport great_expectations as geimport pandas as pd# 데이터 로드df = pd.read_csv("users.csv")#..

GE(Great Expectations) 이란?

📌 목차GE(Great Expectations)란?GE를 왜 쓰나? (DE 관점)GE 핵심 개념GE 기본 사용 흐름DE 실무에서 GE 쓰는 패턴언제 GE가 잘 맞고, 안 맞나1️⃣ GE(Great Expectations)란?GE = Great Expectations는👉 데이터 품질(Data Quality)을 코드처럼 정의하고 자동 검증하는 오픈소스 툴이야.한 줄 요약하면,“데이터에 대한 기대 조건(Expectation)을 정의하고실제 데이터가 그 기대를 만족하는지 자동으로 검사”📌 예:row 수가 너무 줄지 않았는가?NULL 이 있으면 안 되는 컬럼에 NULL 이 있는가?값이 허용 범위를 벗어나지 않았는가?이걸 사람이 눈으로 안 보고, 자동으로 검사해줌.2️⃣ GE를 왜 쓰나? (DE 관점)❌ GE..

DQ Tools

📌 목차DQ 툴 한눈에 보는 지도오픈소스 DQ 툴클라우드 / 상용 DQ 툴파이프라인 내장형 DQ어떤 툴을 선택해야 하나? (추천 조합)1️⃣ DQ 툴 한눈에 보는 지도구분목적오픈소스룰 기반 DQ, 테스트 자동화클라우드관리형 DQ, 대규모 모니터링파이프라인ETL 중 실시간 차단관측(Observability)이상 탐지·대시보드2️⃣ 오픈소스 DQ 툴 (DE가 가장 많이 씀)🔹 Great Expectations가장 대표적인 DQ 툴SQL / Spark / Pandas 지원row count, null, range, uniquenessAirflow 연동 쉬움테스트 코드처럼 DQ 작성📌 언제 쓰나?데이터 웨어하우스 + 배치 파이프라인🔹 Soda모니터링 중심 DQYAML 기반 룰 정의이상 탐지(anomaly ..

Data Quality 검증은 어떻게 하는가?

📌 목차DQ를 “한다”는 것의 의미DE에서 DQ 전체 흐름단계별 DQ 수행 방법 (실무)DQ 룰 예시 모음처음 DQ 시작할 때 추천 방식1️⃣ DQ를 “한다”는 것의 의미DE에서 DQ를 한다는 건 단순히 체크 한 번이 아니라,데이터 파이프라인 안에자동으로 품질 검사를 넣고이상 시 감지·알림·차단까지 하는 것을 말해.✔ 자동화✔ 반복 가능✔ 실패 시 액션 존재이 3개가 없으면 “DQ를 한다”라고 보기 힘들어.2️⃣ DE에서 DQ 전체 흐름🧭 큰 그림데이터 수집 ↓[1차 DQ] 양 / 누락 체크 ↓데이터 가공 ↓[2차 DQ] 값 / 룰 검증 ↓데이터 저장 ↓[3차 DQ] 스키마 / PK / 최신성 ↓알림 · 차단 · 로그3️⃣ 단계별 DQ 수행 방법 (실무)📥 1. 수집 단계 DQ..

Backend- roadmap

[programming Basic][git][principle][Object-Oriented] S.O.L.I.D

이번 포스팅에선 객체지향 프로그래밍의 특성과 장점을 최대한으로 끌어올리기 위해 프로그램을 어떻게 설계해야 하는 지에 대한 이야기를 다뤄본다. 객체지향 설계과정 요구사항 (제공해야 할 기능) 을 찾고 세분화 한다. 그리고 그 기능을 알맞은 객체로 할당한다. 기능을 구현하는 데에 필요한 데이터를 객체에 추가한다. 해당 데이터를 이용하는 기능을 구현한다. (기능은 최대한 캡슐화) 객체 간에 어떻게 메소드 호출을 주고받을 지 결정한다. 객체지향 설계원칙 SRP (Single Responsibility) 단일 책임 원칙 클래스는 단 한개의 책임을 가져야 함 클래스를 변경하는 이유는 단 하나여야 함 이를 지키지 않으면, 한 책임의 변경에 의해 다른 책임과 관련된 코드에 영향을 미칠 수 있음 → 이렇게 되면 유지보수..