[Data] 데이터 파이프라인이란? — 원시 데이터가 대시보드가 되기까지

데이터 파이프라인 구축 접근법에서 “왜 필요한지”를 봤다면, 이번엔 “어떻게 굴러가는지” 를 쉽게 정리합니다.

🚰 비유부터 — “정수장”

강물(원시 데이터)을 그대로 마실 순 없죠. 정수장이 물을 끌어와 → 거르고 → 저장해 → 수도꼭지로 보냅니다. 데이터 파이프라인이 딱 그 정수장입니다.

🔄 핵심 단계 (ETL)

flowchart LR
    E[Extract 추출<br/>소스에서 가져오기] --> T[Transform 변환<br/>정제·형식 통일]
    T --> L[Load 적재<br/>웨어하우스에 저장]
    L --> V[시각화/분석]

단계	뜻	예시
Extract(추출)	소스에서 데이터를 가져옴	결제 API, 광고 리포트, 엑셀
Transform(변환)	형식 통일·중복 제거·계산	날짜 포맷 통일, 환율 적용
Load(적재)	한 곳에 쌓기	데이터 웨어하우스/DB

🧱 자주 나오는 용어

용어	쉬운 뜻
데이터 웨어하우스	분석용으로 데이터를 모아두는 큰 창고
배치 / 실시간	정해진 주기로 vs 발생 즉시 처리
대시보드(BI)	지표를 그래프로 보여주는 화면 (예: Metabase, Looker)
SSOT	Single Source of Truth — “숫자의 유일한 기준”

⚠️ 잘 굴러가게 하는 포인트

• 데이터 품질 — 쓰레기가 들어가면 쓰레기가 나온다(Garbage In, Garbage Out)
• 자동화·모니터링 — 실패하면 알림, 매번 사람이 안 돌려도 되게
• 비용 — 다 모으지 말고 필요한 지표 기준으로 (과적재 = 낭비)

🔗 함께 보기

• 흩어진 데이터를 경영 지표로 (구축 접근법)
• AI 용어 사전

요약: 파이프라인 = 데이터 정수장. 추출→변환→적재를 자동화해, 믿을 수 있는 지표를 끊김 없이 공급하는 것.