[Data] 데이터 클렌징 실전 — '쓰레기 데이터'를 쓸 수 있게 만드는 법

🏷️ [NextX_Data_Solution] · 주식회사 넥스트엑스(NEXT X) 정식 데이터 솔루션

Garbage In, Garbage Out — 아무리 좋은 대시보드·AI도 데이터가 지저분하면 결과도 쓰레기입니다. 분석·자동화 프로젝트의 8할은 데이터 정제에서 갈립니다.

🗑️ “지저분한 데이터”의 정체

문제	예시
중복	같은 고객이 3번 등록
결측	전화번호·금액이 빈칸
표기 불일치	“(주)넥스트엑스” / “넥스트엑스” / “NEXT X”
형식 혼재	날짜가 2026-07-15, 26.7.15, 7월 15일
이상치	나이 999, 금액 -1
숨은 공백·오타	” 서울 “, “서울시”/”서울특별시”

🧭 클렌징 6단계

1. 표준화 — 날짜·전화·통화 등 형식을 하나로 통일
2. 중복 제거 — 키(이메일·사업자번호 등) 기준 dedup
3. 결측 처리 — 채우기 / 제외 / “미상” 표시 (규칙 명시)
4. 표기 통일 — 회사명·지역명 등 표기 사전으로 매핑
5. 이상치 점검 — 범위·논리 규칙으로 오류 탐지
6. 검증 — 정제 전후 건수·합계 비교로 데이터 손실 확인

핵심 원칙: 정제 규칙을 문서로 남기세요. “왜 이렇게 바꿨는지”가 없으면 다음 사람이 또 헤맵니다.

🛠️ 도구는 목적에 맞게

• 소량·일회성 → 엑셀/구글시트 (중복제거, 찾기·바꾸기, TRIM)
• 반복·대용량 → 파이썬 pandas (규칙을 코드로 고정 → 매번 동일 품질)
• 비정형·판단 필요 → + 생성형 AI (예: “이 자유서술 주소를 시/구로 분리”)

# pandas 예시: 표기 통일 + 중복 제거
df["회사명"] = df["회사명"].str.replace(r"\(주\)|주식회사|\s", "", regex=True)
df = df.drop_duplicates(subset=["사업자번호"])

⚠️ 자주 하는 실수

• 원본을 덮어쓰기 → 항상 사본에서 작업, 원본 보존
• 한 번만 정제 → 데이터는 계속 들어옴 → 정제도 자동화(파이프라인)
• 규칙 미기록 → 재현·인수인계 불가

📩 데이터가 지저분해서 분석을 못 하고 있다면

지저분한 파일 1개만 주셔도 됩니다 — 정제 규칙과 자동화 방안을 진단해 드립니다. → Business Inquiry · csnextx@gmail.com

관련 → 데이터 파이프라인이란? · 경영진 대시보드 설계