[ Data Engineer ] 데이터 엔지니어링 공부_02 : 데이터 파이프라인이란? ∇ 데이터 파이프라인의 정의. :: "데이터 파이프라인"은 원천 데이터 소스에서 최종 분석/시각화까지 데이터를 자동화하여 이동시키는 일련의 프로세스입니다. ◎ 데이터 파이프라인 사용 예시. - 파이프를 한번 만들면(just like 배수관 파이프, 여기서 데이터는 배수관 안에서 흐르는 물) 큰 문제가 없는 한 데이터가 계속 들어와서 쌓이게 될 것입니다. - 적은 수고를 들이고 효율적으로 필요한 데이터를 모으려면 데이터를 가져오는 과정에서 정제자 전처리가 쉽도록, 데이터 형태도 고쳐주고 필요없는 데이터는 제거하고 ..
