Andamiro : Web3 & DataScience

[ Data Engineer ] 데이터 엔지니어링_금융 IT_01 : OLTP/ ETL/ ODS/ DW/ DM/ OLAP    ∇ OLTP     : On-Line-Transaction Processing ( 온라인 트랙잭션 관리/ 온라인 거래 처리 )         : : 기업 운영에 필요한 비즈니스 프로세스를 자동화한 시스템으로,                인사/급여/구매/생산/재고/물류 등 기업 운영의 전반적인 측면을 포함하고 있습니다.         : : 정보를 트랜잭션 단위로 수집하고, 분류/ 저장/ 유지보수/ 갱신/ 검색하는 기능을 수행합니다.         : : OLTP에서 발생한 모든 데이터를 DW(데이터 웨어하우스)에 저장합니다.  #참고항공사의 예약 시스템, 은행의 창구업무 시스템 ..

[ Data Engineer ] 데이터 엔지니어링 공부_02 : 데이터 파이프라인이란?  ∇ 데이터 파이프라인의 정의.  ::  "데이터 파이프라인"은        원천 데이터 소스에서 최종 분석/시각화까지 데이터를 자동화하여 이동시키는 일련의 프로세스입니다.     ◎ 데이터 파이프라인 사용 예시.           - 파이프를 한번 만들면(just like 배수관 파이프, 여기서 데이터는 배수관 안에서 흐르는 물) 큰 문제가 없는 한 데이터가 계속 들어와서 쌓이게 될 것입니다.            - 적은 수고를 들이고 효율적으로 필요한 데이터를 모으려면                  데이터를 가져오는 과정에서 정제자 전처리가 쉽도록, 데이터 형태도 고쳐주고 필요없는 데이터는 제거하고         ..

[ Data Engineer ] 데이터 엔지니어링 공부_01 : 데이터 웨어하우스 / 데이터 마트/ 데이터 레이크란 ?   목 차1. 데이터 웨어하우스 ( Data Warehouse )2. 데이터 마트 ( Data Mart )3. 데이터 레이크 ( Data Lake )4. 추가 Ⅰ. 데이터 웨어하우스 ( Data Warehouse )          ◎ "데이터(정보)" + 웨어하우스(창고) 의 합성어입니다.           : 기업의 의사결정을 지원하기 위해 다양한 소스의 데이터를 통합하고 저장하는 중앙 집중식 데이터베이스 시스템.     ◎ 여러 데이터 소스들로부터, "ETL 과정" 을 거쳐서 하나의 통합된 데이터 창고를 구축합니다. ◆ETL의 정의.##"ETL"은 [ Extract(추출), Tr..