Andamiro : App& Web3 & DataScience

[ Data Analytics ] 데이터 분석 공부_01 : 데이터 분석 방법론. 목 차1. KDD 분석 방법론 2. CRISP-DM 분석 방법론3. KDD와 CRISP-DM4. 빅데이터 분석 방법론.   Ⅰ. KDD 분석 방법론.     ◆ KDD 분석 개요.            :: "KDD [ Knowledge Discovery in Database ] 는 'Fayyad'가 프로파일링 기술을 기반으로 ,             데이터로부터 통계적인 패턴이나 지식을 찾기 위해 활용할 수 있도록 체계적으로 정리한 데이터 마이닝 프로세스!              - 데이터 마이닝, 머신러닝, 인공지능, 패턴인식, 데이터 시각화 등에서 응용될 수 있는 구조를 가지고 있습니다.           ◆ KDD..

[ Data Science ] 데이터 싸이언스 공부_통계학_02 : 변량, 도수, 도수분포표, 상대도수, 히스토그램.  Ⅰ. 변량 [ Variable ]   - ' 변량 ' 은 연구나 관찰 대상에서 관심을 가지는 속성 또는 특성을 나타냅니다.    - ex) 학생들의 키, 나이, 성적 등은 모두 변량.    -> 이러한 '변량'은 "데이터 분석의 기반"을 형성합니다.       ex) 100명의 학생들의 임의의 점수.   Ⅱ. 도수 [ Frequency ]  ※ 도수란,     :: 특정 구간 또는 범주 내에 발생한 관찰값의 수를 의미합니다.          - 도수는 데이터의 분포를 이해하고 시각화하기 위한 핵심 개념입니다.     Ⅲ. 도수 분포표 [ Frequency Distribution Tabl..

[ Data Science ] 데이터 싸이언스 공부_통계학_01 : 평균, 분산, 표준편차 등등. ∇ 기술통계학이란  ◇ "통계학"은 크게 두 가지 분야로 구분됩니다.           -> 하나는 " 기술 통계학" 이고, 다른 하나는 "추론 통계학" 입니다.      ◎ 기술통계학           :: 기술통계학은 집단(우리가 보유한 통계자료)의 특성을 기술하는 데 목적을 두고 있습니다.                  자료의 성질을 기술하는 것이 목적입니다.                 - 평균, 분산, 표준편차, 상관계수 등등의                     "통계량을 이용해 자료의 분포를 파악" 하고 특성을 기술하는 방법이 있고,                - 도수분포표, 히스토그램, Box..

[ Data Engineer ] 데이터 엔지니어링_금융 IT_01 : OLTP/ ETL/ ODS/ DW/ DM/ OLAP    ∇ OLTP     : On-Line-Transaction Processing ( 온라인 트랙잭션 관리/ 온라인 거래 처리 )         : : 기업 운영에 필요한 비즈니스 프로세스를 자동화한 시스템으로,                인사/급여/구매/생산/재고/물류 등 기업 운영의 전반적인 측면을 포함하고 있습니다.         : : 정보를 트랜잭션 단위로 수집하고, 분류/ 저장/ 유지보수/ 갱신/ 검색하는 기능을 수행합니다.         : : OLTP에서 발생한 모든 데이터를 DW(데이터 웨어하우스)에 저장합니다.  #참고항공사의 예약 시스템, 은행의 창구업무 시스템 ..

[ Data Engineer ] 데이터 엔지니어링 공부_02 : 데이터 파이프라인이란?  ∇ 데이터 파이프라인의 정의.  ::  "데이터 파이프라인"은        원천 데이터 소스에서 최종 분석/시각화까지 데이터를 자동화하여 이동시키는 일련의 프로세스입니다.     ◎ 데이터 파이프라인 사용 예시.           - 파이프를 한번 만들면(just like 배수관 파이프, 여기서 데이터는 배수관 안에서 흐르는 물) 큰 문제가 없는 한 데이터가 계속 들어와서 쌓이게 될 것입니다.            - 적은 수고를 들이고 효율적으로 필요한 데이터를 모으려면                  데이터를 가져오는 과정에서 정제자 전처리가 쉽도록, 데이터 형태도 고쳐주고 필요없는 데이터는 제거하고         ..

[ Data Engineer ] 데이터 엔지니어링 공부_01 : 데이터 웨어하우스 / 데이터 마트/ 데이터 레이크란 ?   목 차1. 데이터 웨어하우스 ( Data Warehouse )2. 데이터 마트 ( Data Mart )3. 데이터 레이크 ( Data Lake )4. 추가 Ⅰ. 데이터 웨어하우스 ( Data Warehouse )          ◎ "데이터(정보)" + 웨어하우스(창고) 의 합성어입니다.           : 기업의 의사결정을 지원하기 위해 다양한 소스의 데이터를 통합하고 저장하는 중앙 집중식 데이터베이스 시스템.     ◎ 여러 데이터 소스들로부터, "ETL 과정" 을 거쳐서 하나의 통합된 데이터 창고를 구축합니다. ◆ETL의 정의.##"ETL"은 [ Extract(추출), Tr..

[ DB & SQL(RDBMS, NoSQL) ] SQL vs NoSQL   ∇ DB & SQL_데이터 베이스 공부 : SQL vs NoSQL목 차1. 데이터베이스란?2. SQL(Structrued Query Language)란3. NoSQL이란?    Ⅰ. 데이터베이스란?  🩻 데이터 베이스란.        - 데이터베이스는 데이터를 저장하는 곳으로             "데이터를 여러 사람이 공유하여 사용할 목적으로 체계화해 통합*관리하는 데이터의 집합" 입니다.              == 작성된 목록으로써 여러 응용 시스템들의 통합된 정보들을 저장하여 운영할 수 있는 공용 데이터들의 묶음.              √ '데이터베이스'는 중복된 데이터를 없애고, 자료를 구조화하여 효율적인 처리를 할..

[ DB & SQL(RDBMS, NoSQL) ] 관계형 데이터 모델링 : 구성 요소.     ∇ DB & SQL_데이터 베이스 공부 : 관계형 데이터 모델링의 구성요소.목 차1. 엔티티(Entity)2. 속성(Attribute)3. 식별자(Identifier)4. 관계(Relation)   ★ "개념적 데이터 모델링"은 기획 내용에 포함된 개념을 분석*분해*도출해서 빠짐없이 옮기는 단계입니다.           -> 개념적 데이터 모델링의 결과에 따라서 논리적*물리적 데이터 모델링의 향방이 좌우됩니다.           -> 또한, 개념적 데이터 모델링이 기획 내용과 일치하지 않는다면,                        기획 의도를 올바르게 구현하지 못한 결과물이 나오게 됩니다.     Ⅰ. 엔..

[ DB & SQL(RDBMS, NoSQL) ] 관계형 데이터 모델링 : 전체 흐름도.   ∇ DB & SQL_데이터 베이스 공부 : 관계형 데이터 모델링의 전체 흐름도.목 차1. 관계형 데이터 모델링이란.2. 모델링의 흐름.   Ⅰ. 관계형 데이터 모델링이란. ※ 데이터 모델링,        ∇ 데이터 모델링 : 현실 세계의 정보를 구조화하여서 데이터베이스에 저장할 수 있도록 설계하는 과정입니다.                       -> 데이터 간의 관계를 정의하고 데이터의 속성과 형식을 명확히 하는 작업입니다.        ∇ 데이터 모델링의 목적                    :: 비즈니스 요구사항을 충족하는 데이터 구조를 설계하여서, 데이터를 효율적으로 저장하고 관리하며          ..

[ DB & SQL(RDBMS, NoSQL) ]  데이터 베이스 공부 : DB 기초.  ∇ DB & SQL_데이터 베이스 공부 : DB 기초 핵심.목 차1. 개요.2. DBMS3. 관계형 데이터 모델.4. SQL 개요.   Ⅰ. 개요.  ◎ Database 란.  :: 여러 응용프로그램 또는 유저들이 공유 * 이용 할 수 있도록 체계적으로 통합&저장 한 데이터들의 집합.       == 데이터들을 저장하고 조회하는 프로그램.           ＠ '데이터베이스(DB)' 는 단순한 저장소를 넘어서 데이터 중복이 있을 경우,                    이를 통합하여서 구조적이고 효율적으로 데이터를 저장합니다.         1 ) 데이터베이스의 데이터 특징.               - '데이터베..