6.27(월) 데이터 플랫폼 이론

• 데이터 플랫폼 이론

1) 데이터 플랫폼의 이해

 

Plat = form = Plaform

• 승장장을 예로 듦: 효율적으로 타고 내릴 수 있는 것
• 즉, 데이터의 수집/저장/처리/관리 및 분석 등의 역할 수행을 지원

1. 빅데이터 관리 플랫폼
   데이터 수집/저장/처리/관리
2. 빅데이터 분석 플랫폼
   데이터 분석

컴퓨터에서 플랫폼의 종류

1. 하드웨어 플랫폼 (IBM / ARM)
   - 핵심 동작 부분들이 똑같이 동작하도록 함
2. 운영체제 플랫폼 (iOS / Android)
   - 같은 운영체제 내에서는 쉽게 정보를 옮길 수 있음
   - 단, 운영체제가 다르면 하드웨어도 다르기 때문에 설치는 가능하나 가용성이 낮아짐
3. 소프트웨어 플랫폼 (MS Office / 한컴)
4. 크로스 플랫폼

빅데이터와 데이터의 차이점

1. Volume(크기)
2. Variety(다양성)
3. Velocity(속도)
   까지 V3  -  3가지 충족 시 빅데이터로 규정
4. Veracity(정확성)
5. Value(가치)
   까지 V5

이전의 데이터 플랫폼

1. DW(데이터 웨어하우스)
   기존 DBMS로는 부족한 의사결정 시스템이 적용된 것
   기존에 데이터 모여있는 것들에 코드 사용
   - 의사결정 시스템
   - ERP, CRM, SCM
2. ETL(추출,변형,적재)
   - 일괄ETL: 정해진 시작에 일괄적으로 데이터를 처리
   - 실시간ETL: 추출될 때 마다 테이터를 처리

빅데이터 플랫폼이 필요한 이유

 

데이터의 유형이 다양화 되었기 때문이다.

• 정형 데이터
  - 규칙이 구조적으로 정해져있다.
• 반정형 데이터
  - 어느정도는 규칙이 정해져 있지만, 자유로운 편이다.
• 비정형 데이터
  - 유튜브 동영상처럼 정해져 있지 않다.

클라우드를 사용하는 이유

 

예전에는 사람이 직접 이동해서 정보를 확인, 입력하는 것이 저렴했다.

하지만, 네트워크의 발전으로 인해 여러 클라우드 시스템들이 비약적으로 발전했다.

상대적으로 저렴한 가격으로 원하는 부분을 누구나 쉽게 빌려줄 수 있는 클라우드 플랫폼이 쏟아져 나왔다.

> 쉽게 빅데이터 분석을 가능하게 함.

 

1. 인터넷 그리고 SaaS(Software as a Service)

• 인터넷으로 원격으로 서비스 제공받음
• 서비스 유지관리를 책임질 필요 없음
  - ex) 구글 드라이브에 파일 저장
• 문제 해결을 위해 최소한의 노력 필요
  - ex) 인터넷 익스플로러 -> 마이크로 엣지
• 소프트웨어 구독 모델을 선호
  - 불법적인 사용 구분 가능해지면서 선호됌

2. 남는 자원을 대여하는 PaaS

• 하드웨어만 대여
• 여러 플랫폼용으로 개발할 때 적합

3. AWS

 

4. 좀 더 유연한 IaaS

• 가상화 + 운영체제 + PaaS

5. ESXI, HYper-V, VirualBox, Docker