02_빅데이터 기술 및 제도(2) - 빅데이터 플랫폼의 구조

4) 빅데이터 플랫폼의 구조

빅데이터 처리과정별 요소기술을 고려한 플랫폼 구조

 

 

① 소프트웨어 계층

빅데이터 애플리케이션을 구성하며 데이터 처리 및 분석과 이를 위한 데이터 수집, 정제를 한다.  

컴포넌트	설명
데이터 처리 및 분석 엔진	데이터를 처리하고 분석한다.
	데이터 처리 및 분석	서비스에 따른 데이터 처리 및 분석을 수행한다.
	처리 및 분석 워크플로우 구성	데이터 처리 및 분석을 위한 워크플로우를 구성한다.
	데이터 표현	데이터 처리 및 분석한 결과를 표현한다.
데이터 수집 및 정제 모듈	빅데이터 분석 엔진을 위한 데이터를 수집하고 정제한다.
	데이터 추출	원천 데이터에서 데이터를 추출한다.
	데이터 반환	원천 데이터에서 추출한 데이터를 변환하고 균질화 및 정제한다.
	데이터 적재	변환된 데이터를 데이터 웨어하우스로 적재한다.
서비스 관리 모듈	소프트웨어 계층에서 제공하는서비스를 관리한다.
사용자 관리 모듈	사용자를 관리한다.
	인증 및 접속 관리	사용자별 인증과 접속 관리를 한다.
	사용자 서비스 관리	사용자별 서비스를 관리한다.
	SLA관리	사용자별 서비스 수준 협약(Service Level Agreement)를 관리한다.
모니터링 모듈	플랫폼 및 인프라스트럭처 서비스 사용성과 성능을 모니터링한다.
보안 모듈	소프트웨어 계층의 보안을 관리한다.

---

SLA(Service Level Agreement)

서비스 제공업체와 고객간 맺는 서비스 품질에 대한 계약, 사전에 정의된 수준의 서비스가 제공될 수 있게 품질보장

---

 

 

② 플랫폼 계층

빅데이터 애플리케이션을 실행하기 위한 플랫폼을 제공하며, 작업 스케줄링이나 데이터 및 자원 할당과 관리, 프로파일링 등을 수행한다.

---

프로파일링: 속도 및 최적화에 중점, CPU와 메모리 사용량 및 실행 시간 등을 추적하는 것

---

컴포넌트	설명
사용자 요청 파싱	사용자가 요청한 내용을 파싱한다.
작업 스케줄링 모듈	사용자 애플리케이션 실행 작업을 스케줄링한다.
데이터 및 자원 할당 모듈	사용자 애플리케이션을 실행하는 데이터와 자원을 할당한다.
	초기 데이터 할당	사용자 애플리케이션을 실행하는 사용자의 데이터를 초기 할당한다.
	데이터 재할당 및 복제	동적인 상황을 고려하여 데이터를 재할당 및 복제한다.
	초기 자원 할당	사용자 애플리케이션을 실행하는 인프라스트럭처의 자원을 초기 할당한다.
	자원 재할당 및 스케일링	동적인 상황을 고려하여 자원을 재할당및 스케일링한다.
프로파일링 모듈	자원 및 애플리케이션을 프로파일링 또는 시뮬레이션 한다.
	자원 프로파일링	인프라스트럭처 자원을 할당하는 인프라스트럭처 자원을 프로파일링 한다.
	애플리케이션 프로파일링	인프라스트럭처 자원을 할당하는 사용자 애플리케이션을 프로파일링한다.
	애플리케이션 시뮬레이션	인프라스트럭처 자원 선택 및 구성을 하는 사용자 애플리케이션을 시뮬레이션 한다.
데이터 관리 모듈	사용자 데이터를 관리한다.
자원 관리 모듈	인프라스트럭처 자원을 관리한다.
서비스 관리 모듈	플랫폼 계층에서 제공하는 서비스를 관리한다.
사용자 관리 모듈	사용자를 관리한다.
사용자 관리 모듈	인증 및 접속관리	사용자별 인증과 접속 관리를 한다.
	사용자 서비스 관리	사용자별 서비스를 관리한다.
	SLA관리	사용자별 서비스 수준 협약을 관리한다.
모니터링 모듈	인프라스트럭처 서비스 가용성과 성능을 모니터링 한다.
보안 모듈	플랫폼 계층의 보안을 관리한다.

 

 

 

 

③ 인프라스트럭처 계층

자원 배치와 스토리지 관리, 노드 및 네트워크 관리 등을 통해 빅데이터 처리와 분석에 필요한 자원을 제공한다.

컴포넌트	설명
사용자 요청 파싱	사용자가 요청한 내용을 파싱한다.
자원 배치 모듈	사용자에게 제공할 자원을 배치한다.
	초기 자원 배치	사용자에게 제공하는 자원을 초기 배치한다.
	자원 재배치 및 스케일링	동적인 상황을 고려하여 자원을 재배치 및 스케일링 한다.
노드 관리 모듈	인프라스트럭처 내의 노드를 관리한다.
데이터 관리 모듈	인프라스트럭처 내의 스토리지를 관리한다.
네트워크 관리 모듈	인프라스트럭처 내외의 네트워크를 관리한다.
서비스 관리 모듈	인프라스트럭처 계층에서 제공하는 서비스를 관리한다.
사용자 관리 모듈	사용자를 관리한다.
	인증 및 접속 관리	사용자별 인증과 접속 관리를 한다.
	사용자 서비스 관리	사용자별 서비스를 관리한다.
	SLA관리	사용자별 서비스 수준 협약을 관리한다.
모니터링 모듈	서비스를 모니터링 한다.
	서비스 모니터링	서비스 가용성과 성능을 모니터링 한다.
	자원 모니터링	노드, 스토리지, 네트워크 등 자원 가용성과 성능을 모니터링 한다.
보안 모듈	인프라스트럭처 계층의 보안을 관리한다.