02_빅데이터 기술 및 제도(1) - 빅데이터 플랫폼

01. 빅데이터 플랫폼

빅데이터 플랫폼은 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경이다.

---

빅데이터 플랫폼👉 빅데이터를 분석 또는 활용하는데 필요한 필수적인 것으로, 빅데이터 기술의 집합체

---

1) 빅데이터 플랫폼의 등장배경

① 비즈니스 요구사항 변화

● 빠른 의사결정 속도보다 장기적이고 전략적인 접근이 필요하다.

● 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경이 등장하였다.

● 새로운 형태의 비즈니스 질문과 통찰이 요구되고 있다.

 

② 데이터 규모와 처리 복잡도 증가

● 데이터의 범위와 기간이 확장되어 처리할 데이터 규모와 내용이 방대해졌다.

● 정보의 수집 및 분석이 일시적이지도 않고 장기간ㄷ에 걸쳐 수행되어야 한다.

● 다양한 경로를 통해 다양한 형태의 데이터 수집과 복잡한 로직을 이용한 대용량 처리가 필요하다.

● 분산 처리가 불가피하며 이를 제어할 수 있는 고도의 기술이 필요하다. 

---

고객정보, 센서나 장비 데이터, 공공 데이터 등 내외부적인 데이터 종류가 많아졌다.

---

③ 데이터 구조의 변화와 신속성 요구

● SNS 데이터나 로그 파일, 스트림 데이터 등 비정형 데이터의 비중과 실시간 처리에 대한 요구가 높아지고 있다.

● 약한 관계형 스키마나 반정형 데이터와 같은 정형적이지 않은 데이터가 증가하고 있다.

● 데이터 발생 속도가 빨라져 빠른 수집과 가공 및 분석 등 처리가 요구된다.

 

---

로그

컴퓨터에 기록되는 접속하거나 사용한 정보 등

---

④데이터 분석 유연성 증대

● 기존의 통계적 분석방법과 같이 정해진 절차와 과정을 따르지 않아도 분석 목적에 맞게 유연한 분석이 가능하게 되었다.

● 인공지능 기술의 발전으로 다양한 방법론을 통해 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석이 가능하게 되었다.

 

2) 빅데이터 플랫폼의 기능

빅데이터를 처리하는 과정에서 부하 발생은 불가피하며, 빅데이터 플랫폼은 이러한 부하들을 기술적인 요소들을 결합하여 해소한다.

① 컴퓨팅 부하 발생

● 빅데이터를 처리하고자 할 때 연산과정에서 CPU, GPU, 메모리 등을 사용하며 부하가 발생한다.

● 빅데이터 플랫폼을 통한 CPU성능 향상 및 클러스터(Cluster)에서의 효과적인 자원 할당을 통해 부하를 제어할 수 있다.

---

클러스터

여러 대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합

---

 

② 저장 부하 발생

● 빅데이터 처리 과정의 입력 데이터, 중간 가공 데이터, 출력 데이터 등 여러 단계에서 부하가 발생한다.

● 빅데이터 플랫폼을 통한 파일 시스템 개선, 메모리와 파일 시스템의 효과적인 사용 및 데이터베이스 성능 향상으로 제어할 수 있다.

 

③ 네트워크 부하 발생

● 빅데이터를 처리하는 과정에서 분산처리를 하고자 할 때 노드(Node)간의 통신 과정에서 부하가 발생한다.

● 빅데이터 플랫폼을 통한 대역폭의 효과적 분배 및 네트워크상에서 최단거리에 위치한 노드를 탐색하여 제어할 수 있다.

---

노드

● 지역 네트워크에 연결된 컴퓨터와 그 안에 속한 장비들을 통틀어 일컫는 용어

● 자료구조에서는 데이터의 기본 단위를 의미

---

3) 빅데이터 플랫폼의 조건

빅데이터 플랫폼은 서비스 사용자와 제공자 어느 한쪽에 치우쳐서는 안되며 모두가 만족할 수 있는 환경을 제공하여야 한다.

 

① 서비스 사용자 측면에서의 체크리스트

● 주어진 문제를 해결하기에 충분한 요소들을 제공하는 환경인가?

● 편리한 사용자 인터페이스(UI: User Interface)를 제공하는가?

 

② 서비스 제공자 측면에서의 체크리스트

● 성능적인 문제가 발생하지 않도록 충분한 관리 기능을 제공하는가?

● 사용자 접속 및 인증을 관리할 수 있는 기능을 제공하는가?

● 효율적인 운영을 위한 자원 관리 기능을 제공하는가?

● 서비스 품질 관리를 위한 각종 지표들을 충분히 제공하는가?

● 안전한 서비스 제공을 위한 보안적인 요소들을 갖추고 있는가?

● 플랫폼 도입을 통해 비용 절감을 이룰 수 있는가?