02_빅데이터 기술 및 제도(3)-빅데이터 처리 기술

②빅데이터 처리 기술

 

1) 빅데이터 처리과정과 요소기술

---

빅데이터 처리과정

데이터(생성) → 수집 → 저장(공유) → 처리 → 분석 → 시각화

---

 

① 생성

● 데이터베이스난 파일 관리 시스템과 같은 내부 데이터가 있다.

● 인터넷으로 연결된 외부로부터 생성된 파일이나 데이터가 있다.

 

② 수집

● 크롤링을 통해 데이터 원천으로부터 데이터를 검색하여 수집한다.

● ETL을 통해 소스 데이터로부터 추출하고, 변환하여 적재한다.

● 단순한 수집이 아니라 검색 및 수집, 변환 과정을 모두 포함한다.

● 로그 수집기나, 센서 네트워크 및 Open API 등을 활용할 수 있다.

 

③ 저장(공유)

● 저렴한 비용으로 데이터를 쉽고 빠르게 많이 저장한다.

● 정형 데이터뿐만 아니라 반정형, 비정형 데이터도 포함한다.

● 병렬 DBMS나 하둡(Hadoop), NoSQL등 다양한 기술을 사용할 수 있다.

● 시스템 간의 데이터를 서로 공유할 수 있다.

---

하둡

분산 파일 시스템과 분산 처리 시스템을 제공하는 아파치 소프트웨어 재단의 오픈 소스 프레임워크

---

④ 처리

● 데이터를 효과적으로 처리하는 기술이 필요한 단계이다.

● 분산 병렬 및 인메모리(In-memory) 방식으로 실시간 처리한다.

● 대표적으로 하둡(Hadoop)의 맵리듀스(MapReduce)를 활용할 수 있다.

---

인메모리

디스크가 아닌 메인 메모리에 데이터를 저장하는 기술

---

 

⑤ 분석

● 데이터를 신속하고 정확하게 분석하여 비즈니스에 기여한다.

● 특정 분야 및 목적의 특성에 맞는 분석 기법 선택이 중요하다.

● 통계 분석, 데이터 마이닝, 텍스트 마이닝, 기계학습 방법 등이 있다.

 

⑥ 시각화

● 빅데이터 처리 및 분석 결과를 사용자에게 보여주는 기술이다.

● 다양한 수치나 관계 등을 표, 그래프 등을 이용해 쉽게 표현하고 탐색이나 해석에 활용한다.

● 정보 시각화 기술, 시각화 도구, 편집 기술, 실시간 자료 시각화 기술로 구성되어 있다.