02_빅데이터 기술 및 제도(4)-빅데이터 수집/저장/처리

devnest 2026. 2. 21. 13:50

728x90

2) 빅데이터 수집

① 크롤링(Crawling): 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술이다. 어느 부류의 기술을 얼마나 빨리 검색 대상에 포함시키는가로 우위를 결정한다.

②로그 수집기: 조직 내부에 있는 웹 서버나 시스템의 로그를 수집하는 소프트웨어이다. 웹 로그나 트랜잭션 및 클릭 로그 등 각종 로그를 하나의 데이터로 수집한다.

③센서 네트워크(Sensor Network): 유비쿼터스 컴퓨팅 구현을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크이다. 센서를 통하여 획득된 여러 정보를 네트워크로 구성된 통합 환경 내에서 재구성하여 처리한다.

④RSS Reader/Open API): 데이터의 생산, 공유, 참여할 수 있는 환경인 웹 2.0을 구현하는 기술이다. 필요한 데이터를 프로그래밍을 통해 수집할 수 있다.

⑤ETL프로세스: 데이터의 추출(Extract), 변환(Transform), 적재(Load)의 약어로, 다양한 원천 데이터를 취합해 추출하고 공동된 형식으로 변환하여 적재하는 과정이다.

과정	설명
데이터 추출(Extract)	● 원천 데이터로붕터 적재하고자 하는 데이터를 추출한다.
데이터 변환(Transform)	● 추출한 데이터를 변환하고 균질화하며 정제한다. ● 정제한 데이터를 적재하고자 하는 데이터 웨어하우스 구조에 맞게 변환한다. ● 통합하는 제약조건 및 비즈니스 규칙에 따라 필터링이나 확인 작업을 한다.
데이터 적재(Load)	● 변환된 데이터를 데이터 웨어하우스에 적재한다.

3) 빅데이터 저장

① NoSQL(Not-only SQL)

전통적인 관계형 데이터베이스와는 다르게 데이터 모델을 단순화하여 설계된 비관계형 데이터베이스로 SQL을 사용하지 않는 DBMS와 데이터 저장장치이다.

● 기존의 RDBMS 트랜잭션 속성인 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 지속성(Durability)을 유연하게 적용한다.

● 데이터 업데이트가 즉각적으로 가능한 데이터 저장소이다.

● Cloudata, Hbase, Cassandra, MongoDB 등이 대표적이다.

② 공유 데이터 시스템(Shared-data System)

● 일관성, 가용성(Availability), 분할 내성(Partition Tolerance)중에서 최대 두 개의 속성만 보유할 수 있다.(CAP 이론)

● 분할 내성을 취하고 일관성과 가용성 중 하나를 포기하여 일관성과 가용성을 모두 취하는 기존 RDBMS 보다 높은 성능과 확장성을 제공한다.

③ 병렬 데이터베이스 관리 시스템(Parallel Database Management System)

다수의 마이크로프로세서를 사용하여 여러 디스크에 질의, 갱신, 입출력 등 데이터베이스 처리를 동시에 수행하는 시스템이다.

● 확장성을 제공하기 위해 작은 단위의 동작으로 트랜젝션 적용이 필요하다.

● VoltDB, SAP HANA, Vertica, Greenplum, Netezza가 대표적이다.

④ 분산 파일 시스템

네트워크로 공유하는 여러 호스트 파일에 접근할 수 있는 파일 시스템이다.

● 데이터를 분산하여 저장하면 데이터 추출 및 가공시 빠르게 처리할 수 있다.
● GFS(Google File System), HDFS(Hadoop Distributed File System), 아마존 S3파일 시스템이 대표적이다.

⑤ 네트워크 저장 시스템

이기종 데이터 저장장치를 하나의 데이터 서버에 연결하여 총괄적으로 데이터를 저장 및 관리하는 시스템이다.

● SAN(Storage Area Network), NAS(Network Attached Storage)가 대표적이다.

NAS

네크워크 결합 스토리지, 컴퓨터를 직접 연결하기 않고 근거리 통신 네트워크를 통해 데이터를 주고 받는 방식

4) 빅데이터 처리

① 분산 시스템과 병렬 시스템

분산 시스템	● 네트워크상에 분산되어 있는 컴퓨터를 단일 시스템인 것처럼 구동하는 기술이다. ● 분산 시슽엠에 속한 노드는 독립된 시스템이다. ● 독립 컴퓨터의 집합으로 만들었으나 마치 단일 시스템인 것처럼 수행되어야 한다.
병렬 시스템	● 문제 해결을 위해 CPU등의 자원을 데이터 버스나 지역 통신 시스템 등으로 연결하여 구동하는 기술이다. ● 분할된 작업을 동시에 처리하여 계산 속도를 빠르게 한다.

ー 용어는 구분되어 사용되기도 하지만 서로 중첩되는 부분이 많아 실제 시스템에서도 이 둘을 명확히 구분하기는 어렵다.

ー 두 개념을 아우르는 분산 병렬 컴퓨팅이라는 용어를 사용한다.

② 분산 병렬 컴퓨팅: 다수의 독립된 컴퓨팅 자원을 네트워크상에 연결하여 이를 제어하는 미들웨어(Middleware)를 이용해 하나의 시스템으로 동작하게 하는 기술이다.

병렬(Parallel) 데이터베이스의 특징

● 분산 아키텍처

● 병렬처리/고성능 처리

● 데이터 파티셔닝을 통한 데이터 병렬성

● 데이터 분할과 분산

미들웨어

하드웨어나 프로토콜, 통신환경 등을 연결하여 응용 프로그램 간 원만한 통신이 이루어질 수 있게 하는 소프트웨어

▶ 분산 병렬 컴퓨팅 시 고려사항

문제	설명
전체 작업의 배분 문제	● 전체 작업을 잘 쪼개어 여러 개의 작은 작업으로 나눠야 한다.
각 프로세서에서 계산된 중간 결과물을 프로세서 간 주고받는 문제	● 효율적인 통신은 성능과 직결된다. ● 보통 단일 시스템은 전체 작업을 노드의 수만큼 균등하게 나눈다. ● 이종 시스템은 컴퓨팅 능력에 따라 전체 작업을 배분한다. ● 노드 간의 통신을 최소화하는 기법 등이 반영되면 자원을 좀 더 효율적으로 사용할 수 있어 성능 향상에 도움이 된다.
서로 다른 프로세서 간 동기화 문제	● 데이터 병렬 처리에서 동기적 방법을 사용할 경우 프로세서는 특정 계산이 끝나거나 특정 데이터를 넘겨받을 때까지 반드시 대기하여햐 한다. ● 동기적 방법의 경우 송신자는 수신자에게서 데이터를 받았다는 응답이 올 때까지 대기하여야 한다. ● 비동기적 방법에서는 결과 메세지를 보낸 즉시 다음 작업을 계속할 수 있다. ● 비동기적 방법의 경우 프로세서는 기다릴 필요가 없지만, 계산 과정이 적합한지는 확인해야 한다.