1. 빅데이터 개요(1) - 빅데이터의 특징

빅데이터는 단순히 방대한 정보 집합이 아니라, 그 활용 여부에 따라 엄청난 가치를 발휘할 수 있는 중요한 자원이다. 효과적인 빅데이터 처리를 위해서는 빅데이터 자체에 대한 깊이 있는 이해가 필수적이며, 이를 기반으로 상황에 능동적으로 대응하거나 미래 변화를 예측할 수 있다.

 

이번 포스터에서는 빅데이터 처리와 관련된 핵심 개념 및 최신 동향을 다음과 같이 살펴보고자 한다.

 

1. 데이터 변화

출처: https://yozm.wishket.com/magazine/detail/2264/

 

최근 몇 년간 데이터의 양과 접근성은 눈부신 발전을 이루었다. 과거 PC 중심의 시대를 지나, 인터넷과 모바일 환경이 보편화됨에 따라 데이터는 언제 어디서나 손쉽게 생성되고 소비되고 있다. 실제로 2025년과 불과 5년 전을 비교할 때, 데이터 증가는 지수함수적 성장을 보이고 있다.

 

특히, 2007년부터 전 세계에서 생성되는 디지털 정보의 양이 저장 가능한 공간을 초과하기 시작했으며, 2011년에는 이 양이 1.8제타바이트(ZB)에 달하는 새로운 시대를 맞이하였다. 이러한 급격한 변화는 빅데이터라는 용어가 탄생하게 된 배경이 된다. 예를 들어, 2012년 기준 페이스북에서는 매일 25억 개 이상의 데이터(약 500TB)가 생성되고 있으며, 2013년 1월 기준 트위터에서는 매일 4억 건 이상의 데이터가 발생하고 있다. 또한, IDC 데이터에 따르면 2025년까지 전 세계적으로 152,200개의 IoT 장치가 연결될 것으로 예상된다.

 

2. 빅데이터

출처: https://ikkison.tistory.com/66

 

데이터의 기하급수적인 증가로 인해 기존의 전통적 기술과 방법만으로는 효율적인 처리가 어려워지면서, ‘빅데이터’라는 용어가 등장하게 되었다. 초기에는 단순히 데이터의 규모와 기술적 한계에 초점을 맞추었으나, 현재는 이 데이터를 분석·가공하여 실제 가치를 창출하고 활용 효과를 극대화하는 데 주안점을 두고 있다. 즉, 빅데이터란 대용량의 정보를 단순히 저장하는 것을 넘어, 이를 통해 유의미한 인사이트를 도출하는 과정을 의미한다.

 

또한, 빅데이터의 주요 특성은 초기의 3V(Volume, Variety, Velocity)에서 발전하여 현재는 6V(크기, 다양성, 속도, 진실성, 시각화, 가치)로 확장되었다. 이와 같은 특성은 빠르게 생성되고 다양한 형태로 소비되는 데이터를 효과적으로 분석하고 가공함으로써, 중요한 정보를 추출할 수 있는 능력을 나타낸다.

 

3. 빅데이터 특징

빅데이터는 기존 데이터와 여러 면에서 차별화된다. 우선, 데이터 트래픽이 기존보다 훨씬 크며, 데이터 유형 중 비정형 데이터의 비중이 높아 처리의 복잡성이 증대된다. 또한, 다양한 데이터 소스와 복잡한 로직을 동시에 다루어야 하므로 분산 처리 기술의 도입이 필수적이다. Hadoop, R, NoSQL 등 개방형 소프트웨어가 활용되는 점 또한 기존 데이터 처리 방식과 차이를 보인다.

 

빅데이터의 처리 특징은 다음과 같다:

• 의사결정 속도: 빠른 의사결정보다는 장기적이고 전략적인 접근이 요구된다.
• 처리 복잡도: 대용량 데이터를 다루기 위해 분산 처리 기술이 필수적이다.
• 데이터 구조: 비정형 데이터의 비중이 높아, 다양한 형태의 데이터를 효과적으로 관리·분석할 수 있는 유연성이 필요하다.
• 실시간 처리: 동시에 처리 가능한 데이터 양이 제한적이지만, 의미 있는 정보를 실시간으로 도출하여 트렌드 분석, 마케팅 의사결정 등 다양한 분야에서 활용된다.
• 분석 유연성: 다양한 데이터 유형에 대해 유연하게 접근하여, 소비자 취향과 행동 등의 변화를 신속하게 감지하고, 자동화된 의사결정을 지원한다.

이와 같이 빅데이터는 대용량 데이터, 다양한 데이터 형식, 새로운 데이터 소스, 실시간 처리, 그리고 새로운 형태의 질문과 통찰을 가능하게 하는 속성과 특징을 가진다. 또한, 빅데이터 분석은 정형 데이터뿐만 아니라 SNS, 게시판 등 다양한 데이터 소스를 통합하여 페타바이트에서 제타바이트 규모의 데이터를 다루며, 다중 저장소, 인타임 처리, 흐름 분석, 정보 시각화 등 융합지식 기반의 처리를 통해 기존 DB 시스템과는 확연히 다른 방식으로 운용된다.