빅데이터의 절차1 - 개요, 기획

이전 포스터에서는 빅데이터의 절차에 대해 간략히 소개한 바 있다. 데이터는 수집, 가공, 분석, 활용의 순서로 진행된다는 점을 알 수 있었다.
 
이번 글에서는 빅데이터 처리 절차를 더 자세히 살펴보고, 그 중 첫 번째 단계인 계획(Planning)에 대해 구체적으로 이야기해보겠다.
 

1. 빅데이터의 철차 개요

빅데이터는 어떤 절차를 통해 데이터를 수집하고 이를 활용하여 가치를 창출할 수 있을까? 이 과정은 총 9가지 단계로 구성된다.

• 기획(Planning)
• 설계(Modeling)
• 구축(Inplementation)
• 운영(Operation)
• 유지보수(Maintenance)
• 수집(Collection)
• 가공(Manipulation)
• 분석(Analysis)
• 활용(Practice)

위의 빨간색 부분은 시스템을 만드는 과정에 해당하며, 아래 부분은 시스템을 활용하는 단계로 설명할 수 있다. 이전에는 4단계로 간단하게 설명했지만, 9단계로 세분화한 이유는 자료를 수집하고 활용하기 위해서는 철저한 계획과 실행 전략이 필요하기 때문이다. 이제 기획 단계에 대해 자세히 알아보도록 하겠다.
 

 2. 기획(Planning)

기획은 성공적인 빅데이터 분석을 위한 첫 번째 단계로, 계획 수립(Plan) 과정을 포함한다. 이 단계에서는 데이터의 수집, 가공, 분석, 활용을 효과적으로 수행하기 위한 기본 방향과 전략을 설정하며, 프로젝트의 성패를 좌우할 수 있는 중요한 과정이다.

기획의 중요성

기획 단계에서 명확한 목표와 실행 전략을 수립하면 데이터 처리 과정의 효율성과 효과성을 높일 수 있다. 효과적인 기획은 시스템 구축 및 운영에 필요한 모든 자원을 적절하게 배분하고, 각 단계에서 발생할 수 있는 리스크를 사전에 식별하여 대비할 수 있게 한다.

계획 수립 시 고려해야 할 요소들

1. 전산체계(Computer System):

• 장치(Hardware): 시스템을 구성하는 물리적 장비.
• 명령(Software): 하드웨어를 조작하는 프로그램.
• 자료(Dataware): 처리 및 저장할 데이터.
• 주최(Peopleware): 시스템을 운영하는 인적 자원. 

2. 정보체계(Information System):  
 

• 입력(Input), 처리(Process), 출력(Output)의 기본 흐름을 이해하고, 각 단계에서의 역할과 관계를 명확히 해야 한다.
• 환경(Environment)과 경계(Boundary)를 정의하여 시스템이 외부 요인에 의해 어떻게 영향을 받을지를 고려한다. 특히, 처리 과정은 빅데이터를 다루는 데 있어 매우 중요하다.

 
3. 성과(Performance):
 

• 시스템의 효율성과 효과성을 측정할 수 있는 지표를 설정하고, 검증(Verification)과 인증(Validation)을 통해 계획의 성과를 분석해야 한다.
• 목표 달성도를 평가하기 위해 산출(Output)과 목표(Goal)를 비교해야 한다.
• 효율적(efficient)인 부분은 생산성과 일치하며, 효과적(effective)인 부분은 달성도와 일치한다. 대부분 효율적이면 효과적이고, 효과적이면 효율적이지만 그 반대의 경우도 존재하므로 신중하게 고려해야 한다.

 
4. 관점(Perspective):

• 데이터와 프로세스에 대한 다양한 관점을 이해하고, 이를 통해 전략적 결정을 내릴 수 있어야 한다.
• 업무(Business) 및 응용(Application) 분야에 따른 상호 배제(Mutually Exclusive) 및 전체 포괄(Collectively Exhaustive) 분석이 필요하다. 이를 위해 객체, 주체, 전략의 관점에서 접근해야 한다.

5. 적용(Application):

• 기 기획 방법(Method)과 방법론(Methodology)을 명확히 하고, 이를 통해 실질적인 전술(Tactics)을 개발해야 한다. 예를 들어, 제품 전략, 가격 전략, 유통 전략, 촉진 전략이 있다.

6. 데이터 전산화(Computerization):

• 데이터의 디지털 변환(Digital Transformation) 과정을 통해 데이터의 수집과 가공이 어떻게 이루어지는지를 이해하고, 이로 인해 발생할 수 있는 새로운 가능성을 탐색해야 한다. 이는 어떻게 표헌할 것인지에 대한 문제와 직결된다.
• 데이터베이스의 역할은 이러한 데이터를 효율적으로 저장하고 관리할 수 있도록 돕는 중요한 기능을 한다. 데이터 전산화는 데이터의 추상화를 통해 현실에 미치는 영향을 분석하는 것도 포함된다.

7. 제작(Production):

• 제작 과정 또한 중요하다. 전체적인 제작 과정을 고려하여 더 효과적으로 빅데이터를 다룰 수 있어야 한다.

8. 가능성(Possibility):
 

• 기획 가능성(Feasibility Study) 및 다양한 요소(설계, 구축, 유지, 수집 등)의 타당성을 검토해야 한다. 이를 통해 프로젝트의 지속 가능성과 산업 확장성도 고려해야 한다.
• 다음과 같은 요소들을 자세히 검토해야 한다: 기획 가능성, 설계 가능성, 구축 가능성, 유지 가능성, 수집 가능성, 가공 가능성, 분석 가능성, 활용 가능성, 산업 확장성, 지속 가능성. 특히 타당성 검토(FS)는 중요하며, 기계 학습과 연관된 학습 가능성까지 고려해야 한다.

 

결론

기획 단계는 빅데이터 프로젝트의 토대를 마련하는 중요한 과정이다. 이를 통해 명확한 목표와 방향성을 설정하고, 각 단계에서 발생할 수 있는 문제를 사전에 예방하는 것이 가능해진다. 계획이 잘 수립된 시스템은 데이터 수집과 분석의 효율성을 높이며, 궁극적으로 데이터에서 가치를 창출하는 데 기여할 것이다.

 

---

요약

 

1. 빅데이터 처리 절차
빅데이터는 총 9단계(기획, 설계, 구축, 운영, 유지보수, 수집, 가공, 분석, 활용)를 거쳐 가치를 창출한다. 이 중 기획, 설계, 구축, 운영, 유지보수는 시스템을 만드는 단계이며, 수집, 가공, 분석, 활용은 시스템을 활용하는 단계이다.

 

2. 기획(Planning)
기획 단계는 빅데이터 프로젝트 성공의 기본 토대를 마련하는 단계로, 목표와 전략을 수립하여 각 단계를 효과적으로 수행할 수 있게 한다. 기획의 주요 고려 요소는 다음과 같다:

• 전산체계: 하드웨어, 소프트웨어, 데이터, 인적 자원(주최).
• 정보체계: 입력, 처리, 출력의 흐름 이해 및 환경과 경계 설정.
• 성과: 시스템의 효율성과 효과성 측정을 위한 지표 설정 및 검증.
• 관점: 다양한 분석 관점 이해로 전략적 의사결정.
• 적용: 구체적 기획 방법론과 전술 개발.
• 데이터 전산화: 데이터의 디지털 변환 및 데이터베이스 관리.
• 제작: 빅데이터 처리의 효율성을 위한 제작 프로세스.
• 가능성: 기획의 타당성과 지속 가능성 검토.

기획 단계에서 명확한 목표 설정과 철저한 계획 수립은 데이터의 효율적 활용과 성공적인 프로젝트 진행을 보장한다.