[Big Data] Chap1. 빅데이터 분석 기획(2)

분석 문제 정의

• 분석은 과제와 관련된 현상이나 원인, 해결방안에 대한 자료를 수집 및 분석하여 의사결정에 활용하는 활동
• 문제라는 것은 기대 상태와 현재 상태를 동일한 수준으로 맞추는 과정
• 이 과정에서 제약조건을 파악하고, 잠재 원인을 진단하고 관련된 데이터를 수집, 가공, 분석하는 활동 수행
• 하향식, 상향식 접근 방식을 반복적으로 수행하면서 상호 보완하여 분석 과제를 발굴한다.
• 과제 발굴 이후 '분석 과제 정의서' 산출물을 작성한다.

하향식 접근 방식

• 분석 과제가 정해져 있고 이에 대한 해법을 찾기 위해 체계적으로 분석하는 방법
• 비즈니스 모델 캔버스 사용
  • 기업 내,외부 환경을 포괄하고 있는 비즈니스 모델
  • 과제 발굴 기법에 활용
  • 문제 탐색, 문제 정의, 해결방안 탐색, 타당성 검토, 선택 (탐정해타선)

상향식 접근 방식

• 문제 정의 자체가 어려운 경우 데이터를 기반으로 문제를 지속적으로 개선하는 방식

• 기존 하향식 접근법의 한계를 극복하기 위한 분석 방법론으로써 디자인 사고 접근법을 사용하여 객관적인 데이터 그 자체를 관찰하는 방식 적용

• 디자인 사고 접근법 사용

  • 수렴적 사고의 반복을 통해 혁신적 결과를 도출하는 창의적 문제 해결 방법

• 특징

  • 비지도 학습 방법 사용 : 입력 데이터에 대한 정답이 없는 상태에서 학습
  • 프로토타이밍 접근법 사용 : 시행착오를 통한 문제 해결
    • 가설의 생성, 디자인에 대한 실험, 실제 환경에서의 테스트 등

• 절차

  • 프로세스 분류 : 전사 업무 프로세스를 단계로 구조화하여 정의
  • 프로세스 흐름 분석 : 프로세스별 업무 흐름을 상세 표현
  • 분석 요건 식별 : 각 프로세스 맵상의 주요 의사결정 포인트 식별
  • 분석 요건 정의 : 각 의사결정 시점에 의사결정을 할 수 있는지 정의

상향식 : 분흐식정, 디자인 사고, 비지도 학습, 프로토타이핑 접근법

하향식 : 탐정해타선, 분석과제, 비즈니스 모델 캔버스

대상별 분석 기획 유형

• 빅데이터 분석은 대상과 방법에 따라 4가지로 분류 된다. (o : 알고있는, x : 모르는)
• 최적화 (Optimization) : 분석 대상 o, 방법 o
• 솔루션 (Solution) : 분석 대상 o, 방법 x
• 통찰 (Insight) : 분석 대상 x , 방법 o
• 발견(Discovery) : 분석 대상 x, 방법 x

분석 마스터 플랜 수립

• 중, 장기적 마스터 플랜 수립을 위해 분석 과제를 대상으로 다양한 기준 고려하여 우선순위 선정
• 우선 순위는 난이도가 쉬우면서 시급성이 높은 과제를 우선적으로 수행

데이터 분석 방안

• 빅데이터를 분석하기 위해 문제를 정의하고 답을 도출하기 위한 절차와 처리 방법
• 절차, 방법, 도구와 기법, 템플릿과 산출물
• 계층 ( 단계, 태스크, 스텝)
  • 단계 : 프로세스 그룹을 통한 산출물 생성, 기준선으로 설정 및 버전 관리 등 통제
  • 태스크 : 단계를 구성하는 단위 활동
  • 스텝 : 입력자료, 처리 및 도구, 출력 자료로 구성된 단위 프로세스

분석 방법론 절차

• 기준 분사평 (두음 암기)
• 분석 기획 : 프로젝트 기획
• 데이터 준비 : 데이터 정의 및 설계
• 데이터 분석 : 비즈니스 룰 확인 및 텍스트 분석
• 시스템 구현 : 설계 및 구현, 시스템 테스트 및 운영
• 평가 및 전개 : 모델 발전 계획 수립, 프로젝트 평가 보고

분석 방법론 유형

• KDD 방법론
  • 데이터 세트 선택, 데이터 전처리, 데이터 변환, 데이터 마이닝, 결과 평가
• CRISP-DM 분석 방법론
  • 단계, 일반화 태스크, 세분화 태스크, 프로세스 실행
• SEMMA 분석 방법론
  • 샘플링 - 탐색 - 수정 - 모델링 - 검증 (샘탐수모검)

분석 절차 및 작업 계획

• 빅데이터 분석은 문제 인식부터 연구 조사, 모형화, 자료수집 및 분석, 분석 결과 공유의 절차로 수행

• 두음 : 문연모수분공

  • 문제 인식 : 비즈니스 문제와 기회를 인식
  • 연구 조사 : 목적 달성을 위한 각종 문헌 조사
  • 모형화 : 분석 문제를 단순화하여 수치나 변수 사이의 관계로 정의
  • 자료 수집 : 데이터 수집, 변수 측정 과정
  • 자료 분석 : 수집된 자료에서 의미 찾기
  • 분석 결과 공유 : 변수 간의 관련성을 포함한 분석 결과 제시