(ADsP 정리) [2과목] (1장) 데이터 분석 기획의 이해

1️⃣ 분석기획 방향성 도출

 🔷 분석기획의 특징

  💡분석기획이란?

   - 실제 분서을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업이다.

   - 분석과제 및 프로젝트를 직접 수행하는 것은 아니지만, 어떠한 목표를 달성하기 위하여 어떠한 데이터를 가지고 어떤 방식으로 수행할 지에 대한 일련의 계획을 수립하는 작업이기 때문에 성공적인 분석결과를 도출하기 위한 중요한 사전 작업이다.

  💡데이터 사이언티스트의 역량

   - 데이터 사이언티스트는 1. 수학/통계학적 지식 및 2. 정보기술 뿐만 아니라 3. 해당 비즈니스에 대한 이해와 전문성 을 포함한 3가지 영역에 대한 고른 역량과 시각이 요구된다.

   - 분석을 기획한다는 것은 해당 문제 영역에 대한 전문성 역량 및 수학/통계학적 지식을 활용한 분석 역량과 분석의  도구인 데이터 및 프로그래밍 기술 역량에 대한 균형 잡힌 시각을 가지고 방향성 및 계획을 수집해야 한다는 것을 의미한다.

---

 🔷 분석 대상과 방법

분석 대상(What)과 분석 방법(How)에 따라 4가지로 나누어짐

4가지 유형을 넘나들면서 분석을 수행하고 결과를 도출하는 과정을 반복한다.

---

🔷 목표 시점 별 분석 기획 방안

"과제 중심적인 접근 방식" : 당면한 과제를 빠르게 해결하는 단기적인 접근방식

"장기적인 마스터 플랜 방식" : 지속적인 분석 내재화를 위한 중장기적인 접근방식

당면한 분석 주제의 해결 (과제 단위)		지속적 분석 문화 내재화 (마스터 플랜 단위)
Speed & Test	<1차 목표>	Accuracy & Deploy
Quick-Win	<과제의 유형="">	Long Term View
Problem Solving	<접근 방식="">	Problem Definition

 -  의미있는 분석을 위해서는 분석 기술, IT 및 프로그래밍, 분석 주제에 대한 도메인 전문성, 의사소통이 중요하고 분석대상 및 방식에 따른 다양한 분석 주제를 과제 단위 혹은 마스터 플랜 단위로 도출 할 수 있어야 한다.

---

🔷 분석 기획시 고려사항

 💡 가용한 데이터(Available Data)  : 분석을 위한 데이터 확보가 필수적이다. 데이터 유형에 따라 적용가능한 솔루션 및 분석 방법이 다르기 때문에 데이터 유형에 대한 분석이 선행적으로 이루어져야 한다.

 💡 적절한 유스케이스(Proper Use-Case) : 유사 분석 시나리오 및 솔루션이 있다면 이를 최대한 활용하는 것이 중요하다.

 💡 장애 요소들에 대한 사전 계획 수립이 필요(Low Barrier of Execution) : 정확도를 올리기 위한 비용 사전 고려, 조직의 역량 내재화를 위한 충분하고 계속적인 교육 및 활용 방안 등의 변화관리(Change Management)가 고려되어야 한다.

---

2️⃣ 분석 방법론

 🔷 개요

    💡 데이터 분석이 효과적으로 기업 내에 정착하기 위해서는 이를 체계화한 절차와 방법이 정리된 데이터 분석 방법론의 수립이 필수적이다.

    💡 프로젝트는 개인의 역량이나 조직의 우연한 성공에 기인해서는 안 되고, 일정한 수준의 품질을 갖춘 산출물과 프로젝트의 성공 가능성을 확보하고 제시할 수 있어야 한다.

    💡 방법론은 상세한 절차, 방법, 도구와 기법, 템플릿과 산출물로 구성되어 어느 정도의 지식만 있으면 활용이 가능해야 한다.

 🔷 데이터 기반 의사결정의 필요성

    💡 경험과 감에 따른 의사결정 -> 데이터 기반의 의사결정

    💡 기업의 합리적 의사결정을 가로막는 장애요소 : 고정 관념, 편향된 생각, 프레이밍 효과

 🔷 방법론의 적용 업무의 특성에 따른 모델

    💡 폭포수 모델

    💡 프로토타입 모델

    💡 나선형 모델

---

 🔷 KDD 분석 방법론

    💡 KDD는 프로파일링 기술을 기반으로 데이터로부터 통계적 패턴이나 지식을 찾기 위해 활용할 수 있도록 체계적으로 정리한 데이터 마이닝 프로세스이다.

    💡 데이터셋 선택 -> 데이터 전처리 -> 데이터 변환 -> 데이터 마이닝 -> 데이터 마이닝 결과 평가

---

 🔷 CRISP-DM 분석 방법론

    💡 CRISP-DM은 주요한 5개의 업채들이 주도하였따. CRISP-DM은 계층적  프로세스 모델로써 6단계로 구성된다.

업무 이해	비즈니스 관점 프로젝트의 목적과 요구사항을 이해하기 위한 단계 도메인 지식을 데이터 분석을 위한 문제 정의로 변ㄴ경하고 초기 프로젝트 계획을 수립하는 단계 업무 목적 파악 -> 상황 파악 -> 데이터 마이닝 목표 설정 -> 프로젝트 계획 수립
데이터 이해	분석을 위한 데이터 수집, 데이터 속성 이해를 위한 과정 데이터 품질에 대한 문제점 식별 및 숨겨져 있는 인사이트를 발견하는 단계 초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인
데이터 준비	KDD의 Transformation == CRISP-DM 분석 방법론의 데이터준비 분석을 위해 수집된 데이터에서 분석 기법에 적합한 데이터셋을 편성하는 단계 많은 시간이 소요될 수 있음 분석용 데이터셋 선택, 데이터 정제, 데이터 통합, 데이터 포맷팅
모델링	다양한 모델링 기법과 알고리즘을 선택 모델링 과정에서 사용되는 파라미터를 최적화해 나가는 단계 모델링 단계를 통해 찾아낸 모델은 테스트용 프로세스와 데이터셋으로 평가하여 모델 과적합등의 문제를 발견하고 대응방안 마련 데이터 분석 방법론, 머신러닝을 이용한 수행 모델을 만들거나 데이터를 분할하는 부분 모델링 기법 선택, 모델링 작성, 모델 평가
평가	모델링 단계에서 얻은 모델이 프로젝트의 목적에 부합하는지 평가 데이터 마이닝 결과를 수용할 것인지 최종적으로 판단하는 과정 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가
전개	완성된 모델을 실제 업무에 적용하기 위한 계획 수립 전개 계획 수립, 모니터링과 유지보수 계획 수립, 프로젝트 종료 보고서 작성, 프로젝트 리뷰

---

 🔷 빅데이터 분석 방법론(5단계)

분석기획 -> 데이터 준비 -> 데이터 분석 -> 시스템 구현 -> 평가 및 전개 

---

3️⃣ 분석 과제 발굴

 🔷 분석과제 발굴 방법론

분석 과제는 풀어야 할 다양한 문제를 데이터 분석 문제로 변화한 후 관계자들이 이해하고 프로젝트로 수행할 수 있는 과제 정의서 형태로 도출된다.

    💡 하향식 접근 방법 ( 문제가 확실할 때 사용 ) - 수렴

    💡 상향식 접근 방법 ( 문제의 정의 자체가 어려운 경우 ) - 발산

    💡 디자인 사고 ( 중요한 의사결정식 상향식과 하향식을 반복적으로 사용 )

 🔷 하향식 접근 방식

    1단계 문제 탐색

 - 비즈니스 모델 기반 문제 탐색 (업무, 제품, 고객, 지원 인프라, 규제와 감사)
 - 외부 참조 모델 기반 문제 탐색 (유사/동종 사례 벤치마킹, Quick & Easy 방식)

 - 분석 기회 발굴의 범위 확장 (경쟁자 확대 관점 : 대체재, 경쟁자, 신규진입자)

 - 분석 유즈케이스 

    2단계 문제 정의 - 달성을 위해 필요한 데이터 및 기법을 정의하기 위한 데이터 분석 문제로 변환을 수행

    3단계 해결 방안 탐색

    4단계 타당성 검토

 🔷 상향식 접근 방식

 - 비지도 학습 (input, output 제시 X)

 1단계 프로세스 분류

 2단계 프로세스 흐름 분석

 3단계 분석요건 식별

 4단계 분석요건 정의

 

---

4️⃣ 분석 프로젝트 관리 방안

 🔷 분석 과제 특성

 - Data Size

 - Data Complexity

 - Speed

 - Analytic Complexity

 - Accuracy & Precision

 🔷 분석 프로젝트의 영역별 주요 관리 항목

 - 시간

 - 범위

 - 품질

 - 원가

 - 통합

 - 이해관계자

 - 자원

 - 리스크

 - 조달

 - 의사소통

---

📢  이 글은 ADsP 데이터 분석 준전문가 (저자 윤종식) (속칭 민트책)를 바탕으로 정리한 내용입니다.

 

📢  해당 글은 교육적인 목적으로 작성되었으며 영리 목적이 없음을 밝힙니다. 법률적인 문제가 있을 경우 메일을 보내주시면 수정하도록 하겠습니다.

 

📢 이메일 : do5431@naver.com