113. ADsP 1과목 (2)데이터의 가치와 미래~(3)데이터 사이언스와 전략 인사이트

데이터의 가치와 미래
1. 빅데이터의 이해

빅데이터의 정의
(1) 3V로 요약되는 데이터 자체 특성 변화에 초점을 맞춘 좁은 범위의 정의

3V			4V
Volume (양) 데이터의 규모 측면	Variety (다양성) 데이터의 유형과 소스 측면	Velocity (속도) 데이터의 수집과 처리 측면	가치 시각화 정확성
센싱데이터 비정형데이터	정형, 비정형데이터 (영상, 사진)	원하는 데이터의 추출 및 분석속도

(2) 데이터 자체 뿐 아니라 처리, 분석 기술적 변화까지 포함되는 중간 범위의 정의
- 새로운 처리, 저장, 분석 기술 및 아키텍처
- 클라우드 컴퓨팅 활용

(3) 인재, 조직 변화까지 포함해 넓은 관점에서의 빅데이터에 대한 정의
- 새로운 인재 필요
- 데이터 중심 조직

 

빅데이터의 출현배경
빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존의 데이터, 처리방식, 다루는 사람과 조직 차원에서 일어나는 "변화"

	출현배경	내용
산업계	고객 데이터 축적	데이터에 숨어있는 가치를 발굴해 새로운 성장동력원으로의 기술 확보
학계	거대 데이터 활용, 과학 확산	기술 아키텍처 및 통계 도구가 발전
기술발전	관련 기술 발달	디지털화, 저장기술 발달, 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅

 
빅데이터의 출현에 따른 변화
- 기존 방식으로는 얻을 수 없었던 통찰 및 가치 창출. 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도
- 사용자 로그(log) 정보 (사용자가 인터넷에 접속한 시간과 정보, 검색기록 등)에 대한 프로파일링이 이루어지기 시작하면서 아이덴티티가 뚜렷해지고 사용자와 광고를 매칭하는 정확도도 향상

빅데이터에 거는 기대를 잘 표현한 비유

산업혁명의 석탄과 철	제조업 뿐 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회·경제·문화·생활 전반에 혁명적 변화를 가져올 것으로 기대
21세기의 원유	사회 저변을 떠받치는 에너지원인 원유처럼 경제 성장에 필요한 정보를 제공함으로써 산업 전반의 생산성을 한 단계 향상시키고, 기존에 없던 새로운 범주의 산업을 만들어낼 것으로 전망
렌즈	렌즈를 통해 현미경이 생물학 발전에 미쳤던 영향만큼이나 데이터가 산업 발전에 영향을 미칠 것으로 기대 ex) 구글의 Ngram Viewer
플랫폼	최근에는 다양한 서드파티 비즈니스에 빅데이터가 활용되면서 플랫폼 역할을 할 것으로 전망

빅데이터가 만들어 내는 본질적인 변화
1. 사전처리 ▶ 사후처리

- 필요한 정보만 수집하고 필요하지 않은 정보는 버리는 시스템에서 가능한 한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보를 찾아낸다.
2. 표본조사 ▶ 전수조사

- 표본을 조사하는 기존의 지식 발견 방식이 데이터 수집 비용의 감소와 클라우드 컴퓨팅 기술의 발전으로 인해 전수조사로 변화하게 된다. 이에 따라 샘플링이 주지 못하는 패턴이나 정보를 찾을 수 있게 된다.
3. 질 ▶ 양

- 데이터가 지속적으로 추가될 때 양질의 정보가 오류보다 많아져 전체적으로 좋은 결과 산출에 긍정적인 영향을 미친다는 추론에 바탕을 두고 변화된다.
4. 인과관계 ▶ 상관관계

- 상관관계를 통해 특정 현상의 발생 가능성이 포착되고, 그에 상응하는 행동을 하도록 추천되는 일이 점점 늘어나 데이터 기반의 상관관계 분석이 주는 인사이트가 인과관계에 의해 미래 예측을 점점 더 압도해 가는 시대가 도래하게 될 것으로 전망된다.

 

 

 

 

 

2. 빅데이터의 영향

기업	혁신, 경쟁력 제고, 생산성 향상
정부	환경탐색, 상황분석, 미래대응
개인	목적에 따라 활용
생활 전반의 스마트화

 

 

 

 

 

3. 비즈니스 모델

빅데이터 활용 기본 테크닉

테크닉	내용	예시
연관규칙학습	변수들 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법	커피를 구매하는 사람이 탄산음료를 더 많이 사는가?
유형분석(분류)	문서를 분류하거나 조직을 그룹으로 나눌 때, 혹은 온라인 수강생들을 특성에 따라 분류할 때 사용	이 사용자는 어떤 특성을 가진 집단에 속하는가?
유전자 알고리즘	최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 점진적으로 진화시켜 나가는 방법	최대 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 하는가?
기계 학습	훈련 데이터로부터 학습한 알려진 특성을 활용해 예측	기존의 시청 기록을 바탕으로 시청자가 현재 보유한 영화 중 어떤 것을 가장 보고 싶어할까?
회귀 분석	독립변수와 종속변수의 관계를 파악	구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가?
감정 분석	특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석	새로운 환불 정책에 대한 고객의 평가는 어떠한가?
소셜 네트워크 분석	특정인과 다른 사람이 몇 촌 정도의 관계인가를 파악할때 사용하고, 영향력있는 사람을 찾아낼 때 사용	고객들 간 관계망은 어떻게 구성되어 있나?

 

 

 

 

4. 위기 요인과 통제 방안

빅데이터 시대의 위기요인/통제방안

위기요인	통제방안	내용
사생활 침해	익명화, 난수화 '개인정보 사용자 책임'	빅데이터에 의한 사생활 침해 문제를 해결하기에는 부족한 측면이 많아 좀 더 포괄적인 해결책으로 동의제를 책임제로 바꾸는 방안을 제안
책임 원칙 훼손	결과 기반 책임 원칙 고수	데이터 기본 분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들은 예측 알고리즘의 희생양이 될 가능성도 올라간다. 책임 원칙 훼손 위기 요인에 대한 통제 방안으로는 기존의 책임 원칙을 좀 더 보강하고 강화
데이터 오용	알고리즘 접근권 제공 알고리즈미스트	빅데이터는 일어난 일에 대한 데이터에 의존하기 때문에 이를 바탕으로 미래를 예측하는 것은 적지 않은 정확도를 가질 수 있지만 항상 맞을 수는 없다. 또한 잘못된 지표를 사용하는 것도 빅데이터의 폐해가 될 수 있다. 대응책으로 알고리즘에 대한 접근권을 제공하여 알고리즘의 부당함을 반증할 수 있는 방법을 명시해 공개할 것을 주문

 

 

 

 

 

5. 미래의 빅데이터

빅데이터 활용의 3요소

데이터	모든 것의 데이터화
기술	진화하는 알고리즘, 인공지능
인력	데이터 사이언티스트, 알고리즈미스트

 

 

 

가치 창조를 위한 데이터 사이언스와 전략 인사이트
1. 빅데이터 분석과 전략 인사이트

빅데이터 회의론의 원인

(1) 투자효과를 거두지 못했던 부정적 학습효과 ex. 과거의 고객관계관리(CRM)

(2) 빅데이터 성공사례가 기존 분석 프로젝트를 포함해 놓은 것이 많음

-> 빅데이터 분석도 기존의 분석과 마찬가지로, 데이터에서 가치, 즉 통찰을 끌어내 성과를 창출하는 것이 관건이며, 단순히 빅데이터에 포커스를 두지 말고 분석을 통해 가치를 만드는 것에 집중해야 함.

 

'Big'이 핵심이 아니다
- 데이터는 크기의 이슈가 아니라, 거기에서 어떤 시각과 통찰을 얻을 수 있느냐의 문제가 중요하다. 무작정 "빅"한 데이터를 찾을 것이 아니라, 비즈니스의 핵심에 대해 보다 객관적이고 종합적인 통찰을 줄 수 있는 데이터를 찾는 것이 그 무엇보다 중요하다.
- 전략적 통찰력을 가지고 분석하고 핵심적인 비즈니스 이슈에 집중하여 데이터를 분석하고 차별적인 전략으로 기업을 운영하여야 한다. ex) 아메리칸항공, 사우스웨스트항공

 

 

일차원적 분석 VS 가치기반 분석

산업	일차원적 분석 애플리케이션
금융 서비스	신용점수 산정, 사기 탐지, 가격 책정, 프로그램트레이딩, 클레임분석, 고객 수익성 분석
소매업	판촉, 매대 관리, 수요 예측, 재고 보충, 가격 및 제조 최적화
제조업	공급사슬 최적화, 수요예측, 재고 보총, 보증서 분석, 맞춤형 상품 개발, 신상품 개발
운송업	일정 관리, 노선 배정, 수익 관리
헬스케어	약품 거래, 예비 진단, 질병 관리
병원	가격 책정, 고객 로열티, 수익 관리
에너지	트레이딩, 공급/수요 예측
커뮤니케이션	가격 계획 최적화, 고객 보유, 수요 예측, 생산능력 계획, 네트워크 최적화, 고객 수익성 관리
서비스	콜센터 직원관리, 서비스-수익 사슬 관리
정부	사기 탐지, 사례 관리, 범죄 방지, 수익 최적화
온라인	웹 매트릭스, 사이트 설계, 고객 추천
모든 사업	성과관리

- 일차적인 분석만으로는 큰 변화에 제대로 대응하거나 고객 환경의 변화를 파악하고 새로운 기회를 포착하기 어렵다.
- 일차원적인 분석을 통해 경험을 쌓고 분석의 활용 범위를 넓혀가며 전략적인 분석을 시도해야 한다.
- 사업성과를 견인하는 요소들과 차별화를 꾀할 기회에 대해 전략적 인사이트를 주는 가치기반 분석 단계로 나아가야 한다.

 

 

 

 

2. 전략 인사이트 도출을 위한 필요 역량

데이터 사이언스의 의미와 역할
- 데이터로부터 의미있는 정보를 추출해내는 학문

- 기존의 통계학과 달리 총제적 접근법을 사용
- 분석뿐 아니라 이를 효과적으로 구현하고 전달하는 과정까지를 포함한 포괄적 개념

- 정형 또는 비정형을 막론하고 인터넷, 휴대전화, 감시용 카메라 등에서 생성되는 숫자와 문자, 영상 정보 등 다양한 유형의 데이터를 대상

 

데이터 사이언스의 3대 구성요소

IT	Data Management	시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우스, 고성능 컴퓨팅
Analytics	분석적 영역	수학, 확률모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링
비즈니스 분석	비즈니스 컨설팅	커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화

 

데이터 사이언티스트의 요구 역량
(1) Hard Skill
- 빅데이터에 대한 이론적 지식 : 관련 기법에 대한 이해와 방법론 습득
- 분석 기술에 대한 숙련 : 최적의 분석 설계 및 노하우 축적

 

(2) Soft Skill
- 통찰력 있는 분석 : 창의적 사고, 호기심, 논리적 비판
- 설득력 있는 전달 : 스토리텔링, 시각화
- 다분야간 협력 : 커뮤니케이션

 

인문학의 부활

- 전략적 통찰을 주는 분석은 단순 통계나 데이터 처리와 관련된 지식 외에 스토리텔링, 커뮤니케이션, 창의력, 열정, 직관력, 비판적 시각, 대화능력 등 인문학적 요소가 필요

외부환경의 변화	내용	예
컨버전스 -> 디버전스	단순세계화에서 복잡한 세계화	규모의 경제, 세계화, 표준화, 이성화 -> 복잡한 세계, 다양성, 관계, 연결성, 창조성
생산 -> 서비스	비즈니스 중심이 제품 생산에서 서비스로 이동	고장나지 않는 제품의 생산 -> 뛰어난 서비스로 응대
생산 -> 시장참조	공급자 중심의 기술경쟁에서 무형자산의 경쟁으로 변화	생산에 관련된 기술 중심, 기술 중심의 대규모 투자 -> 현재 패러다임에 근거한 시장창조 현지 사회와 문화에 관한 지식

 

데이터 사이언티스트에게 요구되는 인문학적 사고의 특성과 역할

Information	무슨 일이 일어났는가? 리포팅	무슨일이 일어나고 있는가? 경고	무슨일이 일어날 것인가? 추출
Insight	어떻게, 왜 일어났는가? 모델링	차선 행동은 무엇인가? 권고	최악, 최선의 상황은? 예측, 최적화

 

인간을 바라보는 유형별 세가지 관점

- 타고난 성향의 관점 : 인간은 변하지 않는 존재로 상정

- 행동적 관점 : 한 사람의 행동을 지속적으로 관찰해 그 행동을 보고 사람을 판단하는 것이 더 정확하다는 관점

- 상황적 관점 : 특정 행동을 거듭하는 사람은 그 행동을 앞으로도 반복할 확률이 높다는 관점

 

 

 

 

 

3. 빅데이터 그리고 데이터 사이언스의 미래

가치 패러다임의 변화

디지털화(Digitalization) : 아날로그의 세상을 어떻게 효과적으로 디지털화 하는가

연결(Connection) : 디지털화 된 정보와 대상들이 서로 연결되어, 이 연결이 얼마나 효과적이고 효율적으로 제공해 주느냐가 성패를 가름, 사물인터넷의 성숙과 함께 앞으로는 연결이 더 증가하고 극도로 복잡해 질 것이다.

에이전시(Agency) : 복잡한 연결을 얼마나 효과적이고 믿을 만하게 관리해 주는가

 

데이터 사이언스의 한계

분석과정에서 가정 등 인간의 해석이 개입되는 단계를 반드시 거친다

분석결과가 의미하는 바는 사람에 따라 전혀 다른 해석과 결론을 내릴 수 있다

아무리 정량적인 분석이라도 모든 분서은 가정에 근거한다

-> 훌륭한 데이터 사이언티스트는 인문학자들처럼 모델의 능력에 대해 항상 의구심을 가지고, 가정들과 현실의 불일치에 대해 끊임없이 고찰하고, 분석모델이 예측할 수 없는 위험을 살피기 위해 현실세계를 쳐다봐야 한다.