103. 파이널 프로젝트 (9)상관분석

데이터

수치형

- 이산형 : 셀 수 있는 자료 ex) 사고 건수

- 연속형 : 연속적 자료 ex) 키, 몸무게

주의! 기록된 값이 이산의 형태여도 실제로 관측 가능한 값은 연속적인 척도이므로 연속형 자료라고 한다

 

범주형

- 순위형 : 범주 간 순서에 의미가 있는 자료 ex) 평점, 선호도

- 명목형 : 범주 간 순서에 의미가 없는 자료 ex) 혈액형, 성별

주의! 범주형 자료를 수치형 자료처럼 표현할 수 있으나, 남자1 여자0일 때 어느 한쪽이 더 선호되거나 우위에 있는 것은 아니다.

 

 

상관분석?

2개 변수가 어떤 선형적 관계를 맺는지 분석하는 통계적 측도 (원인이 아님)

공분산 값 자체의 의미보다는 부호가 중요한 의미를 가짐 (공분산은 방향성만 파악)

산점도(scatter plot)와 상관계수(correlation coefficient)

 

01. 피어슨 상관계수
연속형 <-> 연속형 변수

두 변수 모두 정규성을 따른다는 가정이 꼭 필요합 =모수적 방법

02. 스피어만 순위 상관계수

연속형 <-> 연속형 변수
두 변수가 정규성을 따르지 않을 때 =비모수적 방법

* 순위형 변수에도 적용 가능

03. 켄달 상관계수

연속형 <-> 연속형 변수 (순위 비교하여 연관성 계산)

샘플 사이즈가 작거나 데이터의 동률이 높을 때 유용

 

04. 점 양분 상관계수
범주형 <-> 연속형 ex) 성별과 수학점수

 

05. 양분 상관계수

명명척도 <-> 연속형

명명척도 유목은 인위적 구분하는 이분변수 ex) 우열반 편성 여부와 중간고사 점수

 

06. 다연 상관계수

명명척도 <-> 연속형

명명척도의 유목은 비인위적이고, 3개 이상 ex)인종과 키

 

07. 파이 계수

범주형 <-> 범주형

비교 대상의 범주 대상이 2개인 경우 ex) 남여, OX

변수들의 비교 대상 개수 또한 명목형일 때 중요

 

08. 크래머 V 계수

범주형 <-> 범주형

비교 대상의 범주 대상이 3개 이상 3x)10대 20대 30대 / 단독 연립 복합 아파트

 

 

 

 

 

프로젝트 데이터 상관분석

0. 모듈 임포트

import pandas as pd
import matplotlib.pyplot as plt 
import seaborn as sns

1. 데이터

movie = pd.read_csv(r'경로\파일명.csv')

2. one-hot encoding 후 이어붙이기 (장르, 등급, 배급사, 분기, 주연 종류)

movie = pd.get_dummies(data = movie, columns = ['장르'], prefix = ['장르'])
movie = pd.get_dummies(data = movie, columns = ['등급'], prefix = ['등급'])
movie = pd.get_dummies(data = movie, columns = ['배급사'], prefix = ['배급사'])
movie = pd.get_dummies(data = movie, columns = ['분기'], prefix = ['분기'])
movie = pd.get_dummies(data = movie, columns = ['주연 종류'], prefix = ['주연 종류'])
movie #[99 rows x 47 columns]
movie.to_csv(r'경로\파일명', sep=',', na_rep='NaN', encoding='utf-8-sig', mode='a', header=True, index=True)

3. 상관분석

corr = movie.corr()

re_corr = corr['천만관객돌파여부']
re_corr
re_cor_sorted = re_corr.sort_values(ascending = False)

감독top40               0.863122
일일최대 스크린수             0.678723
주연top50               0.657531
영화 예고편 조회수            0.618806
구글T평균                 0.564805
일평균 뉴스 건수             0.534342
T평균                   0.511894
네이버 영화 평점             0.490033
일평균 TV 건수             0.482803
제작비                   0.431395
왓챠 평점                 0.300708
분기_3                  0.285714
주연 종류_남주 투탑           0.201481
주연 종류_여러 명            0.189667
등급_15                 0.156368
배급사_쇼박스               0.145135
배급사_CJ ENM            0.145049
배급사_CJ ENM            0.115728
장르_액션                 0.109524
주연 종류_여주 투탑           0.102041
배급사_이십세기폭스코리아(주)      0.102041
배급사_NEW               0.102041
장르_사극                 0.100000
:
배급사_메가박스중앙플러스엠       -0.219391
주연 종류_여주 원탑          -0.285714
분기_2                 -0.305396

 

 

4-1. 양의 상관관계

re_cor_sorted2 = re_cor_sorted['감독top40':'장르_사극']
re_cor_sorted2 #0.1 이상

4-2. 음의 상관관계

re_cor_sorted[-3:]

 

 

 

배운 점

1. 더미변수 생성방법
2. 더미 변수를 많이 넣으면 변수의 전체 수가 증가하고, 차원의 저주가 생길 우려가 있음.
3. 상관계수의 기준 (1~3이 약한, 3~7이 강한, 7~10이 매우 강한) 그러나 절대적인 것은 아니다

 

 

 

 

 

참고

더미변수 만들기 https://quickdata.tistory.com/64