DAY20. R 상관분석, 공분산

01. 상관관계 분석(Correlation Analysis)

변수 간 관련성 분석 방법

하나의 변수가 다른 변수와 관련성 분석

ex. 광고비와 매출액 사이의 관련성 등 분석

 

상관관계분석 중요사항

회귀분석 전 변수 간 관련성 분석(가설 검정 전 수행)

상관계수(피어슨(Pearson) R계수) 이용 관련성 유무

상관관계분석 척도 : 피어슨 상관계수(Pearson correlation coefficient) = r

 

상관관계 예시

양의 상관관계 : 비례관계. 지능지수와 성적, 키와 몸무게

음의 상관관계 : 반비례관계. 농작물 생산량과 가격, 고도와 기온

무의 상관관계 : 비례/반비례 없음. 스마트폰 이용 시간과 성적, 범죄율과 아이스크림 판매량

 

 

 

02. 피어슨 상관계수 R

피어슨 상관계수 R	상관관계 정도
±0.9 이상	매우 높은 상관관계
±0.9 ~ ±0.7	높은 상관관계
±0.7 ~ ±0.4	다소 높은 상관관계
±0.4 ~ ±0.2	낮은 상관관계
±0.2 미만	상관관계 없음

* 상관계수 r은 -1에서 +1까지의 값을 가진다. 또한 가장 높은 완전 상관관계의 상관계수는 1이고, 두 변수간에 전혀 상관관계가 없으면 상관계수는 0이다.

즉, 두 변수의 관련성이 클수록 상관계수는 1에 가까워진다.

두 변수의 관련성이 적을수록 상관계수는 0에 가까워진다.

 

상관관계 그래프

 

 

실습

product <- read.csv("C:/ITWILL/2_Rwork/data/product.csv")
head(product) # 친밀도 적절성 만족도(등간척도 - 5점 척도)

기술통계량

summary(product) # 요약통계량
sd(product$제품_친밀도); sd(product$제품_적절성); sd(product$제품_만족도)

변수 간의 상관관계 분석 
형식) cor(x,y, method) # x변수, y변수, method(pearson): 방법

1) 상관계수(coefficient of correlation) : 두 변량 X,Y 사이의 상관관계 정도를 나타내는 수치(계수)

cor(product$제품_친밀도, product$제품_적절성) # 0.4992086 -> 다소 높은 양의 상관관계
cor(product$제품_친밀도, product$제품_만족도) # 0.467145 -> 다소 높은 양의 상관관계

전체 변수 간 상관계수 보기

COR = cor(product, method="pearson") # 피어슨 상관계수 - default
str(COR) #num [1:3, 1:3] : matrix

특정변수를 기준으로 한 상관계수 결과에 대한 색인

COR['제품_만족도',]

방향성 있는 색생으로 표현 - 동일 색상으로 그룹화 표시 및 색의 농도 

install.packages("corrgram")   
library(corrgram)
corrgram(product) # 색상 적용 - 동일 색상으로 그룹화 표시
corrgram(product, upper.panel=panel.conf) # 수치(상관계수) 추가(위쪽)
corrgram(product, lower.panel=panel.conf) # 수치(상관계수) 추가(아래쪽)

차트에 곡선과 별표 추가

install.packages("PerformanceAnalytics") 
library(PerformanceAnalytics)

상관성,p값(*),정규분포 시각화 - 모수 검정 조건 

chart.Correlation(product, histogram=TRUE)

* spearman : 서열척도 대상 상관계수

install.packages('corrplot')
library(corrplot)

 

자동차 연비 관련 dataset

data("mtcars")
str(mtcars)

상관계수 행렬

COR = cor(mtcars)
COR['mpg',] #mpg:연비 vs cyl(실린더 수), disp(엔진크기), hp(마력)

corrplot(COR)
cor(mtcars$mpg, mtcars$wt) #-0.8676594

 

산점도

qplot (x, y, data)
library(ggplot2)

qplot(wt, mpg, data=mtcars, color=factor(cyl)) #cyl을 요인형(범주형)으로 인식

 

qplot(wt, mpg, data=mtcars, color=cyl) #cyl을 연속형(숫자형)으로 인식

[해석]중량이 적고, 실린더 수가 적은 경우 가장 연비가 좋다.

 

 

 

 

 

03. 공분산

공분산? 두 확률변수 간의 분산(평균에서 퍼짐 정도)를 나타내는 통계

확률변수 : X, Y -> X 표본평균(x̄), Y 표본평균(ȳ) - Cov(X,Y) = sum( (X-x̄) * (Y-ȳ) ) / n

 

 

 

 

 

04. 공분산 VS 상관계수

Cov(X, Y) > 0 : X가 증가할 때 Y도 증가 - Cov(X, Y) < 0 : X가 증가할 때 Y는 감소

Cov(X, Y) = 0 : 두 변수는 선형관계 아님(서로 독립적 관계)

값이 큰 변수에 영향을 받는다.(값 큰 변수가 상관성 높음) : 문제점

 

상관계수? 공분산을 각각의 표준편차로 나눈어 정규화한 통계

공분산 문제점 해결

부호는 공분산과 동일, 값은 절대값 1을 넘지 않음(-1 ~ 1)

Corr(X, Y) = Cov(X,Y) / std(X) * std(Y

 

 

(1) 공분산

공분산 식 : Cov(X,Y) = sum((X-xbar) * (Y-ybar)) / n

 

0.5463331 : 제품_적절성:X, 제품_만족도:Y
X = product$'제품_적절성'
Y = product$'제품_만족도'

Xbar = mean(X)
Ybar = mean(Y)

Cov_xy = mean((X-Xbar) * (Y-Ybar))
Cov_xy = sum((X-Xbar) * (Y-Ybar)) / length(X)
Cov_xy #0.5442637

(2) 상관계수
0.7668527 : X:제품_적절성, Y:제품_만족도

Cor_xy = Cov_xy / (sd(X) * sd(Y)) #-1~+1
Cor_xy #0.763948

05. scale이 다른 변수

getwd()
setwd("C:/ITWILL/2_Rwork/data")

score_iq = read.csv('score_iq.csv')
head(score_iq)

score VS iq(100단위) academy(1단위)
cov(score_iq[-1])

           score         iq    academy
score   42.968412 51.3375391  7.1199105
[문제점] 값이 큰 변수가 상관성이 높은 것으로 해석

cor(score_iq[-1])

           score          iq    academy
score    1.0000000  0.88222034  0.8962647
[해결] 그렇기 때문에 cor로 상관분석을 많이 함

 

 

<문제해결> 데이터 변환 (표준화, 정규화)
목적 : scale이 다른 경우, 범위를 일정하게 규격화
평균:0, 표준편차:1로 변환

1. 표준화 

데이터를 0을 중심으로 양쪽으로 데이터를 분포시키는 방법

각 데이터들을 평균을 기준으로 얼마나 떨여져 있는지를 나타내는 값으로 변환
표준화 공식 : z = x-mu / sigma 일때, z_score = scale(x=score_iq, center=T, scale=T)

summary(z_score) #평균(Mean):0.0000 
sd(z_score) #모든 변수의 표준편차:0.9972153 (1의 근사치)

str(z_score) #num [1:150, 1:6]:매트릭스 형식으로 반환

cov(z_score[,-1]) #sid제외한 정보 반환

            score          iq    academy
score    1.0000000  0.88222034  0.8962647


2. 정규화=min/max scaling

데이터를 특정 구간으로 바꾸는 척도법

데이터 군 내에서 특정 데이터가 가지는 위치를 볼 때 사용
정규화 공식 : x-min(x) / max(x) - min(x)

head(score_iq) #scaling 이전
    sid score  iq academy game tv
1 10001    90 140       2    1  0

nor_scale = function(x){
  nor = (x-min(x)) / (max(x) - min(x))
  return(nor)
} 

nor_score = apply(score_iq, 2, nor_scale) #적용할 데이터, 2:열단위, apply시킬 함수
head(nor_score)

             sid score        iq academy
[1,] 0.000000000  1.00 1.0000000    0.50

summary(nor_score) #num[1:150, 1:6]

공분산 행렬 조회

cov(nor_score[,-1])

              score           iq     academy
score    0.06874946  0.058671473  0.07119911