DAY14. R EDA, 데이터 전처리

EDA란?

탐색적 데이터 분석(Exploratory Data Analysis)

수집 데이터를 다양한 각도에서 관찰하고 이해하는 과정

그래프나 통계적 방법으로 자료를 직관적으로 파악하는 과정

 

 

 

 

 

EDA 과정

1) 분석의 목적과 변수 특징 확인

셀 수 없는 변수(Categorical), 셀 수 있는 변수(Numerical)

 

2) 데이터 셋 확인 및 전처리

결측치, 이상치 확인 및 정제

 

3) 데이터 개별 변수 값 관찰

통계, 일반 시각화

 

4) 변수 간의 관계에 초점을 맞춰 변수 패턴 발견

상관관계, 고급 시각화

 

 

 

 

 

데이터셋 살펴보기

dataset # 데이터 셋 전체 보기

View(dataset) # 별도의 데이터 뷰어창에서 출력됨

head(dataset) # 앞부분 데이터 셋 6개

tail(dataset) # 끝부분 데이터 셋 6개

head(dataset, 10) # 앞부분 10개

names(dataset) # 변수명(컬럼)

attributes(dataset) # names(열이름), class, row.names(행이름)

str(dataset) # 데이터 구조 보기

 

 

 

 

 

척도(Scale)

변수에 값을 부여하는 방법

변수 측정 단위(응답자가 선택할 수 있는 질문 항목)

정성적-질적 척도(범주형 변수)		정량적-양적 척도(연속형 변수)
명목척도	이름이나 범주를 대표하는 의미 없는 숫자 ex) 남자/여자	등간척도	속성에 대한 각 수준 간의 간격이 동일 한 숫자(가감산 연산) ex) 연소득이 어디에 해당되는지
서열척도	측정 대상 간의 높고 낮음(서열), 순서에 대한 의미 없는 숫자 ex) 좋아하는 순위	비율척도	등간척도의 특성에 절대원점(0)이 존재 하고, 비율계산이 가능한 숫자(사칙연산) ex) 나이가 몇 세 인지

척도의 자세한 정의 : https://blog.naver.com/tlrror9496/222048149959

 

 

 

 

 

수집 데이터 이해

1. 탐색적 데이터 조회 
실습 데이터 읽어오기

setwd("C:/ITWILL/2_Rwork/data")
dataset <- read.csv("dataset.csv", header=TRUE) # 헤더가 있는 경우
#dataset.csv - 칼럼과 척도 관계

1) 데이터 조회
탐색적 데이터 분석을 위한 데이터 조회 

(1) 데이터 셋 구조

names(dataset) #변수명(컬럼)
attributes(dataset) #속성정보 : names(), 객체의 출처(class), 행의 이름 (row.names)
str(dataset) #데이터 구조보기
dim(dataset) #차원보기 : 300(행. 관측치) 7(열)
nrow(dataset) #관측치 수 : 300
ncol(dataset) #칼럼수 : 7
length(dataset) #칼럼수 : 7
length(dataset$resident) #300

(2) 데이터 셋 조회
전체 데이터 보기

dataset #=print(dataset), 콘솔 창에서 최대로 보여줄 수 있는 길이가 제한되어 있으므로 일부분만 출력됨  
View(dataset) #엑셀 시트형의 뷰어창 출력

칼럼명 포함 간단 보기 

head(dataset) #앞에서 6개 관측치
tail(dataset) #뒤에서 6개 관측지

(3) 칼럼 조회 
형식) dataframe$칼럼명 -> vector(1차원)반환   

dataset$age
dataset$resident
length(dataset$age) # data 수-300개

형식) dataframe["칼럼명"] -> data.frame(2차원)반환

dataset['age'] #데이터 프레임으로 출력
dataset["gender"] 
dataset["price"]
dataset[c("age", "gender", 'price')] #여러 개의 변수 지정 출력

형식) dataframe[색인] : 색인(index)으로 원소 위치 지정 

dataset[2] #두번째 컬럼 gender
dataset[6] #여섯번째 컬럼 price
dataset[3,] #3번째 관찰치(행) 전체
dataset[,3] #3번째 변수(열) 전체 (1차원 반환 = dataset$job)
dataset[3] #3번째 변수(열) 전체 (2차원 반환 = dataset['job']

dataset에서 2개 이상 칼럼 조회

names(dataset)

dataset['resident':'job'] #error. 칼럼명으로는 연속형 출력 불가
dataset[1:3] #색인 이용하여 연속형 출력 가능

dataset[c("job","price")]
dataset[c(2,6)] 

dataset[c(1,2,3)] 
dataset[c(1:3)] # = dataset[1:3]
dataset[c(2,4:6,3,1)] #2번, 4~6번, 3번, 1번 칼럼 순서대로 출력

 

 

 

 

 

결측치(NA) 발견과 처리

1) 결측치 발견(확인)

summary(dataset) #요약통계 조회. Na's항목이 결측치 개수
summary(dataset$price) #특정 변수 대상으로 요약통계 조회

(2) 특정 변수

table(is.na(dataset$price)) #빈도 조회. is.na:TURE값이 결측치 개수

(3) 그래프 이용 : 변수가 많은 경우

install.packages('VIM')
library(VIM) #aggr()함수 제공

aggr(dataset, prop=FALSE, numbers=TRUE)

* 왼쪽 그래프 : 각 변수의 NA의 개수
* 오른쪽 그래프 : 변수 조합에 의한 NA의 개수

2)결측치 처리 - 제거

(1)특정 칼럼 대상 결측치 제거

length(dataset$resident) #300개의 변수명
resident = na.omit(dataset$resident)
length(resident) #279개의 변수명 (21개의 결측치 제거)

(2)전체 칼럼 대상 결측치 제거 : 자료 손실 발생

dim(dataset) #300(관측치) 7(변수)
dataset2=na.omit(dataset)
dim(dataset2) #209개의 관측치 (21개의 결측치 제거)

 

3) 결측치 처리 - 상수(0)로 대체
형식) dataset$price = ifelse(조건, 참일 때 결측치 대체할 값, 거짓일 때)

x = (dataset$price) #벡터형 변수를 가지고 있는 객체x

summary(dataset$price) #NA's = 30개
dataset$price2 = ifelse(is.na(x), 0, x)

summary(dataset$price2) #NA's 값 없음

4) 결측치 처리 : 통계(평균, 중위수, 최빈수)로 대체

dataset$price3 = ifelse(is.na(x), median(x, na.rm=TRUE), x) #결측치를 중위수로 대체
summary(dataset$price3) #NA's 값 없음

dataset[c('price','price2','price3')] #결측치있음, 결측치=0, 결측치=중위값

5) 기계학습 대체 : 학습을 통해 구한 예측치로 결측치 대체
적용대상 : 완벽한 데이터셋(변수끼리 관련이 있는 ex.iris)

install.packages('mice')
library(mice)

30개 변수만 추출한 새로운 DF생성

iris_df=head(iris, 30)

결측치 추가

iris_df
dim(iris_df) #행30 열5

iris_df[1,1] = NA #1행 1열값 5.1을 NA로 변경
iris_df[3,3] = NA #3행 3열값 1.3 -> NA

help(mice) #mice(데이터셋, 반복학습 횟수)
model = mice(iris_df, m=5) #반복학습 5회 시킴
iris_df2 = complete(model) #model의 예측치 구하기

iris_df2 #[1,1]->5.0 [3,3]->1.9로 대체됨.

* 시스템 환경에 따라 예측 결과는 달라질 수 있음.

 

결측치를 임의의 값으로 대체하는 이유?
- 적은 결측치는 삭제 후에 데이터를 사용해도 되겠으나, 실제 데이터에서는 수많은 결측치가 존재한다.
수많은 결측치를 삭제하면 자료 손실이 발생하고, 해당 변수가 꼭 필요하거나 중요한 데이터인 경우가 다수이다.
- 데이터 분석에 정답은 없음! 여러 방법 중 최선의 방법을 찾는 것이 맞다.

 

 

 

 

 

3. 이상치 발견과 정제

이상치 : 정상 범주에서 크게 벗어난 값
이상치가 미치는 영향 : 회귀분석 선이 잘못 출력, 분석 결과 왜곡

1) 범주형(명목/서열) 변수

names(dataset)

이상치 발견

table(dataset$gender) #0과 5가 이상치. 1:남자 2:여자
pie(table(dataset$gender))

정제:이상치 제거

dataset = subset(dataset, gender==1 | gender==2) #성별이 남성 또는 여성인 새로운 데이터 셋 생성
pie(table(dataset$gender))

 

subset vs ifelse
subset : data.frame(2차원)
ifelse : vector(1차원)

 

2) 연속서형(등간/비율) 변수

dataset$price #비율척도

 

(1) 정상범위를 기준으로 한 이상치 처리
이상치 발견

plot(dataset$price) #산점도

 

summary(dataset$price) #요약통계

 

이상치 제거 (정상범주를 알고 있을 때. 정상범주 : 2~8)

dataset2 = subset(dataset, price>=2 & price<=8)
plot(dataset2$price)

dim(dataset2) #251행 7열. 52개의 이상치 제거되었음.

 

(2) 사분범위(IQR)이용 이상치 발견

* IQR : Inter Quartile Range = 제3사분위수(Q3) - 제1사분위수(Q1)

* 통계적으로 상․하위 0.3% 또는 사분범위(IQR) * 1.5를 벗어나는 경우

 

이상치 발견

boxplot(dataset$price)
boxplot(dataset$price)$stats #정상범주 값 확인. 2.1~7.9

 

이상치 대체 : 하한값/상한값 대체

dataset3 = na.omit(dataset) #결측치 제거
dim(dataset3) #206행 7열

(1) 최소값, 최대값 이용

dataset3$price = ifelse(dataset3$price<2.1, 2.1, dataset3$price) #하한값 대체
dataset3$price = ifelse(dataset3$price>7.9, 7.9, dataset3$price) #상한값 대체

boxplot(dataset3$price)

이상치 제거

dataset2 = subset(dataset, price>=2.1 & price<=7.9)

 

(2) 평균과 표준편차 이용 : 하한값/상한값 대체

dataset4 = na.omit(dataset)

avg = mean(dataset4$price) #5.27
std = sd(dataset4$price) #53.15
n = 3 #임계값



dataset4$price = ifelse(dataset4$price<2.1, minVal, dataset4$price) #하한값 대체
dataset4$price = ifelse(dataset4$price>7.9, maxVal, dataset4$price) #상한값 대체

boxplot(dataset4$price) #이상치 확인

 

4. 코딩변경 
데이터의 가독성, 척도 변경, 최초로 코딩된 내용을 변경하기 위해

1) 가독성을 위한 코딩변경 
형식) dataframe$새 칼럼명[부울린boolean언식] <- 변경값

* boolean : 참과 거짓을 나타내는 숫자 1/0을 이용하는 방식   

dataset2$resident2[dataset2$resident == 1] <-'1.서울특별시'
dataset2$resident2[dataset2$resident == 2] <-'2.인천광역시'
dataset2$resident2[dataset2$resident == 3] <-'3.대전광역시'
dataset2$resident2[dataset2$resident == 4] <-'4.대구광역시'
dataset2$resident2[dataset2$resident == 5] <-'5.시구군'

* 조건에 맞는 값만 추출해서 새로운 파생 변수로 생성

dataset2[c("resident","resident2")] # 2개만 지정

table(dataset2$job) #1,2,3은 범주(카테고리), 61, 87, 88(해당 카테고리의 빈도수)

dataset2$job2[dataset2$job == 1] <- '공무원'
dataset2$job2[dataset2$job == 2] <- '회사원'
dataset2$job2[dataset2$job == 3] <- '개인사업'

table(dataset2$job2) #개인사업, 공무원, 회사원 (내림차순 자동정렬)

2) 척도 변경 : 비율척도(회귀, 상관) -> 명목척도(카이제곱(교차)검정)
형식) dataframe$새칼럼명[부울린언식] = 변경값

dataset2$age #age는 비율척도. 연속성이 있고, 사칙연산이 가능함

dataset2$age2[dataset2$age <= 30] = '청년층'
dataset2$age2[dataset2$age > 30 & dataset2$age <= 55] = '중년층'
dataset2$age2[dataset2$age > 55] = '장년층'

table(dataset2$age2) #장년층 56, 중년층 110, 청년층 69

3) 역코딩 : 순서 변경 (1->5, 5->1)

survey = dataset2$survey
length(survey) #251
survey[1:5] #1,2,4,2,1

csurvey = 6-survey #vector=상수(scala)-1차원배열(vector)
length(csurvey)
csurvey[1:5] #5,4,2,4,5

역코딩 반영

dataset2$survey = csurvey

 

 

 

 

 

5. 정제 데이터 저장

getwd()
setwd("C:/ITWILL/2_Rwork/data")

(1) 데이터 저장

write.csv(dataset2, 'cleanData.csv', row.names=FALSE, quote=F) #행의 이름 저장하지 않음, 문자 저장하지 않음

(2) 데이터 불러오기

new_data = read.csv('cleanData.csv')
head(new_data)

 

6. 탐색적 분석을 위한 시각화
시각적인 방법으로 두 변수 간 상관관계 파악

new_data <- read.csv("new_data.csv", header=TRUE)
new_data 
dim(new_data) #  231  15
str(new_data)

1) 명목척도(범주/서열) vs 명목척도(범주/서열) 
거주지역과 성별 칼럼 시각화 (집단변수+집단변수=교차표 생성)

resident_gender = table(new_data$resident2, new_data$gender2)
resident_gender
gender_resident = table(new_data$gender2, new_data$resident2)
gender_resident

성별에 따른 거주지역 분포 현황 

barplot(resident_gender, beside=T, horiz=T,
        col = rainbow(5),
        legend = row.names(resident_gender),
        main = '성별에 따른 거주지역 분포 현황') 
row.names(resident_gender) # 행 이름

거주지역에 따른 성별 분포 현황 

barplot(gender_resident, beside=T, 
        col=rep(c(2, 4),5), horiz=T,
        legend=c("남자","여자"),
        main = '거주지역별 성별 분포 현황')

2) 비율척도(연속) vs 명목척도(범주/서열)
나이와 직업유형에 따른 시각화 

install.packages("lattice")  # chap08
library(lattice)
densityplot(~x, data=dataset) #밀도분포곡선

직업유형에 따른 나이 분포 현황   

densityplot( ~ age, data=new_data, groups = job2, #연속형 변수(age)를 집단변수(job2)와 그룹화
             plot.points=T, auto.key = T)
plot.points=T : 하단의 밀도 표시 여부, auto.key = T : 범례 표시 여부

3) 비율(연속) vs 명목(범주/서열) vs 명목(범주/서열)
* 구매비용(연속):x칼럼 , 성별(명목):조건, 직급(서열):그룹   

(1) 성별에 따른 직급별 구매비용 분석  

densityplot(~ price | factor(gender2), data=new_data, #factor(gender2):집단별(여자/남자) 격자 생성
            groups = position2, plot.points=T, auto.key = T) #한 격자 안에 5개의 직급에 대한 그룹화

* 조건(격자) : 성별, 그룹 : 직급 

(2) 직급에 따른 성별 구매비용 분석  

densityplot(~ price | factor(position2), data=new_data, 
            groups = gender2, plot.points=T, auto.key = T)

* 조건 : 직급(격자), 그룹 : 성별

 

 

 

 

 

 파생변수란?

기존 변수로 새로운 변수를 생성한 것

 

파생변수 생성

(1) 사칙연산
(2) 1:1로 만들기 : 기존변수(1) -> 새로운 파생변수(1)
(3) 1:N로 만들기 : 기존변수(1) -> 새로운 파생변수(N)

setwd('C:/ITWILL/2_Rwork/data')
user_data <- read.csv('user_data.csv', header = T)
head(user_data) # user_id age house_type resident job

1) 1:1 파생변수 생성 : 기존 칼럼 1개 -> 새로운 칼럼 1개
주택 유형 :  0, 아파트 유형 : 1(더미변수 생성) : 주택 유형 파악 가능  

summary(user_data$house_type) # NA확인 - 없음 
table(user_data$house_type)

dummy 생성 

house_type2 <- ifelse(user_data$house_type == 1 | user_data$house_type == 2, 0, 1)

결과 확인

house_type2[1:10]

파생변수 추가 

user_data$주거환경 <- house_type2
head(user_data)

2) 1:N 파생변수 생성 : 각 id(고객)에 대한 구매상품, 지불방법 나열 

pay_data <- read.csv('pay_data.csv', header = T)
head(pay_data,10) # user_id product_type pay_method  price
table(pay_data$product_type)

install.packages('reshape2')
library(reshape2) # dcast() 함수 제공

(1) 고객별 상품 유형에 따른 구매금액 합계 파생변수 생성   

product_price <- dcast(pay_data, user_id ~ product_type, sum, na.rm=T) 
head(product_price, 3) # 행(고객 id) 열(상품 타입), sum(price)

names(product_price) <- c('user_id','식료품(1)','생필품(2)','의류(3)','잡화(4)','기타(5)')
head(product_price, 3) # 칼럼명 수정 확인

★(2) 파생변수 추가(data.frame 합치기) : join★

install.packages('plyr')
library(plyr) # 패키지 로딩

user_pay_data <- join(user_data, product_price, by='user_id') #by='공통변수'
head(user_pay_data,10)

(3) 총 구매금액 파생변수 생성(사칙연산 : 지급방법 이용) 

user_pay_data$총구매금액 <- user_pay_data$`식료품(1)` +user_pay_data$`생필품(2)`+user_pay_data$`의류(3)` +
  user_pay_data$`잡화(4)` + user_pay_data$`기타(5)`
head(user_pay_data)

★dcast 함수 예★
형식) dcast(data, formula=y~x, funct)

1) vector생성

a = rep(1:2, 4) #1~2를 4번 반복 (원소의 길이 8)
b = rep(1:4, 2) #1~4를 2번 반복 (원소의 길이 8)
c = seq(10,80,10) #10~80까지 10씩 증가
d = seq(100,800,100)

2) DF생성

df = data.frame(a,b,c,d) #d변수 이용
df
#   a b  c   d
# 1 1 1 10 100
# 2 2 2 20 200
# 3 1 3 30 300
# 4 2 4 40 400
# 5 1 1 50 500
# 6 2 2 60 600
# 7 1 3 70 700
# 8 2 4 80 800

3) dcast 적용

dcast(df, a~b, sum)
#   a   1   2    3    4
# 1 1  600  0   1000  0
# 2 2   0  800   0   1200
#1개의 변수 -> 4개의 변수

dcast(df[1:3], a~b, sum) #c변수 이용