DAY28. R 앙상블모델

01. 앙상블(Ensemble) 모델

여러 개의 분류기(Classifier)를 생성하고, 각 예측 결과를 결합하여 예측력을 향상시키는 모델

단일 모델(Decision Tree)에 비해서 분류 성능이 우수 (과적합, 예측률 저하 해결)

 

 

단일 Tree vs 앙상블 모델

Decision tree	Random Forest (앙상블 모델 생성 패키지)
동일한 하나의 데이터 집합에서 한 개의 훈련용 데이터를 생성	동일한 하나의 데이터 집합에서 임의복원 샘플링을 통해 여러 개의 훈련용 데이터를 생성
한 번의 학습을 통해서 하나의 분류 트리 생성 및 목표변수 예측	여러 번의 학습을 통해 여러 개의 트리 생성하고, 이를 결합하여 최종적으로 목표변수 예측
생성된 분류모델을 검정데이터에 적용하여 목표변수 예측	여러 번의 학습을 통해 여러 개의 트리 생성하고, 이를 결합하여 최종적으로 목표변수 예측

 

 

앙상블(Ensemble) 알고리즘

종류 : 배깅(Bagging), 부스팅(Boosting)

앙상블 학습 모델 생성 절차 : 전체 데이터에서 훈련 집합 생성 > 각 훈련집합 모델 학습 > 학습된 모델 앙상블 도출

* 단, 모델 결과의 해석이 어렵고, 예측 시간이 많이 소요된다.

 

 

앙상블 학습 알고리즘 비교

	배깅(Bagging)	부스팅(Boosting)
공통점	전체 데이터 집합으로부터 복원 랜덤 샘플링(bootstrap) 으로 훈련 집합 생성
차이점	병렬학습 : 각 모델의 결과 를 조합하여 투표 결정	순차학습 : 현재 모델 가중치 -> 다음 모델 전달
특징	균일한 확률분포에 의해서 훈련 집합 생성	분류하기 어려운 훈련 집합 생성
강점	과대적합에 강함	높은 정확도
약점	특정 영역 정확도 낮음	Outlier 취약
R 패키지명	randomForest	XGboost

 

 

앙상블 학습 알고리즘

Bagging은 일반적 모델을 만드는 데 집중, Boosting은 맞추기 어려운 문제를 맞추는 데 초점을 맞춘 앙상블 학습 방법

 

 

 

 

 

02. 부트스트랩(Bootstrap)

앙상블 모델에서 원래의 데이터 셋으로부터 복원 추출방식으로 훈련 데이터 셋을 생성하는 기법

데이터의 양을 임의적으로 늘리고, 데이터 셋의 분포가 고르지 않을 때 고르게 만드는 효과

 

 

 

 

 

03. 배깅 알고리즘

Bagging : Bootstrap Aggregating(“주머니 통합”)

부트스트랩을 통해서 조금씩 서로 다른 훈련 데이터를 생성하여 모델 (훈련 된 트리)을 생성하고, 결과를 결합(aggregating) 시키는 방법

 

1. D개의 전체데이터가 있다.

2. 전체데이터에서 D개와 같은 갯수의 데이터를 복원추출하여 D1 (주머니) 생성

3. D1 데이터를 학습하여 트리모델 생성

4. 위 2번~3번으로 Dm(주머니) 생성, 트리모델 생성

5. m개 트리의 평균으로 y예측 - 양적 반응변수(회귀트리) : 각 트리 평균 예측 - 질적 반응변수(분류트리) : 각 트리 voting 예측

 

 

 

 

 

04. 부스팅(boosting) 알고리즘

잘못 분류된 객체들에 집중하여 새로운 분류규칙을 생성하는 단계를 반복하는 알고리즘(순차적 학습)

약한 예측모형들을 결합하여 강한 예측모형을 만드는 알고리즘

오 분류된 개체는 높은 가중치, 정 분류된 개체는 낮은 가중치를 적용하여 예측모형의 정확도를 향상시키기 위한 방법

 

 

 

 

 

05. RandomForest

특징

배깅 알고리즘과 유사함(앙상블 모델)

회귀분석, 분류분석 모두 가능

별도 튜닝(스케일 조정) 과정 없음

단일 tree 모델 단점 보완(성능, 과대적합)

대용량 데이터 셋으로 처리시간 증가(단점)

멀티코어 프로세스 이용 병렬처리 가능

 

차이점

배깅 : 샘플 복원 추출 시 모든 독립변수(설명변수) 사용

랜덤포레스트 : a개 독립변수(설명변수)만으로 복원 추출

설명변수 개수 : sqrt(설명변수 개수) (예: 15개 변수라면 4개 정도)

설명변수가 많을 경우 변수간 상관성이 높은 변수가 섞일 확률 제거

 

 

Random Forest 모델 생성 단계

1. 배깅을 이용하여 BootStrap 만든다. (중복을 허용한 data sample)

2. Bootstrap을 이용하여 Decision Tree를 학습하고 예측한다.

3. 1,2번을 충분히 반복하여 여러 개의 Decision Tree를 만들고 예측을 모은다.

* 분류성능과 노이즈에 강한 모델 (과대적합 예방)

4. 예측결과를 모아서 앙상블 모델의 결과를 도출한다.

* 회귀트리 : 예측들의 평균으로 결정

* 분류트리 : 다중 투표(Majority Vote)로 결정

 

 

Random Forest 사용 이유

1. 단일 의사결정트리는 과대적합(overfitting)의 위험이 큼

2. 배깅을 이용해 각 트리의 평균, 확률, 투표를 통해 목표변수 예측

3. 트리의 편향은 유지되고, 분산은 감소되기 때문에 높은 정확도와 과대적합 해결

4. 빅데이터 시스템에서 분산처리 시스템에 맞는 분류분석 기법

* 여러 개의 훈련 데이터를 추출하여 트리 생성, 결합을 통해 목표변수 예측의 구조가 분산처리시스템에 적합

 

 

Random Forest 모델 평가

OOB error(Out-of-Bag error)

OOB(Out-of-Bag) : Bootstrap을 통해서 랜덤으로 중복 추출할 경우 훈련셋에 포함되지 않은 자료

OOB error : 훈련셋(train)에 포함되지 않은 자료를 이용하여 각 분류기에서 예측하고 실제값과 비교하여 에러율을 계산한 평균으로 모델 평가하는 방식

 

 

Tree 개수와 설명변수 개수

1. bootstrap의 수 m은 어느 정도 커야할까?

m이 100이상이면 충분하지만 검정오차를 줄이기 위해서 더 큰 값을 사용할 수 있다. (400~500개)

 

2. 랜덤포리스트의 설명변수 개수 a는 얼마가 적당한가?

분류Tree : a = 설명변수 p의 제곱근

회귀Tree : a = 설명변수 p / 3 ✓ 변수간 상관성에 따라 최적의 a값이 다를 수 있다.

 

 

 

 

 

[실습1]

install.packages('randomForest')
library(randomForest) #randomForest()함수 제공 

data(iris)

1. 랜덤 포레스트 모델 생성 
형식) randomForest(y ~ x, data, ntree=500, mtry) -> y:종속변수 x:독립변수
y가 범주형이므로 분류tree 생성

model = randomForest(Species~., data=iris, #row데이터 전체를 이용
                     ntree=500, mtry=2, na.action=na.omit) #중복이 허용된 500개의 dataset  
model

ntree : 생성할 tree개수
mtry : 설명변수(독립변수) 개수 (분류트리일 경우 sqrt(p), 설명변수일 경우 p/3)
OOB estimate of  error rate: 4.67% -> 모델평가

 

sqrt(4) #설명변수 개수 : 2

aac = (50+47+46) / nrow(iris) #0.9466667
1-aac #OOB error : 0.04666667

2. model 정보 확인 

names(model) # 19컬럼 제공 

con = model$confusion
con

y 예측치

pred = model$predicted
pred

y 관측치(정답)

model$y

3. 중요 변수 생성  

model2 = randomForest(Species ~ ., data=iris, 
                      ntree=500, mtry=2, 
                      importance = T,
                      na.action=na.omit)
model2

y에 영향을 미치는 중요변수 imporance에 대한 정보 따로 보기

model2$importance

MeanDecreaseAccuracy : 분류 정확도 개선의 공헌도
[해석] Petal.Length, Petal.Width의 숫자가 비교적 크다 -> 정확도에 영향을 미치는 변수이다.

 

MeanDecreaseGini : 불순도 개선의 공헌도
[해석] Petal.Length, Petal.Width가 정확도에 영향을 미치는 변수이다.

varImpPlot(model2)

* 독립변수가 많을 때, 차원을 축소하지 않고 주요 변수 선택에 있어 중요 정보 제공

 

 

 

 

 

[실습2] 회귀트리(y변수 : 비율척도)

library(MASS)
data("Boston")
str(Boston)

#506 obs. of 14variables / 전부 숫자형->회귀tree에 적합
#crim : 도시 1인당 범죄율 
#zn : 25,000 평방피트를 초과하는 거주지역 비율
#indus : 비상업지역이 점유하고 있는 토지 비율  
#chas : 찰스강에 대한 더미변수(1:강의 경계 위치, 0:아닌 경우)
#nox : 10ppm 당 농축 일산화질소 
#rm : 주택 1가구당 평균 방의 개수 
#age : 1940년 이전에 건축된 소유주택 비율 
#dis : 5개 보스턴 직업센터까지의 접근성 지수  
#rad : 고속도로 접근성 지수 
#tax : 10,000 달러 당 재산세율 
#ptratio : 도시별 학생/교사 비율 
#black : 자치 도시별 흑인 비율 
#lstat : 하위계층 비율 
#medv(y) : 소유 주택가격 중앙값 (단위 : $1,000)

Boston$medv #scaling되지 않은 자료

p = 13 #13개의 독립변수
mtry = p / 3 
mtry #4.33333 -> 5로 독립변수 결정

boston_model <- randomForest(medv ~ ., data = Boston,
                             mtree = 500, mtry = 5,
                             importance = T,
                             na.action=na.omit) #결측치가 있을 때 어떻게 하겠는가? = 결측치 제거

boston_model

Mean of squared residuals 9.763377 : MSE(평균제곱오차)로 모델 평가 
% Var explained 88.43 : R2 score로 모델 평가

names(boston_model)

예측치 vs 관측치

y_pred = boston_model$predicted
y_true = boston_model$y

R2 score

R2_score = cor(y_true, y_pred)^2
R2_score #0.8887293

MSE = mean((y_true - y_pred)^2)
MSE #9.763377

* y가 scaling되지 않았을 때, R2 score방법으로 평가


중요변수 확인 

importance(boston_model)
varImpPlot(boston_model)

 

 

 

 

 

[실습3] 분류트리(y변수 : 범주형)

titanic = read.csv(file.choose()) # titanic3.csv
str(titanic)

titanic3.csv 변수 설명
'data.frame': 1309 obs. of 14 variables:
1.pclass : 1, 2, 3등석 정보를 각각 1, 2, 3으로 저장
2.survived : 생존 여부. survived(생존=1), dead(사망=0)
3.name : 이름(제외)
4.sex : 성별. female(여성), male(남성)
5.age : 나이
6.sibsp : 함께 탑승한 형제 또는 배우자의 수
7.parch : 함께 탑승한 부모 또는 자녀의 수
8.ticket : 티켓 번호(제외)
9.fare : 티켓 요금
10.cabin : 선실 번호(제외)
11.embarked : 탑승한 곳(제외) C(Cherbourg), Q(Queenstown), S(Southampton)
12.boat     : (제외)Factor w/ 28 levels "","1","10","11",..: 13 4 1 1 1 14 3 1 28 1 ...
13.body     : (제외)int  NA NA NA 135 NA NA NA NA NA 22 ...
14.home.dest: (제외)

삭제 칼럼 : 3, 8, 10~14

df = titanic[, -c(3, 8, 10:14)]
dim(df) #1309  7

sqrt(7) #2.645751 -> 3

숫자형 -> 요인형(더미변수) 변환

df$survived = factor(df$survived)

titanic_model = randomForest(survived ~ ., data = df,
                   mtree = 500, mtry = 3,
                   importance = T,
                   na.action=na.omit)

titanic_model #19.04

con = titanic_model$confusion

    0   1 class.error
0 548  70   0.1132686
1 129 298   0.3021077

acc = (con[1,1] + con[2,2]) / sum(con)
acc #0.8092477

중요변수 확인

importance(titanic_model)
varImpPlot(titanic_model)