68. NIPA AI온라인 교육 AI 실무 응용 과정(1) 자료형태, 데이터 전처리

AI 실무 응용 과정
[응용교육과정] 머신러닝 시작하기 (1) 자료형태, 데이터 전처리

머신러닝 : 명시적으로 프로그래밍을 하지 않고도 컴퓨터가 학습할 수 있는 능력을 갖게 하는 것
data -> case 1) action -> 명시적 프로그래밍
data -> train ... predict action -> 머신러닝

1) 지도학습 : 회귀분석, 분류
2) 비지도학습
* 지도학습 VS 비지도학습
예측해야할 결과에 대한 정답 데이터가 있는지 확인해보자.
ex. 사진의 물체를 예측하는 모델을 만들고 싶을 때, 지도학습 모델은 사진과 그에 대한 정답을 준다. 비지도학습은 사진을 주고, 정답을 주지 않는다.
3) 강화학습 : 데이터가 없어도 기계가 스스로 학습할 데이터를 생성하고, 그 데이터를 바탕으로 학습한다.
* 데이터 이해 > 데이터 처리 > 지도학습 모델

자료의 형태
자료의 형태 파악은 필수 과정.
데이터가 어떻게 구성되었나?
어떤 머신러닝 모델을 사용해야 할까?
데이터 전처리를 어떻게 해야할까?

수치형 자료(=양적 자료) : 수치로 측정 가능한 자료 ex.키, 몸무게, 시험점수, 나이
- 순위형 자료 : 범주 사이의 순서에 의미 없음 ex.학점
- 명목형 자료 : 범주 사이의 순서에 의미 없음 ex.혈액형

범주형 자료(=질적 자료) : 수치로 측정이 불가능한 자료. ex.성별, 지역, 혈액형 등
- 연속형 자료 : 연속적인 관측값을 가짐 ex.원주율, 시간
- 이산형 자료 : 셀 수 있는 관측값을 가짐 ex.뉴스 글자 수, 주문상품 개수

* 주의! 자료의 숫자 표현 가능 여부가 범주형/수치형을 나누지는 않는다.
ex. 남녀성별 구분 시, 남자를 1 여자를 0으로 표현하는 경우, 숫자로 표현되었으나 범주형 자료.
ex2. 나이 구분 시, 나이 값은 수치형 자료지만, 10~19세, 20~29세 등 나이대에 따라 구간화하면 범주형 자료.

 

 

 

 

 

범주형 자료

다수의 범주가 반복해서 관측
관측값의 크기보다 포함되는 범주에 관심

 

1) 각 범주에 속하는 관측값의 개수를 측정
2) 전체에서 차지하는 각 범주의 비율 파악
3) 효율적으로 범주 간 차이점을 비교 가능


도수분포표 (대표적)
범주형 자료에서 범주와 그 범주에 대응하는 도수, 상대도수를 나열해 표로 만든 것

도수 : 각 범주에 속하는 관측값의 개수. value_counts()
상대도수 : (=백분율) 도수를 자료의 전체 개수로 나눈 비율. value_counts()(normalize = True)
누적 상대 도수 : 첫번째 상대도수 + 다음 상대도수를 누적시켜 나간 값. 최종값이 1

 

막대 그래프

각 범주에서 도수의 크기를 막대로 그림. plt.bar()
y축 : 도수에 대한 눈금
x축 : 범주 나열

장점 : 범주가 가지는 도수의 크기 차이 비교가 쉬움
단점 : 범주가 차지하는 비율의 비교는 어려움

 

[연습문제]
drink.csv에서 참석한 사람 중 이름에 따른 도수를 계산한 코드를 입력하여 drink_freq 에 저장해보세요.

import pandas as pd 
import numpy as np

# drink 데이터
drink = pd.read_csv("drink.csv")

#1. 도수 계산
drink_freq = drink[drink['Attend']==1]['Name'].value_counts()

print("도수분포표")
print(drink_freq)

 

 

[연습문제2]
참석 비율(ratio)을 기준으로 막대그래프 막대의 크기를 다르게 하는 코드를 작성하여 출력하세요.

from elice_utils import EliceUtils
import matplotlib.pyplot as plt
elice_utils = EliceUtils()    

# 술자리 참석 상대도수 데이터 
labels = ['A', 'B', 'C', 'D', 'E']
ratio = [4,3,2,2,1]
    
#막대 그래프
fig, ax = plt.subplots()

#1. 막대 그래프를 만드는 코드를 작성해 주세요
#plt.bar(labels,ratio)

# 출력에 필요한 코드
plt.show()
fig.savefig("bar_plot.png")
elice_utils.send_image("bar_plot.png")

 

 

 

 

 

수치형 자료

수치로 구성되어 있어 통계값을 사용한 요약이 가능
시각적 자료로는 이론적 근거 제시가 쉽지 않다는 단점 보완
-> 많은 양의 자료를 의미있는 수치로 요약하여 대략적인 분포상태를 파악 가능

 

평균(=산술평균) mp.mean()
관측값들을 대표할 수 있는 통계값
수치형 자료의 통계값 중 가장 많이 사용되는 방법
모든 관측값의 합을 자료의 개수로 나눈 것
단점 : 극단적으로 큰 값과 작은 값의 영향을 많이 받는다

 

퍼진 정도의 측도
평균만으로 분포를 파악하기에 부족
평균 외에 분포가 퍼진 정도를 측도할 수치가 필요
분산, 표준편차 등을 퍼진 정도의 측도로 사용

*특징 : 평균이 모두 같지만 곡선이 다르다. WHY? 분산이 다르기 때문

 

 

분산 from statistics import variance variance()
자료가 얼마나 흩어졌는지 숫자로 표현
각 관측값이 자료의 평균으로부터 떨어진 정도

 

표준편차 from statistics import stdev stdev()
분산의 단위 = 관측값의 단위의 제곱 (관측값의 단위와 불일치)
분산의 양의 제곱근은 관측값의 단위가 일치
분산의 양의 제곱근을 표준편차라 하고, s로 표기한다

 

 

히스토그램 plt.hist()
수치형 자료를 일정한 범위를 갖는 범주로 나누고, 막대그래프와 같은 방식으로 그린다

자료의 분포를 알 수 있음
계급구간과 막대의 높이로 그림
도수, 상대도수를 막대 높이로 사용

* 범주 : 막대그래프 / 수치 : 히스토그램

 

 

[연습문제]
coffee에 저장된 카페인 함량 값들의 평균을 계산하여 cf_mean 에 저장해봅시다.

import numpy as np
coffee = np.array([202,177,121,148,89,121,137,158])

#1. 평균계산
cf_mean = np.mean(coffee)

#소수점 둘째 자리까지 반올림하여 출력합니다. 
print("Mean :", round(cf_mean,2))

[연습문제2]
coffee에 저장된 카페인 함량 값들의 표준편차를 계산해서 cf_std 에 저장해서 확인해봅시다.

from statistics import stdev
import numpy as np

coffee = np.array([202,177,121,148,89,121,137,158])

#1. 표준편차 계산
cf_std = stdev(coffee)

# 소수점 둘째 자리까지 반올림하여 출력합니다. 
print("Sample std.Dev : ", round(cf_std,2))

[연습문제3]
코드 입력창에 히스토그램을 그리는 코드를 입력해주세요.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from elice_utils import EliceUtils 
elice_utils = EliceUtils()

#카페인 데이터
coffee = np.array([202,177,121,148,89,121,137,158])
fig, ax = plt.subplots()

#1. 히스토그램을 그리는 코드를 작성해 주세요
plt.hist(coffee)

# 히스토그램을 출력합니다.
plt.show()
fig.savefig("hist_plot.png")
elice_utils.send_image("hist_plot.png")

 

 

 

 

 

데이터 전처리

머신러닝 과정 이해하기
1) 크롤링 or DB데이터를 통해 데이터 수집
2) 수집한 데이터를 분석, 머신러닝에 사용할 형태로 전처리
3) 머신러닝 모델을 사용해 데이터를 학습
4) 학습된 머신러닝 모델을 평가용 데이터를 사용해 평가

 

데이터 전처리의 역할
1) 머신러닝의 입력 형태로 데이터 변환 (=특성 엔지니어링)
2) 결측치 및 이상치를 처리하여 데이터 정제
3) 학습용 및 평가용 데이터 분리

 

왜 전처리가 필요한가?
대부분의 머신러닝 모델은 숫자 데이터를 입력받는다 (일반적으로 행렬 형태 입력)
실제 데이터는 다양한 형태(이미지, 자연어, 범주형, 시계열)로 존재한다 -> 머신러닝 모델이 이해할 수 없음
그러므로 전처리를 통해 머신러닝 모델이 이해할 수 있는 수치형 자료로 변환해야 한다.
결측값과 이상치가 있는 데이터는 머신러닝 모델의 성능이 떨어지거나, 아예 사용할 수 없다.
학습용과 평가용 데이터를 분리해서 객관성을 높일 수 있다.


범주형자료 전처리
범주형 데이터 : 몇 개의 범주로 나누어진 자료
범주의 크기가 의미없으면 명목형자료
크기가 의미있다면 순서형 자료

대표적인 범주형 자료 변환 방식
- 명목형 자료 : 수치 맵핑 방식, 더미 기법
- 순서형 자료 : 수치 맵핑 방식

1) 명목형 자료 변환 (수치 맵핑 변환)
일반적으로 범주를 0,1로 맵핑
(-1, 1), (0, 100) 등 다양한 케이스가 있지만 모델에 따라 성능이 달라질 수 있다.
3개 이상인 경우, 수치의 크기 간격을 같게 하여 수치 맵핑 ex. (0, 1, 2, 3,...)

2) 명목형 자료 변환 (더미dummy 기법)
각 범주를 0 or 1로 변환

3) 순서형 자료 변환하기 (수치 맵핑 변환)
수치에 맵핑하여 변환하지만, 수치 간 크기 차이는 커스텀 가능
크기 차이가 머신러닝 결과에 영향을 끼칠 수 있음

 

[연습문제]
성별(‘Sex’) 변수에서 male 데이터는 0, female 데이터는 1로 변환하여 titanic 데이터프레임에 저장해 봅시다.

import pandas as pd
from elice_utils import EliceUtils

elice_utils = EliceUtils()

# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')
print('변환 전: \n',titanic['Sex'].head())

#1. replace를 사용하여 male -> 0, female -> 1로 변환합니다.
titanic = titanic.replace({'male':0, 'female':1})

# 변환한 성별 데이터를 출력합니다.
print('\n변환 후: \n',titanic['Sex'].head())

[연습문제2]
Embarked의 S, Q, C데이터를 더미를 사용하여 변환하고 dummies에 저장해 봅시다.

import pandas as pd
from elice_utils import EliceUtils

elice_utils = EliceUtils()
   
# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')
print('변환 전: \n',titanic['Embarked'].head())

#1. get_dummies를 사용하여 변환합니다.
dummies = pd.get_dummies(titanic[['Embarked']])

# 변환한 Embarked 데이터를 출력합니다.
print('\n변환 후: \n',dummies.head())

수치형 자료 : 크기를 갖는 수치형 값으로 이루어진 데이터
머신러닝의 입력으로 바로 사용할 수 있으나, 모델 성능을 높이기 위해 데이터 변환 필요

수치형 자료 변환 방식
1) 스케일링 - 정규화, 표준화
2) 범주화

스케일링(Scaling)
변수 간 범위 및 크기를 변환하는 방식
변수(feature)간의 범위가 차이가 나면 사용

1) 정규화(Normalization)
변수 x를 정규화한 값 x'

2) 표준화
변수 x를 표준화한 값 x'

3) 범주화
변수의 값보다 범주가 중요한 경우 사용.

 

[연습문제]
normal 함수를 완성하고 Fare 데이터를 정규화하여 Fare에 저장합니다.

import pandas as pd
from elice_utils import EliceUtils

elice_utils = EliceUtils()

#1. 정규화를 수행하는 함수를 구현합니다.
def normal(data):
    data = (data-data.min())/(data.max()-data.min())
    return data

# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')
print('변환 전: \n',titanic['Fare'].head())

# normal 함수를 사용하여 정규화합니다.
Fare = normal(titanic['Fare'])

# 변환한 Fare 데이터를 출력합니다.
print('\n변환 후: \n',Fare.head())

[연습문제2]
standard 함수를 완성하고 Fare 데이터를 표준화하여 Fare에 저장합니다.

import pandas as pd
from elice_utils import EliceUtils

elice_utils = EliceUtils()

#1. 표준화를 수행하는 함수를 구현합니다.
def standard(data):
    data = (data-data.mean())/data.std()
    return data
    
# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')
print('변환 전: \n',titanic['Fare'].head())

# standard 함수를 사용하여 표준화합니다.
Fare = standard(titanic['Fare'])

# 변환한 Fare 데이터를 출력합니다.
print('\n변환 후: \n',Fare.head())

결측값(Missing data) 처리하기
일반적인 머신러닝 모델의 입력 값으로 결측값을 사용할 수 없다
따라서 Null, None, NaN 등의 결측값을 처리해야한다.

대표적인 결측치 처리 방식
1) 결측값이 존재하는 샘플 삭제
2) 결측값이 많이 존재하는 변수 삭제
3) 결측값을 다른 값(평균, 중앙값, 머신러닝 예측값)으로 대체


이상치(Outlier) 처리하기
이상치가 있으면 모델의 성능이 저하될 수 있다.
이상치는 일반적으로 전처리 과정에서 제거하며, 어떤 값이 이상치인지 판단하는 기준이 중요하다.

이상치 판단 기준 방법
1) 통계 지표(카이제곱검정, IQR지표 등)를 사용하여 판단
2) 데이터 분포를 보고 직접 판단
3) 머신러닝 기법을 사용하여 이상치 분류

* 데이터 분리가 필요한 이유?
머신러닝 모델을 평가하기 위해서는 학습에 사용하지 않은 평가용 데이터가 필요하다.
약 7:3~8:2비율로 학습용:평가용 데이터를 분리한다.


데이터 정제 및 분리하기
지도학습의 경우 feature데이터와 label데이터를 분리하여 저장한다.
Feature데이터 : labeldmf 예측하기 위한 입력값
Label데이터 : 예측해야 할 대상이 되는 데이터

 

[연습문제]
drop 을 사용하여 Cabin 변수를 삭제하고 titanic_1에 저장합니다.
titanic_1에서 dropna 를 사용하여 결측값이 존재하는 샘플을 삭제하고 titanic_2에 저장합니다.

import pandas as pd
from elice_utils import EliceUtils

elice_utils = EliceUtils()

    
# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')

# 변수 별 데이터 수를 확인하여 결측 값이 어디에 많은지 확인합니다.
print(titanic.info(),'\n')

#1. Cabin 변수를 제거합니다.
titanic_1 = titanic.drop(columns=['Cabin'])

# Cabin 변수를 제거 후 결측값이 어디에 남아 있는지 확인합니다.
print('Cabin 변수 제거')
print(titanic_1.info(),'\n')

#2. 결측값이 존재하는 샘플 제거합니다.
titanic_2 = titanic_1.dropna()

# 결측값이 존재하는지 확인합니다.
print('결측값이 존재하는 샘플 제거')
print(titanic_2.info())

[연습문제2]
Age 변수에서 outlier 에 있는 이상치를 제외한 데이터를 titanic_3에 저장합니다.

import pandas as pd
import numpy as np
from elice_utils import EliceUtils

elice_utils = EliceUtils()


# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')

# Cabin 변수를 제거합니다.
titanic_1 = titanic.drop(columns=['Cabin'])

# 결측값이 존재하는 샘플 제거합니다.
titanic_2 = titanic_1.dropna()

# (Age 값 - 내림 Age 값) 0 보다 크다면 소수점을 갖는 데이터로 분류합니다.
outlier = titanic_2[titanic_2['Age']-np.floor(titanic_2['Age']) > 0 ]['Age']

print('소수점을 갖는 Age 변수 이상치')
print(outlier)
print('이상치 처리 전 샘플 개수: %d' %(len(titanic_2)))
print('이상치 개수: %d' %(len(outlier)))

1. 이상치를 처리합니다.
titanic_3 = titanic_2[titanic_2['Age']-np.floor(titanic_2['Age']) == 0 ]
print('이상치 처리 후 샘플 개수: %d' %(len(titanic_3)))

[연습문제3]
titanic_3 에서 Survived 변수를 제거하여 X에 저장하고 Survived 변수의 데이터는 pandas의 Series 형태로 y에 저장합니다.
train_test_split 를 사용하여 데이터를 분리합니다. test_size는 0.3, random_state는 42로 설정합니다.

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from elice_utils import EliceUtils

elice_utils = EliceUtils()

# 데이터를 읽어옵니다.
titanic = pd.read_csv('./data/titanic.csv')

# Cabin 변수를 제거합니다.
titanic_1 = titanic.drop(columns=['Cabin'])

# 결측값이 존재하는 샘플 제거합니다.
titanic_2 = titanic_1.dropna()

# 이상치를 처리합니다.
titanic_3 = titanic_2[titanic_2['Age']-np.floor(titanic_2['Age']) == 0 ]
print('전체 샘플 데이터 개수: %d' %(len(titanic_3)))

#1. feature 데이터와 label 데이터를 분리합니다.
X = titanic_3.drop(columns=['Survived'])
y = titanic_3['Survived']
print('X 데이터 개수: %d' %(len(X)))
print('y 데이터 개수: %d' %(len(y)))

#2. 학습용, 평가용 데이터로 분리합니다.
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 분리한 데이터의 개수를 출력합니다.
print('학습용 데이터 개수: %d' %(len(X_train)))
print('평가용 데이터 개수: %d' %(len(X_test)))