89. 딥러닝 기초 이론 (2)회귀와 분류

회귀(Regression)

회귀 : 가격이나 확률처럼 연속된 실숫값을 정확히 예측하는 것을 목적

ex) 시계열 데이터를 이용한 주가, 생산량, 지수 예측
numpy, tensorflow, sklearn 라이브러리 사용

 

1. Linear Regression (선형 회귀)
선형적인 경향을 가진 데이터 전체를 나타낼 수 있는 2차원의 직선을 예측하는 것

"많은 점(학습데이터)들을 주고, 이 점들을 모두 관통할 수 있다고 할 수 있는 가장 합리적인 직선을 찾아라!"

 

종속 변수(dependent variable) y와 하나 이상의 독립 변수(independent variavle) x사이의 관계 모델링

y = wx + b

독립변수 x가 1개라면 단순 선형 회귀

from sklearn.linear_model import LinearRegression
tf.Varaible(tf.random_normal

 

 

2. Multiple Linear Regression (다중 선형 회귀)

다수의 x로부터 y를 예측

선형회귀와 동일한데, 2차원에서 N차원으로 늘어남

ex) 독립 변수 x의 개수가 3개일 때의 수식은 H(x) = w1x1 + w2x2 + w3x3 + b

* w : 가중치(weight) =  기울기, b : 편향(bias) = 절편

 

3. Polynomial Regression (다항 회귀)
선형회귀의 직선을 2차 함수 이상으로 예측하는 것

from sklearn.preprocessing import PolynomialFeatures

 

 

 

 

 

분류(Classification)

데이터가 어느 범주(Category)에 속하는지를 판단하는 방법

이항 분류(Binary Classification)
2개의 Label을 갖는 데이터가 들어왔을 때, 0 또는 1로 분류를 하는 것

ex) 메일을 보고나서 정상 메일, 스팸 메일인지를 판단하는 문제
활성화 함수는 주로 Sigmoid 함수를 사용 (Sigmoid 함수가 0 또는 1로 출력을 하기 때문)
* Sigmoid 대신 Softmax를 사용하는 것도 가능

다항 분류(Multi Classification)
3개 이상의 Label을 갖는 데이터에 대한 분류 작업

* 로지스틱 회귀를 일종의 인공 신경망 구조로 해석해도 무방
딥러닝 네트워크에서 활성화 함수는 주로 Softmax를 사용

 

 

 

 

 

 

가설(Hypothesis) 세우기

선형 회귀는 주어진 데이터로부터 y와 x의 관계를 가장 잘 나타내는 직선을 그리는 일
어떤 직선인지 결정하는 것은 w와 b의 값이므로 선형 회귀에서 해야할 일은 결국 적절한 w와 b를 찾아내는 일


비용 함수(Cost function)

= 목적함수(Objective function), 손실함수(Loss function) * 완벽하게 같은 의미는 아니나 혼용해서 사용하기도 함

머신 러닝은 w와 b를 찾기 위해서 실제값과 가설로부터 얻은 예측값의 오차를 계산하는 식을 세우고, 이 식의 값을 최소화하는 최적의 w와 b를 찾아냄

- 목적 함수
함수의 값을 최소화하거나, 최대화하거나 하는 목적을 가진 함수

- 비용 함수(Cost function)  = 손실 함수
함수의 값을 최소화하는 목적을 가진 함수

 

 

크로스엔트로피 (categorical crossentropy)

Squared Loss와 더불어 양대 손실 함수 (신경망 출력을 확률로 간주할 수 있는 경우에 사용되는 손실 함수)

q에 대하여 알지 못하는 상태에서, 모델링을 통하여 구한 분포인 p를 통하여 q를 예측
실제값과 예측값이 맞는 경우에는 0으로 수렴, 값이 틀릴경우에는 값이 커지므로 실제 값과 예측 값의 차이를 줄이기 위한 엔트로피

범주형 크로스 엔트로피(categorical cross entropy, CCE) : 모든 범주에 대한 크로스 엔트로피의 평균을 내는 것

 

* 엔트로피
불확실성의 척도 (어떤 데이터가 나올지 예측하기 어려운 경우)
엔트로피가 높다 = 정보가 많고, 확률이 낮다


평균 제곱 오차(MSE)

잔차들의 제곱을 최소화하는 알고리즘 *잔차(Residual) = y-y_pred : 하나의 함수와 각 데이터의 차

단순히 실제값과 예측값에 대한 오차를 표현하면 되는 것이 아니라, 예측값의 오차를 줄이는 일에 최적화 된 식이어야 함
오차의 절대적인 크기를 구할 수가 없으므로 모든 오차를 제곱하여 더하는 방법을 사용

 

 

문제 유형에 따라 대표적으로 사용되는 손실함수

손실함수	용도
이진 크로스 엔트로피	이진 분류
범주형 크로스 엔트로피	다중 분류
평균 제곱 오차	회귀

 

 

옵티마이저(Optimizer)

비용 함수를 최소화하는 매개 변수인 w와 b을 찾기 위한 작업을 수행할 때 사용되는 알고리즘이 옵티마이저(Optimizer) = 최적화 알고리즘
훈련(training) 또는 학습(learning) : 머신러닝에서 옵티마이저를 통해 적절한 w와 b를 찾아내는 과정

옵티마이저	특징
확률적 경사하강법 (Stochastic Gradient Descent)	몇몇 데이터 샘플을 무작위 추출하여 일부만 경사 하강법을 적용, 학습 속도 개선
RMSProp	기울기에 따라 학습률 조정
MoMentum	관성 개념 추가
Adam	RMSProp + MoMentum

 

경사하강법(Gradient Descent)

w가 임의의 값을 가지게 되는 네 가지의 경우에 대해서, 그래프 상으로 접선의 기울기를 표현

함수 값이 낮아지는 방향으로 독립 변수 값을 변형시켜가는 방법 (최소 함수 값을 갖도록 하는 독립 변수 값을 찾는 것이 목적)

 

 

 

 

 

 

참고 https://angeloyeo.github.io/2020/08/16/gradient_descent.html

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=baek2sm&logNo=222010223220