90. 딥러닝 기초 이론 (3)활성화함수

활성화 함수(Activation Function)

딥러닝 네트워크에서 노드에 입력된 값들을 비선형 함수에 통과시킨 후 다음 레이어로 전달하는데, 이 때 사용

비선형 함수를 사용하는 이유는 딥러닝 모델의 레이어 층을 깊게 가져갈 수 있기 때문

입력 데이터를 다음 레이어로 어떻게 출력하느냐를 결정함으로써 다른 뉴런의 활성화/비활성화를 결정 

 

- 망의 총합이 bias(임계값) 보다 크면 활성화(1), 작으면 비활성화(0)

- 활성함수의 유형에 따라서 출력 값 범위 결정 : (0 ~ 1), (-1 ~ 1), (-inf ~ inf)

 

사용 층	활성화 함수	용도
은닉층	ReLU (렐루)	기울기 소실 문제 경감, 다음 층으로 신호 전달
	Leaky ReLU (리키 렐루)
출력층	Sigmoid	이진 분류
	Softmax	다중 분류
	활성화함수 사용X	회귀

 

 

1. Sigmoid function

0~1 까지 연속적으로 변화하는 출력값을 갖기 때문에 가중치나 바이어스(bias) 변화 시 출력에 변화를 준다.

sigmoid()의 리턴 값이 확률 값이기 때문에 결과를 확률로 해석할 때 유용

AND, OR, XOR 연산을 다루는데 적합

ex) 0.5이상이면 1 연산, 현재 활성함수로 가장 많이 사용

 

Sigmoid 단점

Vanishing Gradient Problem : 음수 값을 0에 가깝게 표현해서 입력 값이 최종 레이어에서 미치는 영향이 적어지는 문제 발생

학습 속도 느림 :  함수의 중심이 0이 아님

 

 

2. Hyperbolic Tangent Function

쌍곡선 함수 중 하나로, Sigmoid 함수를 변형해서 얻을 수 있다.

중심점을 0으로 옮겨 sigmoid가 갖고 있던 최적화 과정에서 느려지는 문제를 해결했으나 Vanishing Gradient Problem는 해결하지 못함

 

 

★3. ReLU function (Rectified Linear Unit) 경사함수★

Sigmoid와 tanh가 갖는 Gradient Vanishing 문제를 해결

입력값이 0보다 작으면 0으로 출력, 0보다 크면 입력값 그대로 출력

Hidden layer에서 Sigmoid 함수를 적용시키면 계층이 증가할 수록 0에 수렴하는 값이 나타나므로 0보다 큰 값은 Relu함수를 이용한다.

sigmoid, tanh 함수보다 학습이 빠르고, 연산 비용이 적고, 구현이 매우 간단하다

현재 많이 사용되는 활성함수

 

ReLU 단점

0보다 작은 값들에서 뉴런이 죽을 수 있음

 

 

4. Leaky ReLU

ReLU가 갖는 Dying ReLU(뉴런이 죽는 현상) 을 해결하기 위해 나온 함수

0.01이 아니라 매우 작은 값이라면 무엇이든 사용 가능

x가 음수인 영역의 값에 대해 미분값이 0이 되지 않는다는 점을 제외하면 ReLU의 특성과 동일