DAY23. R 로지스틱회귀분석

로지스틱 회귀분석(Logistic regression analysis) = 로짓분석(Logit analysis)

회귀분석을 기반으로 한 분류분석 모형

두 개의 값만을 가지는 종속변수와 독립변수들 간의 인과관계를 로지스틱 함수를 이용하여 추정

 

01. Sigmoid Function

 

 

 

 

 

02. 로짓변환

 

 

 

 

 

03. 이항 로지스틱 회귀

 

 

 

 

 

04. 다항 로지스틱 회귀

 

 

 

 

 

05. 오분류표 (confusion matrix)

		예측치
		Positive	Negative
관측치 (실제값)	POS	TP (참 긍정)	FN (거짓 부정)
	NEG	FP (거짓 긍정)	TN (참 부정)

정분류율(Accuracy) = (TP+TN) / 전체관측치 = 분류정확도, 정확도

오분류율(Inaccuracy) = ( FN+FP) / 전체관측치

정확률(Precision) = TP / (TP + FP)

재현율(Recall) = TP / (TP + FN)

F 측정치(F measure) =2 x ((Precision x Recall) / (Precision + Recall))

 

 

 

 

 

6. ROC 그래프 (평가도구)

ROC(Receiver Operation Characteristic Curve) 곡선 & AUC값

ROC 곡선 : FPR과 TPR의 변화를 보는데 이용, 2진 분류모델 성능 평가

AUC(Area Under Curve=예측력)값은 ROC 곡선 면적을 구한 것으로 1에 가까울수록 성능이 좋다.

AUC 수치가 커지려면 FPR이 작은 상태에서 얼마나 큰 TPR을 얻는가?

가운데 직선에서 멀어지고 왼쪽 상단 모서리의 곡선이 직사각형에 가까울 수록 좋은 AUC 성능 수치를 얻는다.

AUC80%정도면 이런 ROC곡선

• TPR(True Positive Rate) : 실제 양성을 양성으로 예측할 비율 = TP / TP + FN

• FNR(False Negative Rate) : 실제 양성을 음성으로 예측할 비율 = FN / TP + FN

• TNR(True Negative Rate) : 실제 음성을 음성으로 예측할 비율 = TN / FP + TN

• FPR(False Positive Rate) : 실제 음성을 양성으로 예측할 비율 = FP / FP + TN

 

• 민감도(Sensitivity) = TPR

• 특이도(Specificity) = TNR

• FPR = 1 – 특이도

 

* 왼쪽 위 빈 공간이 오분류율

 

 

 

* 혼동행렬
          P(양성) N(음성)
P(양성)  TP      FN
N(음성)  FP      TN
* 관측치/예측치, 양성/음성 위치 변경 가능

2. 양성/음성 비율
민감도 = 진양성비율(TPR) : 양성(감염) -> 양성 예측비율 = TP / (TP/FN)
1-민감도 = 위양성비율(FNR) : 양성-> 음성 예측비율 = FN / (TP+FN)

특이도 = 진음성비율(TNR) : 음성(비감염) -> 음성 예측비율 = TN / (TN+FP)
1-특이도 = 위음성비율(FPR) : 음성 -> 양성 예측비율 = FN / (TN+FP)

3. 1종오류 / 2종오류
1종오류(α) : 귀무가설이 T지만 -> 귀무가설 기각 = 위음성비율(FPR)
2종오류(β) : 귀무가설을 기각해야하는데 -> 채택 = 위양성비율(FNR)
가정 : 부정적인 형태로 가설을 세움

4. ROC Curve
민감도(y축) vs 위음성비율(FPR) = 1-특이도(x)
해석방법 : 위음성비율이 작고, 민감도가 클수록 좋은 모형이다.

5. TP와 FP의 비율
TP비율 = TP / N
FP비율 = FP / N