DAY17. R 통계분석절차, 통계기본지식

통계분석절차

00. 연구조사

연구문제 선정 > 예비조사 > 연구모형 (통계분석 절차)

 

 

 

01. 가설 설정

가설? 어떤 명제를 사실이라고 추론

 

문제를 검증하기 위해 미리 세운 결론

주어진 연구 문제에 대한 예측적 해답 (=잠정적 진술)

통계분석을 통해 채택or기각 (=통계적 가설검정)

 

* 통계적 가설검정 : 본에서 얻은 정보를 통해 귀무가설or대립가설 중 어떤 가설이 옳고 그른지를 판단

ex) 주요 10개 도시를 대상으로 각각 n명씩 표본을 선정해 평균 키를 계산

 

가설 유형
귀무가설(영가설) : H0	대립가설(연구가설) : H1
부정적 형태로 가정된 가설 '두 변수 간 관계가 없다', '차이가 없다', '효과가 없다'	긍정적 형태로 가정된 가설 '두 변수 간 관계가 있다', '차이가 있다', '효과가 있다'

* 모든 가설은 귀무가설을 기준으로 가설 검정을 수행

귀무가설이 채택되지 않으면 기각 후 대립가설 수행

 

 

 

02. 유의수준(=신뢰수준) 설정

유의수준? 귀무가설 채택or기각의 기준(임계값)

 

알파(α)값 : 가설을 신뢰할 수 없는 확률(=경계값) ex)α=0.05

신뢰수준(1-α) : 가설을 신뢰할 수 있는 확률

* 통상적으로 신뢰수준은 0.95(95%)로 설정

* 알파α와 신뢰수준은 서로 반비례의 확률

 

유의수준 이내 : 귀무가설 채택

유의수준 이상 : 귀무가설 기각

 

 

유의수준 결정

<가설1>
"H0 : 신약 A는 A암 치료에 효과가 없다."

일반 사회과학 분야 : α=0.05 (5%)

표본 통계가 모수를 나타내는 허용 오차 5%

ex) 100마리 중에서 5마리 미만으로 치료 효과가 없는 경우 H0 기각

 

생명분야 : α=0.01 (1%)

허용 오차 1%

ex) 100마리 중에서 1마리 미만으로 치료 효과가 없는 경우 H0 기각

 

<가설2>
"H1 : 신약A는 암A 치료에 효과가 있다."
"H0 : 신약A는 암A 치료에 효과가 없다."

<문제>

생쥐 100마리를 대상으로 신약A를 투약한 결과, 효과가 있는 것으로 나타난 확률(=유의확률)은 P=0.03이 나왔다.

이때 α=5%에서 귀무가설은 채택되는가 기각되는가?

A. 100마리 중 3마리에게는 효과가 없었다. 귀무가설은 기각되고, 대립가설이 자동으로 채택된다.

 

 

유의수준(α) VS 유의확률(P)

P ≥ α : 귀무가설 채택 (대립가설 기각)
P < α : 귀무가설 기각 (대립가설 채택. 실제 통계과정에 의미가 있음.)

유의확률(P-value) : 검정통계량에 의해 구해진 값 (=귀무가설을 지지할 수 있는 확률)

유의수준(α) : P-value를 얼마나 유의하다고 결정할 수 있는 임계값

* 유의확률이 유의수준보다 적으면 ‘통계적으로 유의하다.’

 

H0 : ‘영양소별 효과의 차이는 없다’에서 유의수준이 α=0.05 일 때, 유의확률이 p-value=0.04가 나왔다면, p(0.04) < α(0.05) ➩ 귀무가설(영가설) 기각

영양소별 효과의 차이가 없을 확률이 낮기 때문에 대립가설 채택.

이때 ‘통계적으로 유의하다.’라고 해석, p<0.01이면 매우 유의하다.

 

p<0.05 수준이면 통계적으로 유의적인 차이를 보인다.

BUT! 단정적으로 표현할 수 없다. (P value값이 모집단이 아닌 표본에서 추출된 값이므로)

 

유의수준VS유의확률
유의수준(α)	유의확률(P-value)
가설 검정 시, 허용 가능한 1종 오류의 최대치 통상 0.05%	관측된 표본의 결과가 귀무가설을 지지하는 정도의 확률
연구자가 세운 귀무가설의 채택or기각 여부를 판단하는 기준	유의수준과 비교해서 귀무가설의 채택or기각 여부를 판단하는 확률

 

 

가설검정 오류

제1종 오류 : 귀무가설이 참인데, 귀무가설을 기각하는 오류

제2종 오류 : 귀무가설이 거짓이데, 귀무가설을 채택하는 오류

	귀무가설 참	귀무가설 거짓
귀무가설 채택	옳은 결정(1-α)	제2종 오류(β)
대립가설 채택	제1종 오류(α)	옳은 결정(1-β)

α : 제1종 오류 발생 확률 = 유의수준(α)

β : 제2종 오류 발생 확률

* 필수적으로 발생하는 오류이지만, 두 가지 모두가 작은 경우가 바람직함

* 제1종 오류와 제2종 오류는 서로 역의 관계

* 유의수준(=임계값,α)이 커지면 채택역이 좁아져 제1종 오류가 커지고, 반면 기각역이 늘어나므로 2종 오류는 작아진다.

 

[문제] 제1종 오류 VS 제2종 오류 중 더 치명적인 것은? ex) 코로나19 진단키트 오류
1) 바이러스가 있는데, 없다고 한 경우 : 2종 오류
2) 바이러스가 없는데, 있다고 한 경우 : 1종 오류 (귀무가설(부정어로 가정)했는데, 채택X)
정답 : 2종 오류

[문제] 어떤 모집단의 분포가 정규분포 N(50, 102)을 따르고, 아래와 같은 정규분포의 확률밀도함수 f(x)의 그래프에서 44~48 사이일 확률은?

z = (44-50)/10 #z = 0.6 = 분포표 0.2257
z2 = (48-50)/10 #z2 = -0.2 = 분포표 0.0793

#P(-0.6 < z < -0.2)
p = 0.2257-0.0793
p #0.1464

 

 

 

03. 측정도구 선정

가설에 나오는 변수를 무엇으로 측정할 것인가를 결정하는 단계

 

가설에 나오는 변수(변인) 추출

변수의 척도를 고려하여 측정도구 선정

 

 

 

04. 데이터 수집

데이터 수집(설문지 작성), 선정된 측정도구를 이용하여 설문 문항 작성 단계

 

조사응답자 대상 설문 실시 & 회수

정형/비정형 데이터 수집(DB, WEB, SNS 등 )

본 단계까지 완료된 경우

연구목적과 배경, 연구모형, 연구가설까지 끝난 상태

 

 

 

05. 데이터(설문지) 코딩

통계분석 프로그램(Excel, R, SPSS, SAS, Python) 데이터 입력

데이터 전처리(미 응답자, 잘못된 데이터 처리

 

 

 

06. 통계분석 수행

통계분석 프로그램(R, SPSS, SAS) 이용 분석 단계

* 통계분석 방법을 계획하지 않고 자료를 수집할 경우 실패 확률 높음

 

 

 

07. 결과분석 제시

연구목적과 연구가설에 대한 분석 및 가설검증 단계

 

인구통계학적 특성 반영

주요 변인에 대한 기술통계량 제시

연구가설에 대한 통계량 검정 및 해석

연구자 의견 기술(논문/보고서 작성)

 

 

 

 

 

 

통계기본지식

01. 통계학(Statistics)?

논리적 사고와 객관적인 사실에 의거, 확률 기반 인과관계 규명. 특히 연구목적에 의해 설정된 가설들에 대하여 분석결과가 어떤 결과를 뒷받침하고 있는지를 통계적 방법으로 검정

	기술(Descriptive) 통계학	추론(Inferential) 통계
기능	수집된 자료의 특성을 쉽게 파악하기 위해 자료를 정리 및 요약	모집단에서 추출한 표본의 정보를 이용하여 모집단의 특성을 과학적으로 추론하고, 결과에 대한 신뢰성 검정
방법	표, 그래프, 대푯값	회귀분석, T-검정, 분산분석

 

 

 

02. 확률분포

확률변수? 일정한 확률(값)을 갖는 변수, 확률 실험에서 얻어진 값

 

확률의 범위 : 0 <= P(X) <= 1 (0~1 사이의 임의값)

확률의 전체 합 : 1

확률의 전사건 : 확률변수는 나올 수 있는 모든 사건(확률값)을 포함한다.

확률의 배반사건 : 확률변수는 동시에 일어나지 않는다. ex.동전을 던졌을 때, 앞면과 뒷면이 동시에 나올 수는 없음

 

 

확률분포?

확률변수 X가 특정한 값을 가질 확률 분포

= 이항분포(막대 그래프)

정규분포, 카이제곱분포 = 연속형 변수 (곡선 그래프)

 

① 이산확률분포(이산확률변수)

확률변수 X가 가질 수 있는 값이 셀 수 있는 집합

ex. 주사위를 던졌을 때 나오는 수, 동전의 앞면/뒷면(이항분포)

 

② 연속확률분포(연속확률변수)

확률변수 X가 어떤 구간 안에 있는 모든 실수값을 갖는 분포

ex. 전체 남학생의 키, 몸무게(균등분포, 정규분포)

 

 

확률분포함수?

확률변수 X의 분포를 나타내는 함수(크기/면적, 모양)

 

① 확률질량함수(PMF : Probability Mess Function)

확률질량함수 f(𝑥) : 이산확률변수 X값의 분포를 나타낸 함수

이산확률변수 X를 인수로 갖는 함수

질량은 이산확률변수 X가 갖는 고유한 양

ex. 동전 1회 던져서 앞면이 나올 확률 : ½(0.5), 질량 : 앞면:1, 뒷면:0

 

② 확률밀도함수(PDF : Probability Density Function)

ex. 전국 남학생 키 확률밀도분포곡선

확률밀도함수 f(x) : 어떤 연속확률변수 X의 분포를 나타낸 함수

확률밀도분포곡선 : 계급의 크기를 무한히 작게 쪼개서 분포다각형을 그릴 때 그려지는 곡선(곡선의 면적 = 1)

 

적분 또는 z분포표 이용하여 확률을 계산

밀도(Density) : 단위 부피당 질량 (질량/부피)

f(x)의 크기는 '확률/부피'로 해석하여 '밀도'라는 용어 사용

 

 

 

03. 정규분포 (=가우스 분포)

가장 흔하게 나오는 연속확률분포의 일종

확률분포곡선(도수분포곡선)이 평균값을 중앙으로 하여 좌우대칭인 종 모양

 

변수 : 연속 변수

분포 : 평균을 중심으로 좌우대칭인 종 모양

대표값 : 평균 = 중앙값 = 최빈값

왜도/첨도 : 왜도=0, 첨도=0 (또는 3)

* 왜도 : 분포가 기울어진 방향과 정도 / 첨도 : 가장 뾰족한 부분

모양 : 표준편차에 의해 모양이 달라진다

위치 : 평균에 의해 위치가 달라진다

넓이 : 정규분포의 전체 면적은 1 (확률 = 100%)

* 평균과 표준편차에 의해서 정규분포 모양과 위치가 결정

 

 

정규분포 확률밀도함수

평균을 중심으로 좌우대칭인 종모양(bell shape)

확률변수 범위가 -∞, +∞)이므로 곡선이 수평축에 닿지 않는다.

곡선 아래 전체 면적(확률)=1

 

평균이 50, 편차가 5인 그래프를 정규분포식으로 표현하면 N(50, 5^2)

* 55~60 = 32~34 : 평균과 표준편차에 관계없이 면적 (확률)은 같다.

 

 

 

04. 표준정규분포 (=Z분포)

모든 정규분포를 평균 0과 표준편차 1로 표준화(정규분포 확률 계산 용이)

표준화 공식 Z = x-산술평균/표준편차

 

 

표준정규분포표(=Z분포표)?

적분 없이 Z값으로 특정 구간의 곡선 넓이(확률)를 구할 수 있다

평균이0, 표준편차가 1인 그래프의 0부터 1사이의 구간 면적 : 0.3413

* 평균을 중심으로 좌우대칭이므로 -1부터 0의 면적 또한 0.3413

 

평균 0을 기준으로 좌우 균등(50% + 50%)

평균 0에서 ±1 범위 내 전체의 68.26% 가 존재 : P(- 1 < μ < + 1) = 0.6826

평균 0에서 ±2 범위 내 전체의 95.44% 가 존재 : P(- 2 < μ < + 2) = 0.9544

평균 0에서 ±3 범위 내 전체의 99.74% 가 존재 : P(- 3 < μ < + 3) = 0.9974

 

* Z분포표 참고

P( 0 < Z < 1) = 0.3413

P( 0 < Z < 2) = 0.4772

P( 0 < Z < 3) = 0.4987

 

 

신뢰수준 VS Z값(신뢰구간)

95% 신뢰수준의 Z값 = P(-1.96 ≤ 𝒛 ≤ +𝟏𝟏. 𝟗𝟗𝟗𝟗)

신뢰구간 = 채택역

 

 

1) 정규분포 난수(확률변수) 생성

n = 1000 #임의의 난수 1000개 생성
x = rnorm(n, mean=100, sd=5) #정규분포식 : n(100,5^2)
hist(x) #확률변수 x에 대한 확률분포를 시각화

2) 정규성 검정

#귀무가설(H0) : 정규분포와 차이가 없다 (p-value를 근거로 채택)
#대립가설(H1) : 정규분포와 차이가 있다 (기각)
shapiro.test(x) #W = 0.99905, p-value = 0.8991 : 유의확률 >= 유의수준(알파=0.05)
#p-value(유의확률) >= 알파 : 채택
#p-value(유의확률) < 알파 : 기각

표준정규분포(z분포) 
모든 정규분포를 평균=0, 표준편차=1 로 표준화한 분포
표준화를 위해서 표준화 공식(z)를 이용
표준화공식(Z) = (X - mu) / sigma : 정규분포 -> 표준정규분포 *모평균mu

1) 표준화공식 : 표준정규분포 변환

mu = mean(x) #모평균
sigma = sd(x) #모표준편차

z = (x-mu) / sigma
z #표준정규분포로 표준화 된 난수 1000개

hist(z)

mean(z) #0의 근사값
sd(z) #1

2) 표준화함수

z2 = scale(x) #scale : 표준화공식= (X - mu) / sigma

hist(z2)
mean(z2)
sd(z2)

3) 표준편차 VS 확률분포
편차 -1 ~ +1 : 68.26%
편차 -1.96 ~ + 1.96 : 95% 신뢰수준과 신뢰구간(=채택역)
편차 -2 ~ +2 : 95.44%
편차 -3 ~ +3 : 99.74%

 

 

 

05. 모집단과 표본

① 전수조사

모집단내에 있는 모든 대상 조사 방법(ex.인구조사)

모집단의 특성 정확히 반영

시간과 비용이 많이 소요되는 단점

 

② 표본조사

모집단으로부터 추출된 표본을 대상으로 분석 실시 (ex.선거 여론조사, 마케팅조사, 안전성 검사, 의생명 임상실험)

모집단의 특성을 반영하지 못하는 표본은 무용지물

 

* 표본의 통계량으로 모수를 추정한다.

 

 

 

06. 추정과 검정

07. 표본의 확률분포