회귀분석-회귀모형의 유의성 평가 ,F-통계량

앞서  회귀분석에서는 모델의 적합도를 평가하는 여러 지표가 있는데, 주로 사용하는 지표로는 결정계수(R-squared), 수정된 결정계수(Adjusted R-squared), F-통계량(F-statistic) 등이 있다고 하였습니다.
이 중 이번 포스트에서는 F-통계량에 대해 알아보도록 하겠습니다.

1. F-통계량 이란?

F-통계량은 회귀분석에서 사용되는 통계량으로서, 회귀모형의 유의성을 평가하는 데 사용됩니다.
F-통계량은 전체 모형과 전체를 축소한 회귀모형의 설명력 얼마나 차이가 나는지를 비교하여 유의성을 검정합니다.

F-통계량은
귀무가설(H0)은  "모든 회귀 계수가 0이다" 대립가설(H1)은 "적어도 하나의 회귀 계수가 0이 아니다"를 놓고 가설검정을 통해 유의성을 검정하는 방식입니다.
검정 결과, F-통계량이 크고 유의확률 즉, p-value가 작을수록 회귀모형이 통계적으로 유의미한 관계를 가지고 있다고 판단할 수 있습니다.

2. F-통계량 계산식

F-통계량 계산 방식은 다음과 같습니다.

F = (Explained Variance / Number of Predictors) / (Residual Variance / (Number of Observations - Number of Predictors - 1))

여기서, Explained Variance는 회귀모형에 의해 설명되는 종속 변수의 변동성을 나타내며, Number of Predictors는 독립 변수의 개수를 나타냅니다. Residual Variance는 잔차의 변동성을 나타내며, Number of Observations는 데이터의 총개수를 나타냅니다.

3. F-통계량의 해석

회귀분석을 통해 어떤 연구에서 다음과 같은 F-통계량이 얻어졌다고 가정해 봅시다.
F = 5.43

앞서 설명한 바와 같이
귀무가설(H0)은  "모든 회귀 계수가 0이다" 대립가설(H1)은 "적어도 하나의 회귀 계수가 0이 아니다"입니다.

유의확률(p-value)이 0.05보다 작으면 F-통계량은 통계적으로 유의미한 것으로 간주됩니다. 따라서, 유의확률이 0.05보다 작다면 우리는 귀무가설을 기각하고 대립가설을 채택합니다. 즉 회귀모형이 종속 변수에 대해 통계적으로 유의미한 설명력을 한다는 결과를 얻을 수 있습니다.

반대로, 유의확률이 0.05보다 크다면, 예를 들어 p-value = 0.12라면, 귀무가설을 기각할 수 없게 되고 "회귀모형은 종속 변수에 대해 통계적으로 유의미한 설명력을 가지고 있지 않다"라고 해석할 수 있습니다. 이는 회귀모형이 종속 변수의 변동성을 충분히 설명하지 못하는 것을 의미합니다.

따라서, F-통계량의 유의확률을 통해 회귀모형의 유의성을 판단할 수 있으며, 유의확률이 작을수록 회귀모형이 전체집단을 잘 설명한다고 해석할 수 있습니다.