유의수준과 제1종 오류, 제2종 오류

유의수준(significance level)은 통계학에서 통계적 검정을 수행할 때 사용되는 중요한 개념입니다. 통계적 검정 방법은 지난 포스팅을 참고해주세요. 이번 포스팅에서는 유의수준의 의미를 정확히 알아보고 유의수준의 설정에 따라 발생할 수 있는 제 1종 오류, 제 2종 오류에 대해 알아보고자 합니다.

1. 유의수준((significance level)

유의수준은 귀무가설을 기각하는 기준이 되는 확률입니다.
일반적으로 유의수준은 0.05(또는 5%) 또는 0.01(또는 1%)과 같은 값으로 설정됩니다. 통계학 수식에서는 보통 알파로 표시하곤 합니다.
이는 통계적 검정에서 우연히 발생한 차이를 통계적으로 유의한 차이로 간주할지를 결정하는 기준입니다.
p-value는 주어진 데이터에서 얻은 결과가 귀무가설을 지지하는 정도를 나타내는 값으로, 작을수록 귀무가설을 기각할 수 있는 강력한 증거가 됩니다. 이때 유의수준으로 설정한 값과 비교하여 (일반적으로 유의수준(예: 0.05)) 유의수준보다 작은 p-value를 가지면 결과는 통계적으로 유의하다고 판단됩니다.
이렇듯 유의수준은 귀무가설을 기각할지 말지를 결정하는 기준이 되는 수치값이기 때문에 유의수준을 어떻게 설정하느냐에 따라서 통계적 오류가 발생할 수도 있습니다.

2. 제1종 오류(Type 1 Error)

귀무가설이 참인데도 불구하고, 잘못하여 귀무가설을 기각하는 경우입니다. 유의수준을 낮게 설정한다면 귀무가설이 참인데도 불구하고 기각할 확률이 낮아지게 되므로 제1종 오류를 피할 수 있을 것입니다. 하지만 제1종 오류의 위험을 줄이는 것은  제2종 오류의 위험을 증가시킬 수 있습니다.

3. 제2종 오류(Type II Error)

대립가설이 참인데도 불구하고, 잘못하여 귀무가설을 채택하는 경우입니다. 제2종 오류를 피하기 위해 유의수준을 높게 설정할수록, 제2종 오류의 위험을 줄일 수 있지만, 이는 제1종 오류의 위험을 증가시킬 수 있습니다.
예를 들어 제1종 오류와 제2종 오류를 설명해보면 다음과 같습니다.
어떤 약이 효과가 있다는 가설을 설정한다고 가정해봅시다. 이 경우, 제1종 오류는 실제로는 약이 효과가 없는데도 약이 효과가 있다고 결론을 내리는 것입니다. 반면에, 제2종 오류는 실제로 약이 효과가 있는데도 약이 효과가 없다고 결론을 내리는 것입니다.

4. 어떤 오류가 더 치명적일까?

제 1종 오류와 제 2종 오류는 서로 상반되는 오류입니다. 따라서 앞서 설명한 바와 같이 제 1종 오류를 피하려고 하면 제 2종 오류의 위험을 증가시킬 수 있고, 반대로 제 2종 오류를 피하려고 한다면 제 1종 오류의 위험을 증가시킬 수 있습니다.
제 1종 오류는 차이나 효과가 없음에도 효과가 있다고 잘못 결론을 내립니다. 이 때문에 안전이 중요한 상황에서는 제1종 오류를 피하는 것이 더 중요할 수 있습니다.
예를 들어 특정한 약의 효과가 없음에도 불구하고 효과가 있다고 제 1종 오류를 범하는 것은 효과가 없다고 오류를 범하는 것보다 치명적일 수 있습니다.
그러나 안전이 직결되는 경우가 아니고 연구나 실험에서 중요한 효과를 놓치는 것은 소모되는 비용이 큰 경우가 있으므로, 이런 경우에는 제2종 오류를 피하는 것이 더 중요할 수 있습니다.
따라서, 어느 오류를 더 피해야 하는지는 연구 목적과 상황에 따라 달라질 수 있으며  연구자는 적절한 유의수준과 표본 크기를 설정하여 제1종 오류와 제2종 오류를 균형있게 다루는 것이 중요합니다.