가중 회귀 - 풀이 예제
이분산성의 문제
회귀분석에서 이분산성이란 종속변수(Y)의 분산이 독립 데이터(X)의 수준에 따라 달라지는 상황을 말합니다. 회귀분석은 독립 데이터의 모든 수준에서 분산이 같다는 가정에 기반하므로 이분산성은 분석을 복잡하게 만들 수 있습니다.
 |
 |
| 등분산성 | 이분산성 |
가중 회귀를 사용하여 이분산성을 보정할 수 있습니다. 가중 회귀 절차에서는 분산이 작은 관측값에 더 큰 가중값을 부여합니다. 이러한 관측값은 분산이 큰 관측값보다 회귀 함수에 대해 더 신뢰할 수 있는 정보를 제공하기 때문입니다.
Neter 등(1996)은 이분산성이 있을 때 회귀계수를 추정하는 다음 과정을 제안합니다.
- 가중값 없는 최소제곱법으로 회귀 모형을 적합하고 잔차를 분석합니다.
- 잔차 제곱 또는 절대 잔차를 적절한 예측변수에 회귀시켜 분산 함수 또는 표준편차 함수를 추정합니다.
- 추정된 분산 함수 또는 표준편차 함수의 적합값을 사용하여 가중값 wi를 구합니다.
- 이 가중값을 사용하여 회귀계수를 추정합니다.
자동으로 수행하는 방법
회귀분석 대화상자에서 “가중값”으로 더미 변수 "*** AutoWeight 1/SD^2 ***"를 선택하면 MedCalc가 이 단계들을 자동으로 수행합니다.
MedCalc에서 각 단계를 수행하는 방법
과정을 더 세밀하게 제어하고 싶거나 하나 이상의 단계를 수정해야 하는 경우에는 가중 회귀와 MedCalc의 다른 도구를 사용하여 각 단계를 직접 수행할 수 있습니다.
아래에서 이 과정을 자세히 설명합니다.
이 예제의 데이터는 MedCalc 예제 파일 폴더의 파일 “Weighted regression (Neter).mc1”에 있습니다. 이 파일에는 피험자 54명에게서 수집한 연령(Age)과 이완기 혈압(DBP) 데이터가 들어 있습니다.
1단계. 가중값 없는 최소제곱법으로 회귀 모형을 적합하고 잔차 분석
통계 메뉴에서 회귀분석을 클릭하고 대화상자를 다음과 같이 작성합니다.
종속변수인 변수 Y는 DBP(이완기 혈압)이고, 독립변수인 변수 X는 Age입니다.
이 첫 단계에서는 가중값 없는 일반 최소제곱 회귀를 수행하므로 가중값 변수를 선택하지 않습니다.
다음 결과를 얻습니다.
결과 창에서 “잔차 저장” 하이퍼링크를 클릭하여 잔차를 스프레드시트의 새 열에 저장합니다.
잔차는 종속변수 DBP의 관측값과 회귀식으로 계산한 값 사이의 차이입니다.
이어서 표시되는 대화상자에서 확인을 클릭합니다.
그러면 스프레드시트에 잔차가 들어 있는 새 열(변수 “REGR_Resid1”)이 만들어집니다.
2단계. 분산 함수 또는 표준편차 함수 추정
이 단계에서는 Age에 대한 표준편차의 회귀 모형을 만듭니다. 절대 잔차는 여러 Age 값에서 DBP의 표준편차에 대한 추정량이므로, 잔차의 절대값을 Age에 회귀시켜 모형을 만듭니다.
통계 메뉴에서 회귀분석을 클릭하고 대화상자를 다음과 같이 작성합니다.
변수 Y에서 먼저 새 변수 "REGR_Resid1"을 선택한 다음, 선택 항목을 편집하여 변수를 "abs(REGR_Resid1)"로 바꿉니다.
다음 결과를 얻습니다.
3단계. 추정된 분산 함수 또는 표준편차 함수의 적합값을 사용하여 가중값 구하기
마지막 결과 창에서 “예측값 저장” 하이퍼링크를 클릭하여 예측값을 스프레드시트의 새 열에 저장합니다.
이어서 표시되는 대화상자에서 확인을 클릭합니다.
그러면 스프레드시트에 표준편차의 예측값(또는 추정값)이 들어 있는 새 열(변수 “REGR_Pred1”)이 만들어집니다.
4단계. 이 가중값을 사용하여 회귀계수 추정
마지막으로 가중 회귀 모형을 만들 수 있습니다.
가중값으로는 표준편차 예측값의 제곱의 역수를 사용합니다(분산은 표준편차의 제곱입니다). 표준편차가 큰 관측값에는 표준편차가 작은 관측값보다 작은 가중값이 부여됩니다.
통계 메뉴에서 회귀분석을 클릭하고 대화상자를 다음과 같이 작성합니다.
가중값에서 먼저 새 변수 "REGR_Pred1"을 선택한 다음, 선택 항목을 편집하여 변수를 "1/REGR_Pred1^2"로 바꿉니다("1/(REGR_Pred1*REGR_Pred1)" 또는 "1/Power(REGR_Pred1,2)"를 사용할 수도 있습니다).
다음 결과를 얻습니다.
최종(가중) 회귀식은 다음과 같습니다.
DBP = 55.5658 + 0.5963 Age
이는 원래의 (가중값 없는) 회귀식과 크게 다르지 않습니다.
DBP = 56.1569 + 0.5800 Age
그러나 회귀계수의 표준오차가 더 작으므로 신뢰구간이 더 좁아집니다.
참고문헌
- Neter J, Kutner MH, Nachtsheim CJ, Wasserman W (1996) Applied linear statistical models. 4th ed. Boston: McGraw-Hill.