Gewogen regressie: uitgewerkt voorbeeld
Het probleem van heteroscedasticiteit
In regressieanalyse betekent heteroscedasticiteit dat de variantie van de afhankelijke variabele (Y) verschilt naargelang de niveaus van de onafhankelijke gegevens (X). Heteroscedasticiteit kan de analyse bemoeilijken, omdat regressieanalyse uitgaat van gelijke variantie over de niveaus van de onafhankelijke gegevens.
 |
 |
| Homoscedasticiteit | Heteroscedasticiteit |
Met gewogen regressie kan je corrigeren voor heteroscedasticiteit. Bij gewogen regressie krijgen waarnemingen met een kleinere variantie meer gewicht, omdat deze waarnemingen betrouwbaardere informatie over de regressiefunctie geven dan waarnemingen met een grote variantie.
Neter et al. (1996) stellen de volgende werkwijze voor om de regressiecoëfficiënten te schatten wanneer er heteroscedasticiteit is:
- Pas het regressiemodel aan met ongewogen kleinste kwadraten en analyseer de residuen.
- Schat de variantiefunctie of de standaarddeviatiefunctie door de gekwadrateerde residuen of de absolute residuen te regresseren op de geschikte predictor(en).
- Gebruik de aangepaste waarden van de geschatte variantie- of standaarddeviatiefunctie om de gewichten wi te verkrijgen.
- Schat de regressiecoëfficiënten met deze gewichten.
Dit automatisch laten uitvoeren
MedCalc voert deze stappen automatisch uit wanneer je in de dialoogvensters voor regressie de dummyvariabele "*** AutoWeight 1/SD^2 ***" selecteert voor “Gewichten”.
Elke stap afzonderlijk uitvoeren in MedCalc
Als je meer controle over het proces wil, bijvoorbeeld omdat je een of meer stappen wil aanpassen, kan je elk van deze stappen uitvoeren met gewogen regressie en andere hulpmiddelen van MedCalc.
Dit proces wordt hieronder in detail beschreven.
De gegevens voor dit voorbeeld staan in de map met voorbeeldbestanden van MedCalc, in het bestand “Weighted regression (Neter).mc1”. Dit bestand bevat gegevens over leeftijd (Age) en diastolische bloeddruk (DBP) van 54 proefpersonen.
Stap 1. Pas het regressiemodel aan met ongewogen kleinste kwadraten en analyseer de residuen
We klikken op Regressie in het menu Statistiek en vullen het dialoogvenster als volgt in.
Variabele Y, de afhankelijke variabele, is DBP (diastolische bloeddruk) en Variabele X, de onafhankelijke variabele, is Age.
We selecteren geen variabele voor Gewichten, omdat we in deze eerste stap een gewone, ongewogen kleinstekwadratenregressie uitvoeren.
We krijgen de volgende resultaten:
In het resultatenvenster klikken we op de hyperlink “Residuen opslaan” om de residuen in een nieuwe kolom van de spreadsheet op te slaan.
Residuen zijn de verschillen tussen de waargenomen waarden van de afhankelijke variabele DBP en de waarden die met de regressievergelijking worden berekend.
In het dialoogvenster dat volgt, klikken we op OK.
Zo wordt in de spreadsheet een nieuwe kolom met de residuen aangemaakt (variabele “REGR_Resid1”):
Stap 2. Schat de variantiefunctie of de standaarddeviatiefunctie
In deze stap bouwen we een regressiemodel van de standaarddeviatie ten opzichte van Age. Dat doen we door de absolute waarden van de residuen te regresseren op Age, omdat de absolute residuen een schatter zijn van de standaarddeviatie van DBP bij verschillende waarden van Age.
We klikken op Regressie in het menu Statistiek en vullen het dialoogvenster als volgt in:
Voor Variabele Y selecteren we eerst de nieuwe variabele "REGR_Resid1"; daarna bewerken we de selectie en veranderen we de variabele in "abs(REGR_Resid1)".
We krijgen de volgende resultaten:
Stap 3. Gebruik de aangepaste waarden van de geschatte variantie- of standaarddeviatiefunctie om de gewichten te verkrijgen
In het laatste resultatenvenster klikken we op de hyperlink “Voorspelde waarden opslaan” om de voorspelde waarden in een nieuwe kolom van de spreadsheet op te slaan.
In het dialoogvenster dat volgt, klikken we op OK.
Zo wordt in de spreadsheet een nieuwe kolom aangemaakt met de voorspelde (of geschatte) waarden van de standaarddeviatie (variabele “REGR_Pred1”):
Stap 4. Schat de regressiecoëfficiënten met deze gewichten
Ten slotte kunnen we ons gewogen regressiemodel bouwen.
Als gewichten gebruiken we het omgekeerde van de gekwadrateerde voorspelde waarden van de standaarddeviatie (de variantie is het kwadraat van de standaarddeviatie): waarnemingen met een grote standaarddeviatie krijgen minder gewicht dan waarnemingen met een kleinere standaarddeviatie.
We klikken op Regressie in het menu Statistiek en vullen het dialoogvenster als volgt in.
Voor Gewichten selecteren we eerst de nieuwe variabele "REGR_Pred1"; daarna bewerken we de selectie en veranderen we de variabele in "1/REGR_Pred1^2" (we hadden ook "1/(REGR_Pred1*REGR_Pred1)" of "1/Power(REGR_Pred1,2)" kunnen gebruiken).
We krijgen de volgende resultaten:
De uiteindelijke (gewogen) regressievergelijking is
DBP = 55.5658 + 0.5963 Age
wat niet veel verschilt van de oorspronkelijke (ongewogen) regressievergelijking
DBP = 56.1569 + 0.5800 Age
De standaardfouten van de regressiecoëfficiënten zijn echter kleiner, wat smallere betrouwbaarheidsintervallen oplevert.
Literatuur
- Neter J, Kutner MH, Nachtsheim CJ, Wasserman W (1996) Applied linear statistical models. 4th ed. Boston: McGraw-Hill.