Regresja wieloraka

Polecenie:

Statystyki

Regresja

Regresja wieloraka

Regresja wieloraka jest metodą statystyczną służącą do badania zależności między zmienną zależną Y a jedną lub kilkoma zmiennymi niezależnymi X_i. Parametry, czyli współczynniki regresji b_i, równania regresji

$$ Y = b_0 + b_1 X_1 + b_2 X_2 + b_3 X_3 + … + b_k X_k $$

szacuje się metodą najmniejszych kwadratów. W tej metodzie minimalizuje się sumę kwadratów reszt między płaszczyzną regresji a obserwowanymi wartościami zmiennej zależnej. Równanie regresji przedstawia (hiper)płaszczyznę w przestrzeni k+1-wymiarowej, gdzie k to liczba zmiennych niezależnych X₁, X₂, X₃, … X_k, plus jeden wymiar dla zmiennej zależnej Y.

Wymagane dane wejściowe

W oknie dialogowym Regresja wieloraka należy wprowadzić następujące dane:

Regresja wieloraka

Zmienna zależna

Zmienna, której wartości chcesz przewidywać.

Zmienne niezależne

Wybierz co najmniej jedną zmienną, która według Ciebie wpływa na wartość zmiennej zależnej lub ją przewiduje. Nazywa się je też predyktorami lub zmiennymi objaśniającymi.

Wagi

Opcjonalnie wybierz zmienną zawierającą względne wagi przypisywane poszczególnym obserwacjom (w regresji wielorakiej metodą ważonych najmniejszych kwadratów). Wybierz fikcyjną zmienną "*** AutoWeight 1/SD^2 ***", aby zastosować procedurę automatycznej regresji ważonej, która koryguje heteroscedastyczność (Neter i wsp., 1996). Ta fikcyjna zmienna pojawia się jako pierwsza pozycja na rozwijanej liście wag.

Filtr

Opcjonalnie wprowadź filtr danych, aby uwzględnić w analizie tylko wybraną podgrupę przypadków.

Opcje

Metoda: wybierz sposób wprowadzania zmiennych niezależnych do modelu.
- Wprowadzanie: wprowadza wszystkie zmienne do modelu w jednym kroku, bez sprawdzania
- Selekcja postępująca (forward): kolejno wprowadza zmienne istotne
- Eliminacja wsteczna (backward): najpierw wprowadza do modelu wszystkie zmienne, a następnie kolejno usuwa zmienne nieistotne
- Krokowa (stepwise): kolejno wprowadza zmienne istotne; po wprowadzeniu zmiennej do modelu sprawdza i ewentualnie usuwa zmienne, które stały się nieistotne.
Wprowadź zmienną, jeżeli P<
Zmienna jest wprowadzana do modelu, jeśli związany z nią poziom istotności jest mniejszy od tej wartości P.
Usuń zmienną, jeżeli P>
Zmienna jest usuwana z modelu, jeśli związany z nią poziom istotności jest większy od tej wartości P.
Raportuj czynnik inflacji wariancji (VIF): opcja wyświetlenia w raporcie czynnika inflacji wariancji. Duży czynnik inflacji wariancji jest wskaźnikiem współliniowości zmiennych niezależnych. Współliniowość oznacza sytuację, w której dwie lub więcej zmiennych objaśniających w modelu regresji wielorakiej są silnie skorelowane liniowo.
Współczynniki korelacji rzędu zerowego i korelacji prostej: opcja utworzenia tabeli ze współczynnikami korelacji między zmienną zależną a każdą zmienną niezależną z osobna oraz między wszystkimi zmiennymi niezależnymi.
Reszty: możesz wybrać opcjonalny test dla rozkładu normalnego reszt.

Wyniki

Po kliknięciu OK wyniki zostaną wyświetlone w oknie wyników.

Regresja wieloraka

Zależna Y	GRADE_A

Wieloraka regresja najmniejszych kwadratów

Metoda	Eliminacja wsteczna
Wprowadź zmienną, jeżeli P<	0.05
Usuń zmienną, jeżeli P>	0.1

Liczebność próby	46
Współczynnik determinacji R²	0.2449
R²-adjusted	0.2098
Współczynnik korelacji wielorakiej	0.4949
Resztowe odchylenie standardowe	11.9453

Równanie regresji

Zmienne niezależne	Współczynnik	Std. Błąd	95% CI	t	P	r_partial	r_semipartial
(Stała)	8.0389	5.3064	-2.6625 do 18.7403	1.5149	0.1371
CONCENTRATION	0.1331	0.05506	0.02207 do 0.2442	2.4175	0.0199	0.3459	0.3204
MORPHOLOGY	0.3570	0.1848	-0.01556 do 0.7296	1.9325	0.0599	0.2827	0.2561

Zmienne nieuwzględnione w modelu
ATP

Analiza wariancji

Źródło	DF	Suma kwadratów	Średnia kwadratów
Regresja	2	1990.2226	995.1113
Reszta	43	6135.7121	142.6910

Współczynnik F	6.9739
Poziom istotności	P=0.0024

Reszty

Test Shapiro-Wilka dla rozkładu normalnego	W=0.9735 akceptuj normalność (P=0.3717)

W oknie wyników wyświetlane są następujące statystyki:

Liczebność próby: liczba rekordów danych n

Współczynnik determinacji R²: jest to odsetek zmienności zmiennej zależnej wyjaśnionej przez model regresji i miara dobroci dopasowania modelu. Może przyjmować wartości od 0 do 1 i oblicza się go następująco:

$$ R^2 = \frac {\text{zmienność wyjaśniona}} {\text{zmienność całkowita}} = \frac {\sum_{}^{}{(Y_{est}-\bar{Y})^2}} {\sum_{}^{}{(Y-\bar{Y})^2}} $$

gdzie Y to obserwowane wartości zmiennej zależnej, $\bar{Y}$ to średnia wartości obserwowanych, a Y_est to przewidywane wartości zmiennej zależnej (wartości przewidywane oblicza się z równania regresji).

Skorygowany R²: jest to współczynnik determinacji skorygowany o liczbę zmiennych niezależnych w modelu regresji. W przeciwieństwie do współczynnika determinacji skorygowany R² może się zmniejszyć, jeśli do modelu wprowadzi się zmienne, które nie poprawiają istotnie dopasowania modelu.

$$ R^2_{adj} = 1 - \frac {\text{zmienność niewyjaśniona} / (n-k-1)} {\text{zmienność całkowita} / (n-1) } $$

lub

$$ R^2_{adj} = 1 - \frac {\sum_{}^{}{(Y_{est}-\bar{Y})^2}} {\sum_{}^{}{(Y-\bar{Y})^2}} \frac {n-1}{n-k-1} $$

Współczynnik korelacji wielorakiej: ten współczynnik mierzy, jak ściśle punkty danych skupiają się wokół płaszczyzny regresji, i oblicza się go jako pierwiastek kwadratowy ze współczynnika determinacji.

Przy omawianiu wyników analizy regresji wielorakiej zazwyczaj posługuje się współczynnikiem determinacji wielorakiej, a nie współczynnikiem korelacji wielorakiej.

Resztowe odchylenie standardowe: odchylenie standardowe reszt (reszty = różnice między wartościami obserwowanymi a przewidywanymi). Oblicza się je następująco:

$$s_{res} = \sqrt{\frac{\sum_{}^{}{(Y-Y_{est})^2}}{n-k-1}} $$

Równanie regresji: poszczególne współczynniki regresji b_i wraz z błędem standardowym s_bi, 95% przedziałem ufności, wartością t, wartością P oraz współczynnikami korelacji cząstkowej i semicząstkowej r_partial i r_semipartial.

Jeśli P jest mniejsze od przyjętego zwykle poziomu 0,05, współczynnik regresji można uznać za istotnie różny od 0, a odpowiadająca mu zmienna wnosi istotny wkład w przewidywanie zmiennej zależnej.
Współczynnik korelacji cząstkowej r_partial: korelacja cząstkowa to korelacja między zmienną niezależną a zmienną zależną po usunięciu liniowych efektów pozostałych zmiennych zarówno ze zmiennej niezależnej, jak i ze zmiennej zależnej (korelacja zmiennej ze zmienną zależną, skorygowana o wpływ pozostałych zmiennych w modelu).
Współczynnik korelacji semicząstkowej r_semipartial (w SPSS nazywany korelacją części): korelacja semicząstkowa to korelacja między zmienną niezależną a zmienną zależną po usunięciu liniowych efektów pozostałych zmiennych niezależnych tylko ze zmiennej niezależnej. Kwadrat korelacji semicząstkowej to odsetek (unikalnej) wariancji wyjaśnionej przez zmienną niezależną w stosunku do całkowitej wariancji zmiennej zależnej Y.
Opcjonalnie tabela zawiera czynnik inflacji wariancji (VIF). Duży czynnik inflacji wariancji jest wskaźnikiem współliniowości zmiennych niezależnych. Współliniowość oznacza sytuację, w której dwie lub więcej zmiennych objaśniających w modelu regresji wielorakiej są silnie skorelowane liniowo.

Zmienne nieuwzględnione w modelu: zmienne nie są uwzględniane w modelu z 2 możliwych powodów:

Wybrano model krokowy, a zmienna została usunięta, ponieważ wartość P jej współczynnika regresji była większa od wartości progowej.
Tolerancja zmiennej była bardzo mała (mniejsza od 0,0001). Tolerancja jest odwrotnością czynnika inflacji wariancji (VIF) i jest równa 1 minus kwadrat korelacji wielorakiej tej zmiennej ze wszystkimi pozostałymi zmiennymi niezależnymi w równaniu regresji. Jeśli tolerancja zmiennej w równaniu regresji jest bardzo mała, równania regresji nie można oszacować.

Analiza wariancji: tabela analizy wariancji dzieli całkowitą zmienność zmiennej zależnej na dwie składowe: jedną przypisywaną modelowi regresji (oznaczoną jako Regresja) i jedną nieprzypisywaną (oznaczoną jako Reszta). Jeśli poziom istotności testu F jest mały (mniejszy od 0,05), hipotezę o braku (liniowej) zależności można odrzucić, a współczynnik korelacji wielorakiej można uznać za istotny statystycznie.

Współczynniki korelacji rzędu zerowego i korelacji prostej: ta opcjonalna tabela pokazuje współczynniki korelacji między zmienną zależną (Y) a każdą zmienną niezależną X_i z osobna oraz między wszystkimi zmiennymi niezależnymi.

Analiza reszt

Analiza regresji liniowej wielorakiej zakłada, że reszty (różnice między obserwacjami a wartościami oszacowanymi) mają rozkład normalny. To założenie można ocenić za pomocą testu formalnego lub metod graficznych.

Poszczególne formalne testy rozkładu normalnego mogą mieć zbyt małą moc, aby wykryć odstępstwa od rozkładu normalnego, gdy liczebność próby jest mała. Z drugiej strony, gdy liczebność próby jest duża, wymóg rozkładu normalnego jest mniej rygorystyczny dzięki centralnemu twierdzeniu granicznemu.

Dlatego często woli się wzrokowo ocenić symetrię i kurtozę rozkładu reszt za pomocą histogramu, wykresu ramka-wąsy lub wykresu normalności.

W tym celu kliknij hiperłącze „Zapisz reszty” w oknie wyników. Wartości reszt zostaną zapisane jako nowa zmienna w arkuszu kalkulacyjnym. Następnie możesz użyć tej nowej zmiennej na różnych wykresach rozkładu.

Powtórzenie procedury

Jeśli chcesz powtórzyć procedurę Regresja wieloraka, np. aby dodać zmienne do modelu lub je z niego usunąć, wystarczy nacisnąć klawisz funkcyjny F7. Okno dialogowe pojawi się ponownie z wcześniej wprowadzonymi wartościami i wyborami (zobacz Wywołaj ponownie okno dialogowe).

Piśmiennictwo

Altman DG (1991) Practical statistics for medical research. London: Chapman and Hall.
Armitage P, Berry G, Matthews JNS (2002) Statistical methods in medical research. 4^th ed. Blackwell Science.
Neter J, Kutner MH, Nachtsheim CJ, Wasserman W (1996) Applied linear statistical models. 4^th ed. Boston: McGraw-Hill.

Regresja wieloraka

Wymagane dane wejściowe

Zmienna zależna

Zmienne niezależne

Wagi

Filtr

Opcje

Wyniki

Wieloraka regresja najmniejszych kwadratów

Równanie regresji

Analiza wariancji

Reszty

Analiza reszt

Powtórzenie procedury

Piśmiennictwo

Zobacz także