Regresja – podstawowe informacje
Regresja to metoda statystyczna, która pozwala na opisanie współzmienności zmiennych, umożliwiając przewidywanie wartości jednej zmiennej na podstawie innych. Może być stosowana zarówno w przypadku pojedynczej zmiennej objaśniającej (regresja prosta), jak i wielu zmiennych (regresja wieloraka).
Miary błędów
Wybór miary błędu, takiej jak suma kwadratów różnic, ma znaczący wpływ na wyniki regresji. Chociaż metoda najmniejszych kwadratów jest najczęściej stosowana, jej wady obejmują wrażliwość na wartości odstające. Dlatego często korzysta się z bardziej odpornych miar błędów, takich jak wartość bezwzględna różnicy.
Najpopularniejsze modele regresji
- Regresja liniowa: Model ma postać kombinacji liniowej zmiennych. Istnieją różne algorytmy do obliczania współczynników, takie jak metoda najmniejszych kwadratów.
- Regresja liniowa z przekształceniami: Umożliwia przekształcenie zmiennych, zachowując liniową kombinację.
- Regresja liniowa z interakcjami: Zawiera interakcje między zmiennymi, wyrażone jako ich produkt.
- Regresja nieliniowa: Model nie sprowadza się do liniowej kombinacji zmiennych.
- Regresja krokowa postępująca: Zmienne są dodawane do modelu w kolejnych krokach, zaczynając od najbardziej skorelowanej ze zmienną objaśnianą.
- Regresja krokowa wsteczna: Rozpoczyna się od modelu z wszystkimi zmiennymi, a następnie eliminuje się te, które nie są istotne.
Istnieją również metody mieszane, które łączą dodawanie i usuwanie zmiennych w kolejnych krokach, co pozwala na uzyskanie optymalnego modelu regresji.
