Błąd średniokwadratowy

Błąd Średniokwadratowy (MSE)

Błąd średniokwadratowy (MSE) estymatora $hattheta$ dla nieobserwowanego parametru $theta$ definiowany jest jako:

$operatorname\{MSE\}(hattheta)=operatorname\{E\}((hattheta-theta)^2)$

MSE jest wartością oczekiwaną kwadratu błędu, czyli różnicy między estymatorem a rzeczywistą wartością parametru. MSE można przedstawić w następujący sposób:

$operatorname\{MSE\}(hattheta)=operatorname\{D^2\}(hattheta)+(operatorname\{b\}(hattheta))^2$

Gdzie:

• $mathrm\; D^2(hattheta)$ – wariancja estymatora $hattheta$,
• $b(hattheta)=E[(hattheta)]-theta$ – obciążenie estymatora.

Obciążenie estymatora to różnica między wartością oczekiwaną estymatora a rzeczywistym parametrem. Na przykład, dla próby losowej z rozkładu normalnego:

$X\_1,dots,X\_nsimoperatorname\{N\}(mu,sigma^2)$

Najczęściej stosowane estymatory $sigma^2$ to:

• $frac\{1\}\{n\}sum\_\{i=1\}^nleft(X\_i-overline\{X\},right)^2$ (obciążony estymator największej wiarygodności),
• $frac\{1\}\{n-1\}sum\_\{i=1\}^nleft(X\_i-overline\{X\},right)^2$ (nieobciążony estymator).

Gdzie $overline\{X\}=(X\_1+ldots+X\_n)/n$ jest średnią z próby. Obciążony estymator ma mniejszą wariancję niż nieobciążony, co sprawia, że MSE obciążonego estymatora jest nieco mniejsze.

RMSE

Zamiast błędu średniokwadratowego, często używa się RMSE (root mean square error), który jest pierwiastkiem kwadratowym z MSE, co pozwala na lepsze zrozumienie błędów w kontekście jednostek oryginalnych danych.