Liniowa analiza dyskryminacyjna

Analiza dyskryminacyjna Liniowa (LDA)

Liniowa analiza dyskryminacyjna (LDA) oraz liniowy dyskryminator Fishera (FLD) są technikami stosowanymi w uczeniu maszynowym do identyfikacji liniowych kombinacji cech, które efektywnie rozróżniają klasy obiektów. Kombinacje te mogą być używane jako klasyfikatory liniowe lub do redukcji wymiarów przed dalszą klasyfikacją statystyczną.

LDA dla dwóch klas

W LDA analizujemy zbiór obiektów, z których każdy opisany jest przez wektor cech x, a ich przynależność do klasy y jest znana. Celem klasyfikacji jest opracowanie efektywnego predyktora klasy y dla nowych obserwacji, opierając się na cechach x.

Podstawowym założeniem LDA jest to, że funkcje gęstości prawdopodobieństwa $p(vec\; x|y=1)$ i $p(vec\; x|y=0)$ mają rozkład normalny oraz identyczną kowariancję $Sigma\_\{y=0\}\; =\; Sigma\_\{y=1\}\; =\; Sigma$. Wykazano, że prawdopodobieństwo $p(y|\; vec\; x)$ zależy tylko od iloczynu skalarnego $vec\; w\; cdot\; vec\; x$, gdzie:

• $vec\; w\; =\; Sigma^\{-1\}\; (vec\; mu\_1\; –\; vec\; mu\_0)$

Oznacza to, że prawdopodobieństwo przynależności x do klasy y jest funkcją liniowej kombinacji cech.

Zastosowania LDA i FLD

FLD i LDA znajdują zastosowanie w różnych dziedzinach klasyfikacji, w tym w:

• Rozpoznawaniu twarzy: W tym przypadku obrazy twarzy, składające się z dużej liczby pikseli, są redukowane do mniejszego zbioru liniowych kombinacji, co ułatwia klasyfikację.

Kombinacje cech uzyskane za pomocą FLD określane są jako Fisher faces, podczas gdy obrazy powstałe w wyniku analizy głównych składowych noszą nazwę eigenfaces.