Perceptron

Perceptron

Perceptron to podstawowa sieć neuronowa, która implementuje algorytm uczenia nadzorowanego dla klasyfikacji binarnej. Działa na zasadzie oceny przynależności parametrów wejściowych do jednej z dwóch klas. Aby klasyfikować więcej niż dwie klasy, konieczne jest użycie perceptronu z większą ilością neuronów, które reprezentują klasy jako wyjścia w postaci bitów.

Zasada działania

Perceptron klasyfikuje dane na podstawie wartości wejściowych, po wcześniejszym wytrenowaniu. Proces trenowania polega na dostosowywaniu wag wejść oraz połączeń między neuronami, aby osiągnąć pożądane wyniki. Perceptron jest ograniczony do klasyfikacji zbiorów liniowo separowalnych, co sprawia, że nie poradzi sobie z bardziej złożonymi problemami, takimi jak operacja logiczna XOR.

Matematycznie, wyjście perceptronu oblicza się za pomocą wzoru:

$y\; =\; f(\backslash sum\_\{i=1\}^m\; w\_i\; x\_i\; +\; b)$

gdzie $w\_i$ to waga, $x\_i$ to wejście, $f$ to funkcja aktywacji, $y$ to wyjście, $m$ to liczba wejść, a $b$ to stała wartość.

W klasycznym perceptronie używano funkcji skokowej jako funkcji aktywacji, co skutkowało wyjściem 1 lub 0 w zależności od przynależności do zbioru.

Historia

Pojęcie perceptronu zostało wprowadzone przez Franka Rosenblatta w 1957 roku. Jego konstrukcja, współtworzona z Charlesem Wightmanem, była urządzeniem do rozpoznawania znaków alfanumerycznych. W 1969 roku Marvin Minsky i Seymour Papert zidentyfikowali ograniczenia perceptronów, co wstrzymało rozwój sztucznych sieci neuronowych. W Polsce Jacek Karpiński skonstruował perceptron z tranzystorów, który był jednym z pierwszych tego typu urządzeń na świecie.

Ograniczenia perceptronu

W przypadku perceptronu, wyjście można modelować jako mnożenie macierzy, co oznacza, że wielowarstwowe perceptrony nie są w stanie wykonać więcej operacji niż perceptron jednowarstwowy. Jednak dodanie funkcji nieliniowych po każdej warstwie zmienia sytuację, umożliwiając sieciom neuronowym obliczanie bardziej złożonych funkcji.

Przykład: Sieć neuronowa może obliczać funkcję XOR, korzystając z kilku neuronów i funkcji nieliniowych, co pozwala na uzyskanie bardziej skomplikowanych wyników.