Funkcja aktywacji

Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.

Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia^[1].

W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny)^[1].

W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.

Funkcja aktywacji	Wzór matematyczny	Różniczkowalna	Uwagi
Funkcja liniowa	$y(x)=ax+b$		Funkcja nieograniczona Z reguły $b=0$
Jednostronnie obcięta funkcja liniowa (ReLU)	$y(x)=\left\{{\begin{matrix}0&{\text{dla}}&x<0\\x&{\text{dla}}&x\geqslant 0\end{matrix}}\right.$	(oprócz punktu $x=0$ )	Brak górnej granicy
Obcięta funkcja liniowa	$y(x)=\left\{{\begin{matrix}-1&{\text{dla}}&x<-1\\x&{\text{dla}}&-1\leqslant x\leqslant 1\\1&{\text{dla}}&x>1\end{matrix}}\right.$	(oprócz punktów $x=1$ i $x=-1$ )	Przedziałami liniowa
Funkcja progowa unipolarna	$y(x)=\left\{{\begin{matrix}0&{\text{dla}}&x<a\\1&{\text{dla}}&x\geqslant a\end{matrix}}\right.$		a – zadana wartość progowa Z reguły $a=0$ Taką funkcję aktywacji $(a=0)$ zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna	$y(x)=\left\{{\begin{matrix}-1&{\text{dla}}&x<a\\1&{\text{dla}}&x\geqslant a\end{matrix}}\right.$		a – zadana wartość progowa Z reguły $a=0$
Sigmoidalna funkcja unipolarna (funkcja logistyczna)	$y(x)={\frac {1}{1+e^{-\beta x}}}$		Z reguły $\beta \in \left(0,1\right]$ Gdy $\beta \to \infty ,$ funkcja przechodzi w progową unipolarną funkcję aktywacji
Sigmoidalna funkcja bipolarna (tangens hiperboliczny)	$y(x)={\frac {2}{1+e^{-\beta x}}}-1={\frac {1-e^{-\beta x}}{1+e^{-\beta x}}}$		Z reguły $\beta \in \left(0,1\right].$ Gdy $\beta \to \infty ,$ funkcja przechodzi w progową bipolarną funkcję aktywacji
Funkcja Gaussa	$y(x)=ae^{-{\frac {(x-b)^{2}}{2c^{2}}}}$		$a,b,c>0$ e – liczba Eulera
Znormalizowana funkcja wykładnicza (softmax)	$\sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}$		Prawdopodobieństwo zawsze sumuje się do jedności: ${\sum _{k=1}^{K}\sigma (\mathbf {z} )_{k}}=1$ e – liczba Eulera K – szerokość wektorów wejściowego i wyjściowego Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych

Przypisy

↑ ^a ^b Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych. s. 34. ISBN 978-83-63270-10-0.

[leksykon-1] Ryszard Tadeusiewicz, Maciej Szaleniec: Leksykon sieci neuronowych. s. 34. ISBN 978-83-63270-10-0.

[1]

Paradygmaty	Uczenie nadzorowane Uczenie nienadzorowane Uczenie przez wzmacnianie Uczenie samonadzorowane
Problemy	Klasyfikacja Regresja Redukcja wymiaru Klasteryzacja Wykrywanie anomalii Inferencja gramatyki Uczenie multimodalne
Uczenie nadzorowane (Klasyfikacja, Regresja)	Drzewa klasyfikacyjne Uczenie zespołowe Agregacja Las losowy K najbliższych sąsiadów Regresja liniowa Naiwny klasyfikator bayesowski Sieć neuronowa Regresja logistyczna Perceptron Maszyna wektorów nośnych
Klasteryzacja	Grupowanie hierarchiczne Algorytm centroidów DBSCAN Inferencja gramatyki
Redukcja wymiaru	Analiza czynnikowa Korelacja kanoniczna Liniowa analiza dyskryminacyjna Analiza głównych składowych
Sieć neuronowa	Autoenkoder Uczenie głębokie Jednokierunkowa sieć neuronowa Model dyfuzyjny Rekurencyjna sieć neuronowa LSTM Sieć generatywna GAN Sieć Kohonena Konwolucyjna sieć neuronowa Transformator