"Искусственные нейронные сети. Теория и практика." - читать интересную книгу автора (Круглов В.В., Борисов В.В.)

f(s)=k s
(-со, оо)
Полулинейная
№-
ks, s > О, О, s <0
(О, со)
Логистическая (сигмоидальная)
f(s)
1 + <
(0,1)
Гиперболический тангенс (сигмоидальная)
f(s)-
as -as е -е
as -as
е + е
М.1)
Экспоненциальная
As) = e
(0, оо)
Синусоидальная
f{s) = sin(s)
(-1,1)
Сигмоидальная (рациональная)
f(s) = ¦
(-1.D
Шаговая (линейная с насыщением)
(-1,1)
Пороговая
f(s).
0, s <0
1, s>0
(0,1)
Модульная
f(s) = s
(0, оо)
Знаковая (сигнатурная)
Hs) =
1, s > 0,
-1, ssO
(-1.1)
Квадратичная
f(s) = s2
(0, оо)
Одной из наиболее распространенных является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-образного вида)
ns) = —^— (13)
При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции еди-
12
/N
A
0 ©