Сигмоида

Логистическая кривая (сигмоида)

Сигмо́ида — это гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины.

Часто под сигмоидой понимают логистическую функцию

Сигмоида ограничена двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к В зависимости от соглашения, этими асимптотами могут быть y = ±1) либо y = 0 в и y = +1 в .

Производная сигмоиды представляет собой колоколообразную кривую с максимумом в нуле, асимптотически стремящуюся к нулю в .

Содержание

Семейство функций класса сигмоид

 
Сравнение некоторых сигмоидных функций, нормализованных таким образом, чтобы производная в начале координат была равна 1

В семейство функций класса сигмоид входят такие функции, как арктангенс, гиперболический тангенс и другие функции подобного вида.

 
  • Рациональная сигмоида:
 
 
 
  • Гладкая ступенька N-го порядка:
 
  • Корневая сигмоида:
 
 
  • Обобщённая логистическая функция:
 
 
 


Применение

Нейронные сети

Сигмоида применяется в нейронных сетях в качестве функций активации, которая позволяет как усиливать слабые сигналы, так и не насыщаться от сильных сигналов[1].

Производная сигмоиды может быть легко выражена через саму функцию, что позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике:

  — для гиперболического тангенса
  — для логистической функции

Логистическая регрессия

Логистическая функция   используется в логистической регрессии следующим образом. В ней решается задача классификации с двумя классами (  и  , где   — переменная, указывающая класс объекта), и делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта   (действительные числа):

 

где   — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.

Выбор именно этой функции   можно обосновать, рассматривая логистическую регрессию, как обобщённую линейную модель в предположении, что зависимая переменная   распределена по закону Бернулли.

См. также

Литература

  • Mitchell, Tom M. Machine Learning. — WCB–McGraw–Hill, 1997. — ISBN 0-07-042807-7.

Примечания

Ссылки