В пакете STATISTICA Нейронные Сети реализован большой набор функций активации. Несколько из них используются по умолчанию; все остальные должны выбираться пользователем.

Линейная. Уровень активации просто передается на выход в неизменном виде. Эта функция используется в сетях различных типов, в том числе линейных, а также в выходных слоях сетей на радиальных базисных функциях.

Логистическая. Ее график имеет форму S-образной кривой (сигмоида), при этом выходные значения лежат в интервале (0,1). Этот тип функций активации используется в нейронных сетях наиболее часто.

Гиперболическая. Это функция гиперболического тангенса (tanh). Ее график, так же как и у логистической функции, имеет вид сигмоидной кривой, только здесь выходные значения лежат в интервале (-1,+1). Эта функция часто дает лучшие результаты, чем логистическая, благодаря своему свойству симметрии. По умолчанию ни в каких типах сетей не используется. Идеально подходит для пользовательской настройки многослойных персептронов.

Экспоненциальная с отрицательным показателем. Экспоненциальная функция от аргумента, взятого с обратным знаком. Идеально подходит для радиальных элементов. Комбинация радиальной PSP-функции и отрицательной экспоненциальной функции активации дает элемент, моделирующий гауссову функцию (колоколообразной формы) с центром в векторе весов. Стандартное отклонение Гауссиана определяется по формуле, которая приведена ниже; через d обозначено "отклонение" элемента, которое хранится как его пороговое значение:

Софтмакс. Экспоненциальные функции, выходы которых нормируются так, чтобы сумма всех активаций слоя равнялась 1.0. Используются в выходных слоях многослойных персептронов, специально сконструированных для задач классификации таким образом, чтобы выходы можно было интерпретировать как вероятности принадлежности к классу. По умолчанию не используется (см. Bishop, 1995; Bridle, 1990).

Единичная сумма. Данные перемасштабируются так, чтобы сумма всех значений равнялась 1.0. Используется в Вероятностных нейронных сетях.

Квадратный корень. Преобразует активации сети Кохонена, т.е. квадраты расстояний, в выходные значения, представляющие сами расстояния. Используется, чтобы преобразовать квадрат расстояния активации сети СОКК или Сети для кластеризации в обычное расстояние в качестве выхода.

Синус. Может быть полезна для распознавания радиально распределенных данных; по умолчанию не используется.

Пилообразная. Кусочно-линейный вариант сигмоидной функции. Обладает невысоким качеством обучения, но быстро работает.

Ступенчатая. Дает на выходе значения 1.0 или 0.0 смотря по тому, положительно или отрицательно PSP-значение. Может использоваться при моделировании простых сетей, например персептронов.

Математические определения различных функций активации приведены в следующей таблице.

Функции активации

(c) Copyright StatSoft, Inc., 1984-2003
STATISTICA является торговой маркой StatSoft, Inc.