47__Модель искусственного нейрона. Активационная функция.

Исходя из своих исследований, Маккалок и Питтс выдвинули гипотезу, что нейроны можно упрощенно рассматривать как устройства, оперирующие двоичными числами, получившая впоследствии название «модель нейрона Маккалока-Питтса» :

где, - выход нейрона;

- i-ый входной сигнал;

- вес i-ой связи;

- пороговое значение;

- количество входных сигналов.

Модель искусственного нейрона

Первая модель искусственного нейрона была предложена Маккалоком и Питтсом. С тех пор она претерпела не очень большие изменения – изменились лишь активационные функции.

Активационной функцией нейрона называется нелинейная функция, которая берется от взвешенной суммы входных значений.

Ранние модели нейронов, в том числе и первый перцептрон, имели большей частью простую пороговую функцию (функцию Хевисайда):

(2.4)

Но как было отмечено выше, у нее существуют определенные недостатки, главным из которых является невозможность проведения классификации на линейно неразделимом множестве входных векторов.

В настоящее время преимущественно используются, так называемые сигмоидные (sigmoid) функции. Они получили свое название из-за формы кривой, которая напоминает форму английской буквы s. Наиболее широко используемой функцией является логистическая (logistic) активационная функция:

(2.5)

Одним из преимуществ этой функции является простота нахождения производной, которая используется практически во всех современных алгоритмах обучения МНСПР, наиболее распространенной на сегодняшний день архитектуры.

Иногда используются другие активационные функции, такие как гиперболический тангенс:

(2.6)

В большинстве случаев, однако, точная форма функции не оказывает значительного влияния на качество функционирования сети, хотя значительно влияет на скорость ее обучения. Относительно малое значение производной логистической функции заметно замедляет обучение при использовании базового варианта алгоритма обратного распространения ошибок. Предлагаются две альтернативные активационные функции (приведены вместе с производными):

, (2.7)

, (2.8)

Лучшей активационной функцией является гиперболический тангенс.

48__Блок-схема и основные операторы генетических алгоритмов.

Основателем генетики считают Менделя (3 закона: однородность, расщепления, независимость комбинаций). Хромосомы состоят из генов, которые заменяются 0 и 1. в основе наследования лежат гены (не делимые и не смешанные), в основе наследования лежит мутация. Факторы, которые меняют генетический состав природной популяции:

1. мутационный процесс – после 1ого скрещивания наступает условное равновесие, до наступления новых мутаций;

2. изоляция – чем меньше общество, тем вероятней проявление;

3. волны жизни;

4. отбор.

Ген – реально существующая, независимая, комбинирующая и расщепляющаяся при скрещивании единица наследственности или самостоятельно наследующийся наследственный фактор. Генотип – совокупность генов (внутри признаки). Фенотип – совокупность всех внешних факторов (внешние и внутренние признаки).

Морган: основные положения теории:

1. все признаки организмов находятся под контролем генов;

2. Гены, элементарные единицы наследования информации, находятся в хромосомах;

3. гены могут изменяться – мутировать

4. мутация отдельных генов приводит к изменениям отдельных простых элементов признака

Комплекс генов, содержащихся в наборе хромосом одного организма, образует ГЕНОМ.

Рекомбинация – подразумевается несколько типов перераспределения наследственных факторов:

1. рекомбинация хромосомных и нехромосомных генов

2. рекомбинация целых, не гомологичных хромосом

3. рекомбинация участков хромосом, представленных непрерывными молекулами ДНК. 3 разбивается на типы, один из типов называется кроссинговер.

Мутация – возникновение качественно новых генов, хромосом и наборов хромосом. Сочетание вызывает изменение генотипа.

Аллель – определенный химический состав гена. Хромосомные мутации подразделяются на типы (6):

1. Транслокация – перенос части одной хромосомы на другую

2. Транспозиция – перемещение генетического материала между хромосомами или внутри одной хромосомы (небольшие участки генов, по протяженности сопоставимые с геном)

Селекция – форма искусственного отбора . была создана Ч. Дарвином. 3 формы отбора: естественный, бессознательный, методический.

Популяции – многочисленная совокупность особей определенного типа в течении длительного времени населяющая определенный участок географического пространства. Гены – специфические молекулы ДНК. -> состояние гена – аллель.

Факторы, влияющие на эволюцию по степени убывания:

1. естественный отбор

2. изоляция

3. колебание численности популяции

4. мутационные процессы

Полезным для решения генетических задач могут быть следующие генетические операции:

1. кроссинговер

2. мутация

3. инверсия

4. транслокация

5. транспозиция

6. селекция

7. генная инженерия

Генетический алгоритм – адаптивный (оптимизационный) поисковый метод, который основан на селекции лучших элементов популяции. В генетических алгоритмах используются генетические операторы: скрещивание, мутация и т.д.

Генетический алгоритм это поисковые алгоритмы, основанные на механизмах натуральной селекции, натуральной генетики. Они реализуют «выживание сильнейших» среди рассмотренных структур, формируя и измеряя поисковый алгоритм на основе моделирования эволюции поиска. В каждой генерации новое множество искусственных последовательностей создается, используя части старых и добавляя части с новыми свойствами («хорошими» свойствами). Генетические алгоритмы это не просто случайный поиск, в них эффективно используется информация, накопленная в процессе эволюции.

Цели генетического алгоритма:

1. абстрактно и формально объяснить адаптацию процесса в естественных системах

2. спроектировать искусственные программные системы, которые содержат механизмы естественных систем.

3. Центральная тема поиска в генетических алгоритмах: Поиск баланса между эффективностью и качеством для «выживания», т.е. получение оптимальных решений в различных условиях.

Можно выделить 3 типа поисковых методов»

1. вычислительные

1 класс – непрямые методы – находят экстремумы функции, 2 класс – прямые методы – связывают с многокритериальными задачами

2. невычислительные

3. случайно направленные

3 подхода: 1. чисто случайный поиск, 2. моделирование отжигом, 3. генетические алгоритмы.

Генетические алгоритмы отличаются от других оптимизационно - поисковых процедур следующим:

1. работают в основном не с параметрами, а с закодированным множеством параметров;

2. осуществляют поиск из популяции точек, а не из единственной точки

3. используют целевую функцию, а не ее различные приращения для оценки информации

4. используют не детерминированные, а вероятностные правила.

Блок – схема генетического алгоритма

ГА берет множество натуральных параметров оптимизационной проблемы и кодирует их как последовательность конечной длины в некотором конечном алфавите (0 и 1). ГА работает пока не будет выполнено заданное количество генераций или на некоторой генерации будет получено заданное качество решения или возникает прежднвременная сходимость, когда найден локальный оптимум и ГА не может найти из него выход.

Сравнение некоторых терминов естественной генетики и ГА:

1. Хромосома - решение, стринг, последовательность, индивидуальность, родитель, потомок, ребенок

2. Популяция – набор решений /хромосом

3. Локус – местоположение генов в хромосоме

4. Генерация – процесс реализации одной итерации алгоритма

5. Ген – элемент

6. Аллель – величина или значение элемента

7. Фенотип – структура Га

8. Эпистасис – множество параметров или альтернативное решение.

Простой ГА по Холланду (Holland, 1975):

1 шаг Конструируется начальное популяция

2 шаг Выбирается случайным образом одна хромосома из популяции

3 шаг Копирование выбранной хромосомы, для применения генетических операторов и создать новую структуру /хромосому/

4 шаг выбирается 2ой элемент случайным образом из популыции

5 шаг применения генетических операторов

6 шаг создание новой популяции

7 шаг возврат к шагу 2 или окончание.

Механизм простого ГА состоит в том, что он копирует последовательности и переставляет их части. Предварительно ПГА случайно генерируют популяцию последовательностей и затем применяют множество простых операций к начальной популяции и генерируют новые популяции.

ПГА состоит из 3 операторов:

1. репродукция

2. кроссинговер

3. мутация

Репродукция – это процесс, в котором хромосомы копируются согласно их целевой функции. Биологи называют эту функцию – fitness. Копирование хромосом с лучшими значениями целевой функции имеет большую вероятность для их попадания в следующую генерацию. Оператор репродукции является искусственной версией натуральной селекции, т.е. выживания сильнейших по Дарвину. Оператор репродукции в алгоритмической форме создается различными способами. Самый простой – это создать колесо рулетки, в которой каждая хромосома имеет поле пропорциональное ее целевой функции.

Max f(x)=x^2 на [0; 31]. Для реализации строим табл.

№	Хромосома (двоичный код)	Десятичные значения	Целевая функция	Значение целевой функции в %
1	01101	11	169	14,4
2	11000	24	576	49,2
3	01000	8	64	5,5
4	10011	19	361	30,9

Кроссинговер. После оператора репродукции оператор кроссинговера может выполняться в 3 шага:

Пример: до применения OK 1: 0110|1; 2: 1100|0. после 1’: 0110|0; 2’: 1100|1 k=4. число к, выбранное случайно, называется точкой оператора кроссинговера или точкой разрыва (пересечения) оператора кроссинговера.

Одноточечный или простой оператор кроссинговера по Холланду:

1. 2 структуры или хромосомы, т.е. A=a1, a2, ...aL.; B= a’1, a’2, ...a’L. выбираются случайно из текущей популяции после оператора репродукции.

2. число л выбирается из множества {1, 2,...L-1} тоже случайно. L – длина хромосомы, к – тоска оператора кроссинговера.

3. две новые хромосомы формируются из А и В, заменяя множество элементов. В результате получим: A’=a1, a2,..ak, a’k+1, a’k+2, ...a’L. B’=a’1, a’2, ...a’k, ak+1, ak+2, ...aL.

Мутация. Считается вторичным механизмом ГА. Согласно Холаннду оператор мутации состоит из 2х этапов:

1. В хромосоме A= a1, a2, a3,...aL-2, aL-1, aL меняется случайным образом 2 позиции, например 2 и L-1

2. Гены соответствующие выбранным позициям меняются местами и образуется новая хромосома A= a1, aL-1, a3,...aL-2, a2, aL.

В простых ГА оператор кроссинговер это бинарная операция, а мутация – унарная операция. Выделяют 2 основных механизма воспроизводства хромосом:

1. потомки являются точными копиями родителей

2. потомки имеют большие отличия от родителей.

Способы реализации ГА:

1. Начальная популяция выбирается любым случайным образом, например подбрасываем монетку.

2. репродукция выполняется через моделирование движения колеса рулетки

Инверсия – генетический оператор по Холланду:

1. структура (хромосома) выбирается случайным образом из текущей популяции B=b1, b2, ..bL

2. 2 числа y’1 и y’2 выбираются случайным образом из множества Y={0,1,2,..L+1} причем считается, что y1=min{y’1, y’2} , а y2=mах{y’1, y’2}

3. новая структура формируется из В инвертируя сегмент, который лежит справа от позиции y1 и слева от позиции y2 в хромосоме В. Получим B’=b1, ..by1, by2-1, by2-2, .. by1+1, by2, bL.

Пример. В={1,2,3,4,5,6} y’1=6 и y’2=2 => y1=2 и y2=6 B’= {1, 2, 5, 4, 3, 6}