7.2.3 Законы подкрепления и выработки рефлексов в инструментальном и оперантном обучении

(При написании данного раздела в основном использовалась книга Карен Прайор «Не рычите на собаку».

Подкрепление

Обучение с подкреплением – это вовсе не система наград и наказаний. Современные этологи даже не используют этих терминов. Награды и наказания приходят уже после того, как действие совершено, часто спустя длительное время, как это бывает в суде. Они могут повлиять, а могут и не повлиять на будущее поведение, но они не в состоянии воздействовать на уже совершенное поведение. Подкрепление, независимо от знака – «положительное», то к чему надо стремиться, или «отрицательное» – то чего нужно избегать, должно происходить во время поведения. Оно должно быть включено в поведенческий акт, чаще всего как сам результат или неотъемлемая часть результата. Как правило, оно должно быть приурочено к стадии акцептора результата действия. В этом случае положительная эмоциональная активность с одной стороны закрепляет достигнутый новый уровень адаптации (если рефлекс не выработан до автоматизма) и вызывает релаксацию, необходимую для другой деятельности. Если рефлекс выработан до автоматизма, то положительная эмоция вызывает только релаксацию и переход в состояние готовности для другого действия. Если подкрепления не следует, и, если действие выполнено не совсем адекватно, то возникает негативная эмоция, которая ведёт к повторению действия или пересмотру тактики выполнения. То есть действие выполняется по-другому. Если подкрепления нет слишком долго, то следует отказ от действия. Поэтому подкрепление должно сопровождать определенное количество действий и оно должно вести к правильному выполнению действия.

Подкрепление является высокоэффективным средством управления поведением. Поведение, которое уже встречается, вне зависимости от того насколько оно спорадично, всегда можно усилить за счёт подкрепления. Нельзя подкрепить поведение, которое не встречается. Когда мы получаем подарок и горячо и искренне благодарим дарителя, мы подкрепляем его действия. Если же мы встречаем подарок равнодушно, то он не получает искомого подкрепления. Когда в разговоре с докучливым собеседником, которому необходимо просто выговориться или изобразить активную деятельность, мы активно отвечаем на его вопросы, обсуждаем его суждения и предложения, высказываем собственную точку зрения, вежливо улыбаемся и поддакиваем, мы также подкрепляем его поведение. Если мы сухо и сжато отвечаем на его вопросы, постоянно критикуем его взгляды, указываем на ошибки и недостатки, то мы быстро лишаем собеседника желания вести разговор и, возможно, общаться с вами в будущем.

Подкрепление имеет свои законы, соблюдение которых принципиально для эффективного управления поведением.

Правила и способы подкрепления

1. Режимы подкрепления. При инструментальных рефлексах привыкание имеет еще большее значение, чем при классических условных рефлексах. В результате его развития непрерывно продолжающееся подкрепление может не только существенно снизить поведение, но и даже вызвать отрицательную реакцию. Подкрепление каждого действия нужно только в момент выработки рефлекса. Для поддержания рефлекса применяют подкрепление периодическое, с определенными интервалами.

Различают подкрепление: а) по постоянному соотношению, когда подкрепляется каждая, например, 6 или 10-я реакция; и б) по переменному соотношению, когда интервал между подкреплениями задается непроизвольно; в) отсроченное подкрепление.

Режим подкрепления по постоянному соотношению или плану применяется при формировании поведенческих программ, когда, с одной стороны, невозможно подкреплять каждое из действий, с другой стороны, подкрепление естественным образом символизирует завершение определенного этапа работы. Главной проблемой, возникающей при этом режиме подкрепления, является то, что наиболее сильной оказывается та попытка, которая регулярно подкрепляется. Это связано с тем, что животное довольно хорошо усваивает ритмическую активность. При этом дополнительным отрицательным моментом может выступать градиент цели – в момент подкрепляемого условнорефлекторного акта он максимален. Поскольку хорошо известно, когда придёт подкрепление, то мотивация к действию нарастает от первого выполнения рефлекса в серии к последнему, подкрепляемому. В этой связи всегда бывает максимально трудно начать первое действие, так как оно минимально мотивировано. При этом, чем больше неподкрепляемых действий в программе поведения, тем меньше градиент цели и тем труднее даётся первое действие.

Режим подкрепления по вариативному (или по переменному) соотношению является наиболее эффективным средством для поддержания поведения на постоянном уровне. Кроме этого, при использовании режима по переменному соотношению происходит своеобразное усложнение задачи. Очередное неподкрепление вызывает отрицательные эмоции, которые толкают на повторное совершение поведения. Полученное в конце концов подкрепление, подтверждает правильность выбранной стратегии поведения и формирует положительную эмоциональную активность, которая закрепляет поведение как достигнутый высокий приспособительный результат. Поскольку объем совершенных действий для получения такого подкрепления велик по сравнению с подкреплением при каждом движении, эмоциональная реакция в ответ на полученное подкрепление высока.

Действенность вариативного подкрепления лежит в основе всех азартных игр. Людям нравится играть с автоматом, потому что выигрыш непредсказуем. Чем длиннее интервалы подкрепления в вариативном режиме подкрепления, тем сильнее он стимулирует поведение.

Вариативный метод подкрепления неприменим в задачах на дифференцировку. Там подкрепление является единственным критерием правильности ответа.

2. Подкрепление носит относительный, а не абсолютный характер. Пища будет очень слабым или не будет вообще подкреплением для сытого животного в начале выработки. В зависимости от ситуации купание может оказывать положительное или отрицательное влияние на настроение. Сквозняк в комнате может иметь различную эмоциональную значимость оценку в зависимости от величины температуры и от времени года (зима и лето) и от состояния животного или человека.

3. Подкрепление не должно быть отделено от самого события. Структурно оно должно быть воспринято как часть выполняемого поведения. То есть к моменту получения подкрепления не должен начаться другой поведенческий процесс, иначе не понятно, что подкрепляется. Начало выполнения другого поведенческого акта тормозит все атрибуты предыдущего поведения и собственно говоря, акцептор результата действия и оценка адаптивного значения совершенного поведения, результатом которого собственно и выступает подкрепление, остаются в прошлом.

4. Когда субъект или животное учится, информационное содержание события важнее самого подкрепления. Процесс выработки навыка и выполнения выработанного навыка отличается по сути. В первом случае должна подкрепляться не полезная работа, выполненная с помощью навыка, а правильность и эффективность действия или даже величина прогресса, достигнутого в процессе обучения. Если человек учится выполнять какую-то работу, то самое важное в момент научения то, как быстро он приобретает навыки и насколько правильно он выполняет действия, и менее важно, как много полезных вещей он сделал и какого эти вещи качества. Когда человек освоил навыки, на первое место выступает объем выполненной работы и её качество. Если человек осваивает какую-то работу, то правильным будет хвалить его за то, что определенные действия получаются, но бессмысленно хвалить его за это после того, как он освоил процесс в совершенстве. В первом случае похвала формирует положительную эмоцию на акцепторе результата действия, а ваша оценка со стороны придаёт ей большее значение. Тем самым вы способствуете закреплению полученного высокого адаптивного результата. Во втором случае такая похвала может быть расценена как ирония.

5. Подкрепление должно относиться к завершенному действию. Нельзя подкреплять попытки. Если действие не моет быть совершено сразу, его нужно разбивать на отдельные акты. Акты должны быть оформлены в виде завершенных поступков и отделены друг от друга четкой оценкой результата промежуточного действия.