Условия образования связи

а) Подкрепление. Один из сигналов должен иметь биологическое значение для животного, т.е. должна быть врожденная связь между ним и определенными полезными реакциями. Наличие биологически значимого стимула необходимо, т.к. благодаря ему закрепляются полезные связи.

б) Повторение. Необходимо, чтобы в мозгу существовали и закреплялись устойчивые связи, а не случайные.

Основой научения по типу условного рефлекса является генерализация и дифференцировка стимулов.

Генерализация эффекта заключается в обобщении у.р. и распространения его на все похожие стимулы ( Рефлекс на звук распространяется на стук). Чем меньше похож стимул на исходный, тем слабее реакция.

Дифференцировка предполагает различение стимулов (Реакция на кр. лампочку подкрепляется, а на зеленую –нет).Открытие дифференцировки позволило объяснить многие свойства психики животных. Очень важное свойство у.р., открытое Павловым- угасание у.р. ( У.Р. вырабатывался и не подкреплялся). Данное свойство весьма полезно и существенно, т.к. позволяет « забыть его», если действие теряет свою целесообразность.

Механизм условного рефлекса обеспечивает не просто отражение действительности, а выделение определенных свойств объектов, их обобщение, оценку их значимости для животного.

Открытие условного рефлекса способствовало формированию у многих ученых точки зрения, что все поведение животных и человека можно описать с его помощью. На самом же деле условно рефлекторная модель научения несет в себе существенные ограничения. Они заключаются в том, что при помощи классического условного рефлекса можно только извлечь то поведение, которое у него уже имеется. Однако вопрос о том, как усваиваются новые действия и откуда они берутся остаются открытыми. Для того чтобы ответить на них мы должны перейти к анализу второй категории научения –оперантному научению

Оперантное научение

Оперантное научение – это действия, для выработки которых нужно, чтобы организм активно экспериментировал с окружающей средой и устанавливал связи между различными ситуациями. К этой категории научения относят: метод проб и ошибок, метод формирования реакций и подражание.

Первым исследователем попытавшимся ответить на вопрос о том, откуда берутся новые действия, был Э. Торндайк. Кстати, человеком, побудившим Торндайка заняться изучением рассудочной деятельности животных, был Ллойд Морган, который читал лекции в Гарвардском университете. Однажды Морган рассказал Торндайку случай, как его собака Тоби научилась открывать задвижку на калитке, просовывая голову сквозь штакетник и тот , вскоре после посещения Моргана стал разрабатывать способы повторения этого наблюдения в условиях лабораторного эксперимента. Он исследовал поведение животных в ситуации «проблемной клетки». ( Пример с кошкой). Анализируя полученные результаты, Торндайк предположил, что процесс формирования навыка определяется 3-мя законами:

1. Закон готовности. Должно иметься состояние организма, которое толкает его на соответствующую деятельность.

2. Закон упражнения. Чем чаще животное совершает действия, тем вероятнее, что оно будет его впоследствии выбирать.

3. Закон эффекта. Чаще повторяется действие, дающее положительный эффект.

Механизм формирования навыка представляет таким образом следующее: помещенное в проблемную ситуацию животное ведет себя сначала хаотично. В процессе хаотичных действий оно случайно наталкивается на действия, дающие решение задачи. Эти действия впоследствии повторяются и закрепляются. Так , животное накапливает и закрепляет правильные действия. Данный метод научения был назван методом « проб и ошибок». Опыты Торндайка положили начало новому типу научения, в основе которого лежит понятие награды. Награда отличается от подкрепления тем. Что она дается после Реакции, а не до нее. Подкрепление вызывает ответное действие ( Реакцию), а награда- закрепляет ее. В этом и разница в подходах Павлова и Торндайка. По Павлову_ - поведение управляется сигналами о свойствах внешнего мира, биологически значимых для организма; с т. зр. Торндайка_ поведение управляется собственными результатами. Однако Торндайк не объяснял механизмы открытого им нового вида научения.

Эту попытку предпринял Бенджамен Фредерик Скиннер. Опираясь на положения теории Торндайка о случайном характере научения, Скиннер предположил, что в основе этого типа научения лежит также условный рефлекс, но иного типа, нежели классический. Этот вид условного рефлекса был назван оперантным (инструментальным) условным рефлексом.

По Скиннеру О.У.Р. это механизм отбора полезных действий, научения этим полезным действиям. В основе его лежит активность животного, вызываемая потребностью. Вместе с тем, О.У.Р. имеет те же самые особенности, что и К.У. Р. Давайте, разберем оперантную модель научения по той же самой схеме, что и классическую.

Модель научения Скиннера.

Сущность научения: усвоение организмом новых биологически полезных реакций и форм поведения.

Содержание научения: образование оперантных связей между безусловным раздражителем и определенными ответными действиями на них в данной ситуации.

S усл. ----------------- R ------------------------ S безусл.

Условия образования связи:

а) активность организма, порождающая различные случайные движения.

б) награда, как подкрепление совершенных действий в данной ситуации.

в) достаточная систематичность подкреплений и их немедленное следование за подкрепляемой реакцией.

Основы научения: формирование моторных дифференцировок, т.е. различение, выбор и закрепление форм поведения, которые подходят для различных ситуаций.

Оперантный условный рефлекс может быть усложнен различными способами.

Пример: крысу научали выбирать светлую дверь, где лежала приманка, и входить в нее. После научения она постоянно выбирала светлую дверь, независимо от ее расположения.

С точки зрения Скиннера, поведение не всегда возникает чисто случайно, а формируется в результате отбора под действием подкрепляющего фактора. Таким фактором может быть любой стимул, появляющийся или исчезающий после той или иной поведенческой реакции и повышающий вероятность того, что эта реакция будет повторена с целью получения подкрепления. Это позволяет объяснить формирование очень сложных поведенческих реакций, поэтапно, где каждый этап подкрепляется. Исходя из этого Скиннер, разработал способ формирования поведения путем последовательных приближений, составляющий основу оперантного научения. Этот метод получил названия метода формирования реакций.

Сущность его заключается в том, что весь путь от исходного поведения (до начала обучения) до конечной реакции, которую хочет выработать исследователь, разбивается на несколько этапов. В дальнейшем остается только систематически и последовательно подкреплять каждый из этих этапов и таким образом подводить животное к нужной форме поведения. При таком способе животное вознаграждают каждый раз, когда оно осуществляет действие, приближающее его к цели.

Пример: надо обучит голубя ударять клювом по маленькому светящемуся кружку, когда он захочет получить вознаграждение в виде зернышка. Вначале он получает зерно каждый раз, когда заходит в ту половину клетки, где расположено пятно. Далее он получает вознаграждение только в том случае, если он не только зашел на нужную половину клетки, но и повернул голову к стенке, где расположено пятно. Затем, можно давать награду при сочетании указанных двух условий, но и когда он направляет свой клюв в сторону пятна. Затем постепенно, можно заставить голубя касаться клювом пятна и, наконец, ударять по нему с целью получения вознаграждения.

При таком методе обучения переход к следующему этапу возможен, если сформировалась поведенческая реакция на предыдущем.

По мнению Скиннера и других представителей бихевиоризма , именно так происходит выработка большинства поведенческих реакций у человека. В частности, довольно убедительно с позиций этой концепции можно объяснить быстрое обучение ребенка первым словам. (Родители подкрепляют своим поведением правильные звуки, а те, которые не подкрепляются, отбрасываются)

Однако концепция Скиннера не давала ответа на ряд вопросов: как образуется связь между ситуацией и двигательным актом? Что порождает необходимую активность животного? В чем сущность награды?

Последующие эксперименты внесли некоторые коррективы в предложенную схему Торндайка и Скиннера. В частности было установлено, что активность животного не всегда носит случайный характер. Это не просто припадок двигательной активности. Эта активность носит поисковый характер, источником, которой является ориентировочный рефлекс. Он актуализируется при попадании животного в новую ситуацию и выражается в действиях, позволяющих накопить информацию об окружающей обстановке. Круг реакций, в котором ведется поиск, определяется целью поведения (потребностью). Форма этих реакций определяется как врожденными структурами поведения, так и накопленным опытом, который обеспечивал в прошлом достижение биологических целей. Отбор нужных действий подчиняется ситуации, которая определяет, какие именно из опробованных действий позволяют реализовывать соответствующую цель. Наградой животному в этом случае служит не сам результат по себе, а сопоставление его с биологическим аппаратом цели. Это говорит о том, что у животных имеется нейро - психологический аппарат, производящий сравнение результата действия с биологической целью. Данный аппарат был назван П.К. Анохиным «акцептор результата действия». Наблюдения подтверждают данное положение.

( Эксперимент с обезьяной, двумя чашками и замена банана листом салата)

При этом развертывание, усвоение и реализация навыка направляется всем опытом, в частности образом всей ситуации.

(Классический условный рефлекс. Реагирует на все. «Башня молчания». Внешние побочные раздражители нужны для того, чтобы деятельность вообще могла осуществляться) .

Подражание

Эта форма научения развита у молодых животных и связана с механизмом импритинга. В одной из лекций я вам говорил, что певчие птицы научаются петь на основе подражания. В одном из экспериментов новорожденные птенцы мухоловки пеструшки были пересажены в гнезда других видов птиц. Оказалось, что 80% из них имитировали песню вида-воспитателя, хотя и слышали пение птиц своего вида. Подражание- это способ научения, при котором животное воспроизводит действия модели на основе наблюдения за ней, не всегда понимая их значение. В зависимости от доли инстинктивных компонентов в этом процессе выделяют несколько видов подражания( имитационного научения) ( по К.Э.Фабри):

1. Аллеломимитическое имитационное научение. Это видотипичное, инстинктивное поведение, основанное на взаимной стимуляции ( Коровы на лугу).Оно относится непосредственно к инстинктивному поведению.

2. Имитационное научение (научение на основе подражания). Оно заключается в индивидуальном формировании новых форм поведения путем восприятия действий других животных. Оно подразделяется на облигатное и факультативное.

Облигатное имитационное научение, которое укладывается в рамки видового стереотипа. Животные путем подражания научаются выполнять некоторые жизненно необходимые действия обычного поведенческого репертуара своего вида. Пример : гнездостроительство у птиц, когда молодая птица совершает манипулирование предметами, характерными для данного вида.

2. Факультативное имитационное научение.

• невидотипичное имитационное манипулирование ( подражание обезьян действиям человека).Производимые ими действия выходят за рамки видового поведения.

• Имитационные решения, которые заключаются в том, что у животных – «зрителей» вырабатывается определенный навык в результате одного лишь созерцания действий другой особи, направленных на решение определенной задачи. Однако отмечается, что на основе имитационных решений, не могут полностью сформироваться инструментальные навыки. Так американский психолог Б. Бек установил, что павианы- зрители, наблюдая за употреблением орудий при решении задачи своими сородичами, оказались не способны к имитационному решению сложной задачи, но впоследствии они намного чаще и интенсивнее, чем до опытов, манипулировали этими орудиями.

Когнитивное научение.

При когнитивном научении речь идет не об ассоциативной связи между 2-мя ситуациями(как при РН) и не между ситуацией и реакцией( как в случае ОН), а об оценке данной ситуации с учетом прошлого опыта.

Одним из пионеров когнитивного подхода в теории научения был Эдвард Толмен. Он провел опыты с крысами, которые заключались в том, что крысу в экспериментальной серии просто пускали в лабиринт, как бы познакомиться, а затем проводили классический эксперимент. Толмен установил, что в этом случае навык у нее был успешней. По его мнению, обучение крыс в лабиринте не происходит механически, как считали представители классического бихевиоризма. Если бы крысы механически усваивали навык, то в случае перекрытия их обычного пути в лабиринте или изменения каких-то условий, они были бы вынуждены были бы отыскивать новый маршрут, ведущий к цели, т.е. научаться заново. Однако, Толмен обнаружил, что если крыса уже научилась находить пищу по кратчайшему маршруту, то после закрытия этого пути она спонтанно меняет свой маршрут и без какого-либо нового научения и новых «проб и ошибок» отыскивает пищу, но идет уже по другому, более длинному пути. В других экспериментах Толмен показал, что если залить коридоры лабиринта водой, то крыса все равно находит правильный путь, но уже вплавь. Естественно, что при этом они используют совершенно иные двигательные реакции. Таким образом, по мнению Толмена, животные усваивают не связь между стимулом и реакцией, а значение стимула, как своего рода «дорожного знака». Как говорил исследователь, «животные узнают, что к чему ведет». При обучении в лабиринте в единое целое интегрируются запахи, особенности стенки или угла, связи между различными элементами . Животное как бы располагает эти элементы в пространстве, преобразуя совокупность относительно разнородных стимулов в единое интегрированное целое. Такая созданная в мозгу карта окружающей среды или когнитивная карта помогает животному ориентироваться в ситуации, с помощью которой организм определяет, какие реакции будут наиболее адекватными в какой-либо новой ситуации или при внезапном изменении привычных обстоятельств. Этот вид научения Толмен назвал латентным научением, который является одной из разновидностей когнитивного научения.

Итак, мы с вами рассмотрели основные категории научения. Концепция научения, заложенная в трудах И.П. Павлова, нашла свое дальнейшее развитие в бихевиористическом направлении. Бихевиористы вслед за Уотсоном утверждали, что организм может выработать любую форму научения, если будут созданы благоприятные условия. Вместе с тем исследования показывают, что способность к выработке поведенческих реакций имеет свои пределы. Ряд биологических факторов препятствует включению многих реакций в поведенческий репертуар того или иного вида. Какие же это факторы?

1.Физическая конституция. Формирование тех или иных форм поведения ограничено строением тела и уровнем развития нервной системы. Нельзя научить нажимать рыбу нажимать плавником на рычаг в аквариуме, а дождевого червя безошибочно находить дорогу в сложном лабиринте (они с трудом могут поворачивать направо,что было отмечено в экспериментах Йеркса).Существуют и не столь очевидные ограничивающие факторы.

Чтобы избежать удара эл. током, крыса в минуты опасности либо бежит, либо готовится к обороне, либо начинает метаться, или застывает в какой-либо позе, но не стремится нажимать на рычаг. Данное действие не входит репертуар оборонительных реакций.

2.Биологические ритмы. Крысы –ночные животные, поэтому они активны ночью, а лабораторные эксперименты как правило проводятся днем. Поэтому нельзя с уверенностью сказать в какой фазе циркадного ритма находится крыса в момент опыта.

Пример: хомяк и бурундук. Хомяк –ночное животное, бурундук- дневное животное. Пик активности наступает в середине дня. Точно такая же ситуация и по временам года. Весной бурундук нажимает около50 раз в день, летом-100 раз, а перед зимней спячкой- 2000 раз.Если не учитывать биоритмы, то очень трудно будет объяснить различия в активности у этих животных.

3.Инстинктивные склонности. Многочисленные примеры показывают, что если обучать животных формам поведения, которые вступают в конфликт с инстинктмаи, то последние берут вверх над приобретенными поведенческими реакциями.

Преобладание инстинктов. В 50-е годы ряд исследователей вырабатывали навыки у некоторых животных: енотов- полоскунов, свиней, кур с помощью метода оперантного обусловливания. Сначала работа шла легко. Еноты подбирали монету и клали ее в деревянный ящик, свиньи рылом подталкивали монету к большой копилке в виде поросенка. Каждая такая реакция подкреплялась. Однако через некоторое время еноты уже не так охотно расставались с монетой, а предпочитали оставлять у себя, манипулируя с ней и оглаживая ее лапами, а, если и опускали в коробку, то вынимали ее обратно. Свиньи не так охотно толкали монету, а по дороге подбрасывали ее в воздух и пытались зарыть в землю, чтобы потом выкопать. Т.е. исследуемые животные в этих искусственных условиях поступали также, как в естественных условиях они поступают со своей пищей.

Самоформирование реакций. В этом методе мы сталкиваемся с другим удивительным примером тех жестких рамок, которые накладывают инстинкты на поведение.

Пример: Если через определенные промежутки времени подавать голубю в кормушку зерно, предваряя это световым сигналом, то голубь вскоре все чаще и чаще будет поклевывать пластинку, на которой появляется сигнал, хотя такая реакция нисколько не влияет на получение пищи. Сначала такое самоформирорвание реакций приписывали классическому обусловливанию, где рефлекторное поклевывание пластинки рассматривали как условный рефлекс. Если это так, то после неподкрепления данная реакция должна угасать, однако это не так, голубь начинает все чаще и чаще поклевывать пластинку, даже если пища задерживается. По Дженкинсу реакция голубя связана сведущей потребностью. Если голоден - поклевывание, если хочет пить, а подкрепление в виде воды- глотательные движения, если же после светового сигнала помещать в клетку самку готовую к спариванию, голубь начинает ухаживать за лампочкой.

Это говорит о том, что реакция голубя не произвольна , а тесно связана с природой подкрепляющего агента. В основе самоформирования реакции лежит связь между классическим и оперантным обусловливанием: световой сигнал является у.р. , вызывающим у. Реакцию, связанную с видом подкрепления.