4.4. Анализ эффективности разработанного подхода на основе тестирования обучаемых
Эксперимент является важнейшим средством получения новых знаний не только в области естественных и технических наук, но и в экономике, социологии, политике, психологии, литературоведении и в других отраслях. Экспериментальные исследования дают критерии оценки обоснованности и приемлемости на практике любых теорий и теоретических предположений. Одним из основных этапов любого эксперимента является статистическая обработка экспериментальных данных.
В ходе обработки результатов эксперимента устанавливаются закономерности исследуемых явлений и процессов, происходящих с участием изучаемого объекта, которые позволяют получить достоверный ответ на интересующие исследователя задачи и вопросы.
Для получения надежных и достоверных результатов экспериментальных исследований необходимо осуществить:
• анализ характеристик исследуемого объекта во всем многообразии свойств, предусмотренных целью проведения диссертационного исследования, на основе имеющихся сведений, полученных другими исследователями и опубликованных в источниках информации;
• разработку программы экспериментальных исследований;
• обоснование выбора количественных параметров (критериев или измеряемых величин) оценки свойств объекта, выбрать их размерности и способы измерения в ходе эксперимента;
• определение всех факторов, влияющих на выбранные на основе поисковых исследований (если в этом есть необходимость) для наблюдения параметры рассматриваемого объекта в условиях протекания изучаемых явлений и процессов;
• рассмотрение причинно-следственных связей между параметрами оценки свойств объекта и выявленными факторами;
• ранжирование факторов по степени их влияния на параметры (критерии) оценки свойств объекта и выделение из них основных (доминирующих);
• определение рациональных интервалов варьирования выделенных факторов для установления соответствующих закономерностей, предусмотренных программой исследований по диссертации;
• фиксирование остальных факторов на определенных (возможно, лучших) уровнях варьирования;
• разработка конструктивно-технологических схем опытно-экспериментальных установок или стендов, обеспечивающих реализацию намеченной программы исследований;
• изучение возможностей моделирования объекта;
• подбор соответствующей существующей или разработка новой измерительной аппаратуры, фиксирующей во время проведения экспериментов измеряемые величины через исполнительные органы (датчики, усилители, компьютеры и т.д.);
• разработка методики тарировки выбранных средств измерения, их установки для надежного измерения или регистрации контролируемых величин;
• разработка методики обработки первичной документации, в том числе журналов наблюдений, протоколов или актов исследований, с обеспечением требований надежности, точности и достоверности результатов эксперимента.
Анализ проводился на примере студентов 4 курса факультета ИРТ (на примере дисциплины «Технология разработки программного обеспечения», специальностей: 010503 – Математическое обеспечение и администрирование информационных систем и 230105 – Программное обеспечение вычислительной техники и автоматизированных систем).
Для оценки эффективности применения игровых технологий был проведен эксперимент, включающий в себя проведение занятий с использованием игровых технологий и последующее тестирование эффективности усвоения дидактических единиц. Занятия проводятся по дисциплине «Технология разработки программного обеспечения» для студентов специальности «Математическое обеспечение и администрирование информационных систем», производится формирование компетенций, связанных с усвоением следующих дидактических единиц (ДЕ): ДЕ №1- характеристики программных про-дуктов (ПП), ДЕ №2 - классификация ПП, ДЕ №3- Жизненный цикл (ЖЦ) раз-работки программного обеспечения (ПО), ДЕ №4 - ошибки в ПП, ДЕ № 5 - гра-фик разработки ПП, ДЕ №6 - специализации программистов. Примерный план проведения такого занятия (2 академических часа) приведен ниже.
1. Вводная лекция (15 мин.). Формируемая компетенция: первичные знания в области технологии разработки программного обеспечения (ПО) (уровни обученности: 1-3).
2. Репродуктивное упражнение (15 мин.): групповая интеллектуальная игра «Характеристика». Формируемая компетенция: демонстрация знаний основных характеристик ПП (уровни обученности: 1-4).
3. Репродуктивное упражнение (20 мин.): групповая интеллектуальная игра «Определение». Формируемая компетенция: демонстрация умения классифицировать программные продукты (уровни обученности: 1-4).
4. Репродуктивное упражнение (20 мин.): групповая интеллектуальная игра «Порядок». Формируемая компетенция: демонстрация умения упорядочивать процессы ЖЦ (уровни обученности: 1-4).
5. Репродуктивный многоуровневый последовательный (перекрестный) тест (20 мин.). Формируемая компетенция: демонстрация знаний и умений, соответствующих 1-4 уровням обученности.
Проверка усвоения и закрепления когнитивной профессиональной компетенции (уровни обученности 1-4) проводится с помощью репродуктивного многоуровневого последовательного (перекрестного) теста.
Был проведен статистический анализ тестирования обучаемых дневных и вечерних форм обучения в течение 4-х лет. Тесты состоят из пяти вопросов, соответствующих разным уровням обученности (4 варианта), включают в себя вопросы открытого и закрытого типов (табл.4.10).
Таблица 4.10 – Исходные данные о вариантах тестовых заданий
№ варианта |
№ вопроса |
баллы |
вид игры |
Уровень обученности |
Дидактические единицы |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
2 |
8 |
2 |
2 |
2 |
1 |
3 |
4 |
3 |
3 |
3 |
1 |
4 |
3 |
3 |
2 |
3 |
1 |
5 |
4 |
2 |
1 |
4 |
2 |
1 |
4 |
1 |
2 |
1 |
2 |
2 |
4 |
3 |
3 |
3 |
2 |
3 |
4 |
2 |
1 |
4 |
2 |
4 |
2 |
3 |
3 |
3 |
2 |
5 |
3 |
0 |
2 |
5 |
3 |
1 |
4 |
1 |
2 |
1 |
3 |
2 |
8 |
2 |
3 |
2 |
3 |
3 |
4 |
0 |
3 |
6 |
3 |
4 |
2 |
3 |
2 |
3 |
3 |
5 |
3 |
0 |
2 |
5 |
4 |
1 |
4 |
1 |
2 |
1 |
4 |
2 |
4 |
0 |
3 |
6 |
4 |
3 |
4 |
3 |
3 |
3 |
4 |
4 |
3 |
0 |
2 |
5 |
4 |
5 |
8 |
3 |
2 |
3 |
В табл.4.11 приведены сведения о видах групповых интеллектуальных игр, используемых при обучении.
Таблица 4.11 – Виды игр
Вид групповой интеллектуальной игры |
№ |
"Характеристика" |
1 |
"Определение" |
2 |
"Порядок" |
3 |
"Структура" |
3 |
Отсутствие игры |
0 |
В табл.4.12 приведены данные, характеризующие долю студентов, ответивших правильно на вопросы теста, содержащие соответствующие дидактические единицы, от общей численности студентов.
Таблица 4.12 – Результаты усвоения дидактических единиц
№ п/п |
Дидактические единицы |
Уровень обученности |
||
1 |
2 |
3 |
||
1 |
характеристики ПП |
0,99 |
|
|
2 |
классификация ПП |
|
0,78 |
|
3 |
ЖЦ разработки ПО |
|
0,83 |
|
4 |
ошибки в ПП |
|
0,91 |
|
5 |
график разработки ПП |
|
0,67 |
|
6 |
специализации программистов |
|
|
0,77 |
После проведенного эксперимента его результаты были сгруппированы по уровням обученности, которыми обладают дидактические единицы, включенные в тестовые задания, и типам проведенных игр (табл.4.13).
Таблица 4.13 – Результаты анализа эффективности усвоения дидактических единиц
ДЕ |
Уровень обученности |
Тип игры |
Результат тестирования |
|
% усвоения |
% обучаемых |
|||
1 |
1 |
«Характеристика» |
90-100 |
100 |
2 |
2-3 |
«Определение» |
90-100 |
50 |
70-89 |
46 |
|||
50-69 |
4 |
|||
3 |
3 |
«Порядок» и «Структура» |
90-100 |
73 |
70-89 |
13 |
|||
50-69 |
5 |
|||
30-49 |
9 |
|||
5 |
2 |
Без игры (традиционная форма проведения занятия) |
90-100 |
33 |
70-89 |
39 |
|||
50-69 |
6 |
|||
30-49 |
18 |
|||
0-29 |
4 |
|||
Как видно из таблицы, количество полностью усвоивших (90-100%) дидактическую единицу при использовании игровых методов обучения колеблется от 50 до 100%, а без использования игровых методов – 33%.
Анализ результатов тестирования 299 обучаемых (табл. 4.14, рис.4.19) показывает, что применение групповых интеллектуальных игр в образовательном процессе для усвоения дидактических единиц (ДЕ) способствует повышению процента обучаемых, полностью усваивающих ДЕ, что в свою очередь влечет повышение эффективности самого образовательного процесса.
Для усвоения дидактической единицы №1 («характеристики ПП») была проведена групповая интеллектуальная игра «Характеристика», результаты тестирования показывают, что 99% обучаемых полностью усвоили дидактическую единицу №1. При этом следует учесть, что данная дидактическая единица соответствует уровню обученности №1.
Таблица 4.14 – Результаты анализа эффективности усвоения ДЕ
ДЕ |
Уровень обученности |
Тип игры |
Результат тестирования |
Гистограммы степени усвоения дидактических единиц |
|
% усвоения |
% обучаемых |
||||
1 |
1 |
«Характеристика» |
90–100 |
100 |
|
2 |
2–3 |
«Определение» |
90–100 |
50 |
|
70–89 |
46 |
||||
50–69 |
4 |
||||
3 |
3 |
«Порядок» и «Структура» |
90–100 |
73 |
|
70–89 |
13 |
||||
50–69 |
5 |
||||
30–49 |
9 |
||||
5 |
2 |
Без игры (традиционная форма проведения занятия) |
90–100 |
33 |
|
70–89 |
39 |
||||
50–69 |
6 |
||||
30–49 |
18 |
||||
0–29 |
4 |
||||
Для усвоения дидактической единицы № 2 («классификация ПП») была проведена групповая интеллектуальная игра «Определение», результаты тестирования показывают, что лишь 50% обучаемых усвоили дидактическую единицу № 2 полностью, 43,8% обучаемых усвоили ДЕ на 75%. Данная дидактическая единица соответствует уровням обученности №2-3.
Для усвоения дидактической единицы №3 («ЖЦ разработки ПО») были проведены групповые интеллектуальные игры «Порядок» и «Структура», результаты тестирования показывают, что 8,7% обучаемых усвоили ДЕ №3 на 33%, 18,6% обучаемых усвоили на 50-75%, 72,7% полностью усвоили дидактическую единицу. Данная дидактическая единица соответствует уровню обученности №3. Для усвоения дидактической единицы №4 («ошибки в ПП») была проведена групповая интеллектуальная игра «Определение», результаты тестирования показывают, что 83,7% обучаемых полностью усвоили дидактическую единицу. Данная дидактическая единица соответствует уровню обученности №1.
Анализ показывает, что применение групповых интеллектуальных игр в образовательном процессе для усвоения дидактических единиц (ДЕ) способствует повышению процента обучаемых, полностью усваивающих ДЕ, что в свою очередь влечет повышение эффективности самого образовательного процесса.