Главная » 2014»Октябрь»1 » Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения. Бойченко,
04:52
Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения. Бойченко,
Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения
Диссертация
Автор: Бойченко, Михаил Михайлович
Название: Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения
Справка: Бойченко, Михаил Михайлович. Разработка и исследование модели для оценки эффективности банков тестовых заданий в компьютерных системах обучения : диссертация кандидата технических наук : 05.25.05 Таганрог, 2007 189 c. : 61 07-5/3759
Объем: 189 стр.
Информация: Таганрог, 2007
Содержание:
ВВЕДЕНИЕ
Глава
I ОБЗОР И АНАЛИЗ ОСНОВНЫХ ЭЛЕМЕНТОВ МОДЕЛЕЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В КОМНЬЮТЕРНЫХ СИСТЕМАХ ОБУЧЕНИЯ Введение
11 Анализ подходов к измерению латентных свойств личности
12 Обзор вероятностных моделей теории недагогических измерений
13 Анализ методов формализации интегральных характеристик эффективности банков тестовых заданий
14 Сравнительный анализ моделей организации процесса обучения в компьютерных обучающих системах
15 Обзор компьютерных средств поддержки педагогической деятельности
Выводы по главе
Глава
II РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ ОЦЕНКИ ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В К0МНБЮТЕРНБ1Х СИСТЕМАХ ОБУЧЕНИЯ Введение
21 Формализация модели педагогических измерений в задаче оценки эффективности банков тестовых заданий
22 Разработка кибернетической модели латентного пространства заданий теста для оценки числовых характеристик тестовых заданий
23 Исследование и оптимизация информационных характеристик моделей банков тестовых заданий на основе модели латентного пространства
24 Разработка обобщенных кибернетических моделей характеристических функций для задач педагогических измерений
25 Разработка и исследование информационных функций банков тестовых заданий
26 Разработка инфологической модели данных для банков тестовых заданий
Выводы по главе
Глава
III РАЗРАБОТКА АЛГОРИТМОВ ПРОЕКТИРОВАНИЯ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КОМНЬЮТЕРНЫХ СИСТЕМ ОБУЧЕНИЯ И ОЦЕНКИ ИХ ЭФФЕКТИВНОСТИ Введение
31 Алгоритм статистической калибровки банков тестовых заданий с помощью метода максимального правдоподобия
32 Алгоритм статистической калибровки банков тестовых заданий с помощью метода наименьших квадратов
33 Разработка метода калибровки банков тестовых заданий с помощью экспертных оценок
4 Разработка алгоритма калибровки обобщенных моделей банков тестовых заданий с помощью экспертных оценок
35 Разработка общего алгоритма проектирования банков тестовых заданий для компьютерных систем обучения
Выводы по главе
Глава
IV РАЗРАБОТКА И ИССЛЕДОВАНИЕ КОМПЬЮТЕРНЫХ СРЕДСТВ ДЛЯ АНАЛИЗА ЭФФЕКТИВНОСТИ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ Введение
41 Разработка функциональной структуры компьютерной системы оценки эффективности банков тестовых заданий
42 Разработка алгоритмов использования оценок эффективности банков тестовых заданий
42 Исследование вычислительной сложности новых алгоритмов проектирования и оценки эффективности банков тестовых заданий
43 Исследование надежности оценок, получаемых с помощью моделей педагогических измерений
44 Сравнительный анализ характеристик компьютерных систем обучения и контроля эффективности банков тестовых заданий
Выводы по главе
ЗАКЛЮЧЕНИЕ СНИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЕ
ПРИЛОЖЕНИЕ
ПРИЛОЖЕНИЕ
Введение:
Начало XXI века ознаменовано новой технологической революцией созданием и всемерным развитием информационного общества, продолжающего развитие предыдущего этана общества тотальной индустриализации. Основой перехода от индустриального этана развития общества к информационному являются информационные технологии. Начальным и важнейшим этапом массового внедрения информационных технологий является сфера образования. Современные информационные технологии открывают обучаемым достун к новым общедоступным источникам информации, повышают эффективность самостоятельной работы, дают совершенно новые возможности для творчества, обретения и закрепления различных профессиональных навыков, позволяют реализовать принципиально новые формы и методы обучения с применением средств концептуального и математического моделирования явлений и процессов [1-7]. Информационные технологии обучения открывают преподавателю возможность автоматизации как отдельных видов учебной работы [8,9], так и любого их набора, то есть проектирования обучающей среды [10,11]. Ориентированные на преподавателя инструментальные средства позволяют оперативно обновлять содержание автоматизированных учебных и контролирующих программ в соответствии с появлением новых знаний и технологий [12-16]. Осуществление информатизации образования требует особой информационной политики, основные положения которой применительно к системе образования России концептуально осознаны и сформулированы. Разработан и осуществляется ряд государственных, межотраслевых научно-технических программ (Федеральные целевые программы (ФЦН): "Электронная Россия (2002-2010 годы)" и "Развитие единой образовательной информационной среды (2001-2005 год)"), предусматривающих выполнение широкомасштабных проектов информатизации образования по следующим основным направлениям: совершенствование базовой подготовки учащихся по информатике и информационным технологиям; совершенствование системы подготовки и переподготовки преподавательских кадров в области информационных технологий; информатизация процесса обучения и воспитания; оснащение системы образования техническими средствами информатизации; создание современной национальной информационной среды и интеграция в нее учреждений образования; создание на базе информационных технологий единой системы дистанционного образования в России; участие России в международных программах, связанных с информационными технологиями в образовании. В связи с нарастающим широкомасштабным применением информационно-коммуникационных технологий в учебном процессе сформировался ряд актуальных проблем в развитии современных методов обучения [6]. Практика и многочисленные исследования показали, что попытки прямого внедрения данных технологий в учебный процесс оказались малоэффективными [22]. Освоив вычислительную технику на уровне пользователей, основная масса преподавателей крайне неэффективно используют ее в учебном процессе. В связи с этим стала очевидной потребность в создании теоретически обоснованных оптимальных подходов к производству новых образовательных средств, в обучении преподавательского состава навыкам и приемам, которыми традиционные преподаватели не владеют [6, 7]. Классические образовательные формы предполагают обязательное наличие в учебном процессе преподавателя. В связи с конечными временными ресурсами последних, приходящимися на одного обучаемого, существует устойчивая необходимость автоматизации процесса обучения. В современной педагогике под обучением понимают совместную деятельность учащегося и преподавателя, направленную на достижение учебных целей, овладение знаниями, умениями и навыками, заданными учебными планами и программами [25]. Бурное развитие вычислительной техники привело к появлению компьютерных систем обучения (КСО) [1,2,9], использующих в качестве основного инструмента обширные базы заданий. Основной целью использования КСО является поддержка качества необходимого образовательного компонента, как средства эффективного решения некоторых педагогических проблем. Совершенствование процесса обучения при применении КСО подтверждается рядом исследований [6,8,11,12]. Этому способствуют факторы индивидуализации обучения, интенсификация обучения [21,22], использования дополнительных выразительных средств вычислительной техники, таких как наглядность, наличие средств моделирования объектов и процессов, постоянный контроль степени усвоения знаний. Кроме этого, КСО способствуют развитию умений и навыков самостоятельной работы [22], уменьшению времени, затрачиваемого преподавателем на трудоемкие и часто повторяющихся операции подготовку актуального конспекта лекций, контроль знаний и т.д., появлению возможности применения средств дистанционного обучения [26-28]. В исследовании РосНИИ Информационных Систем [22] указываются следующие тиновые КСО для поддержки различных форм занятий: лекции демонстрация выполнения простейших заданий в ходе получения учебной информации на лекции способствует достижению определенной «прочности» знаний, необходимой при выполнении лабораторных или практических работ; семинары, для которых используются не столько демонстрационные, сколько исследовательские примеры, с помощью которых обучаемые в интерактивном режиме могут изучать какую-либо проблему или вид задачи; лабораторные работы, в процессе выполнения которых обучаемые должны закреплять новые знания, приобрести навыки и умения для будущей научно-исследовательской работы. Наиболее важным применением КСО в этих случаях является возможность выполнения на ЭВМ математических экспериментов; упражнения, а также контрольные процедуры, при выполнении которых совершенствуются умения и навыки. Компьютеризованная поддержка упражнений позволяет не только проводить допуск к работе, проверять уровень знаний, но и обеспечивать, во время их выполнения, упражнений доступ к дополнительным теоретическим сведениям, приводить примеры задач и упражнений, давать методические рекомендации по их выполнению. Для улучшения управления процессами обучения и повышения качества знаний с помощью КСО организуется непрерывная обратная связь в виде предварительного, текущего и рубежного контроля, приводя в процессе исторического развития КСО к идеологии адаптивного обучения [22]. История разработки КСО имеет ярко выраженные этапы, связанные с совершенствованием и ростом возможностей компьютерной техники. В 1950-1960-е годы были предложены первые обучающие системы системы программированного обучения [2,5]. Они базировались на теории, в которой для повышения эффективности управления учебным процессом предлагалось строить учебную траекторию в соответствии с психологическими знаниями об обучаемом [7,8]. Эти системы строились с использованием обучающих и контролирующих модулей, при этом имеющих очень ограниченные возможности. Применение таких модулей, по сути, не давало сколько бы то ни было значимых результатов [3]. В 1970-х начале 1980-х компьютерными обучающими системами принято было называть любые программы, предназначенные для информационной или функциональной поддержки процесса обучения: тесты, электронные учебники, лабораторные практикумы и т.п. [2,5]. Далее продолжались исследования возможности применения методов представления знаний, разработанных в области искусственного интеллекта и практическая реализация таких систем. При этом для решения двух других проблем управления обучением и контроля знаний требовались более сложные методы и средства. Именно эти нроблемы все еще являются предметом современных исследований в области обучающих программ [6-8,12]. В это же время появляются модели обучения на основе когнитивной психологии и обучающие системы продуцирующего типа, где обучающие воздействия выбираются не педагогом, а определяются алгоритмом функционирования системы и генерируются в зависимости от целей обучения и текущей ситуации. При этом предполагается, что в обучающей системе представлены знания о том, чему обучать, как обучать и знания о самом обучаемом [18-20]. Следующий этап (конец 1980-х и начало 90-х годов) характеризуется широким распространением персональных компьютеров, развитием вычислительных сетей, усилением аппаратных возможности. Это привело к необходимости создания обучающих систем, ориентированных на работу в локальной и глобальной сети, с применением стандартов нредставления и передачи данных, а также внедрением в процесс обучения средств мультимедиа [17,27]. Переход от локальных обучающих систем к сетевым позволяет значительно расширить круг пользователей системы. Более того, при организации работы через компьютерную сеть, общение между обучаемыми и преподавателем может быть даже более интенсивным, чем при традиционном обучении в высшей школе. Преподаватель получает возможность постоянного контроля состояния процесса обучения (в первую очередь, с использованием средств автоматического контроля), а обучаемый возможность консультации в режиме on-line или по электронной почте [4,6]. В дальнейшем развитие КСО было направлено на создание обучающих систем, основанных на использовании элементов искусственного интеллекта с целью частичной или полной замены преподавателя. Была разработана структура интеллектуальных обучающих систем и предложены некоторые методы решения этой проблемы [29-31]. Применение этих методов и технологий, при создании КСО, позволяет говорить о создании адаптирующихся обучающих систем, позволяющих в зависимости от параметров обучаемого и результатов контроля знаний генерировать новые последовательности управляющих воздействий [12,23,28]. Совместное использование сетевых технологий и достижений в области искусственного интеллекта дает возможность создания перспективных обучающих систем, которые позволят адаптировать учебный процесс к конкретному обучаемому [11,23]. В связи с нарастающим широкомасштабным применением информационно-коммуникационных технологий в учебном процессе сформировался ряд актуальных проблем в развитии теоретических основ построения КСО [6]. Практика и многочисленные исследования показали, что попытки прямого внедрения данных технологий в учебный процесс оказались малоэффективными [22]. Освоив вычислительную технику на уровне пользователей, основная масса преподавателей крайне неэффективно использует ее в учебном процессе. В связи с этим стала очевидной потребность в создании теоретически обоснованных оптимальных подходов к производству новых образовательных средств, в обучении преподавательского состава навыкам и приемам, которыми традиционные преподаватели не владеют [6,7]. Причиной подобных трудностей в частности, является значительная степень неопределенности как в исходной информации об уровне подготовленности обучаемого, так и в информации об уровне ответов на тестовые задания [3,26]. Именно то, в какой форме представить содержание учебного предмета, его место в образовательном процессе, практическую значимость, оцениваемую с точки зрения перспектив профессиональной карьеры и личностного роста, а также организовать учебный процесс, задают общее направление совершенствования КСО [2,3,5,17,24]. Подводя итог можно заметить, что построение новых педагогических программных средств следует проводить с учетом современных подходов к учету неопределенностей в исходной информации, поступаюш;ей в виде обратной связи в КСО или непосредственно к тестологу в случае автоматизированного обучения [137]. Песмотря на указанные выше значительные успехи в совершенствовании методов и средств компьютерного обучения и, особенно, компьютерного тестирования как его важнейшего элемента [10,55], в настоящее время в области проектирования, оценки и применения банков тестовых заданий существует ряд нерешенных задач. Прежде всего, необходимо дальнейшее развитие теоретической базы проектирования банков тестовых заданий в сторону разработки новых информационных характеристик банков, позволяющих получать адекватные оценки их эффективности. Они должны позволять дифференцировать контингент тестируемых по уровню знаний в выбранной предметной области или обеспечивать адаптацию заданий к уровню знаний отдельных обучаемых [28]. С точки зрения практической применимости методов теории педагогических измерений необходимо дальнейшее развитие алгоритмической базы компьютерных средств создания банков калиброванных тестовых заданий с заданными характеристиками [99,101], что позволит оперативно реагировать на изменения в современных требованиях к проектируемым компьютерным курсам обучения [77]. Необходимо также создание алгоритмов обработки тестовых данных, позволяющих уменьшить влияние изначально присущей педагогическим измерениям неопределенности [37,41,43] на результаты тестирования. Возможные пути получения новых теоретических и практических результатов связаны с введением в арсенал теории педагогических измерений, являющейся основным инструментом тестологии [37-40], элементов кибернетики и теории передачи информации, связанных с анализом информации в условиях неопределенности [43,81], органически присущей педагогическим и психологическим измерениям [36]. На теоретической базе кибернетики возможно дальнейшее развитие методов моделирования педагогических измерений с использованием неклассических вероятностей и теории случайных множеств [82,86,90]. Это позволит существенно повысить эффективность оценок знаний, получаемых с помощью баз тестовых заданий, спроектированных с применением новых моделей измерений. Наконец, введение новых методов оценки тестовых заданий может позволить значительно улучшить временные и качественные показатели процесса проектирования и применения банков тестовых заданий [55]. Целью диссертационной работы является разработка и исследование теоретической и методологической базы применения новых моделей педагогических измерений для оценки эффективности банков тестовых заданий в компьютерных системах обучения. Для достижения поставленной цели необходимо решить следующие задачи: разработать методики оценки информационного содержания банков тестовых заданий; разработать модель оценки эффективности банков тестовых заданий в педагогических измерениях; разработать алгоритмы применения предложенной модели оценки эффективности при проектировании и использовании банков тестовых заданий; провести теоретическое и практическое изучение полученной методологии оценки эффективности банков тестовых заданий. Практическая ценность результатов исследований определена их применением для решения задач проектирования и разработки банков тестовых заданий в компьютерных системах обучения общего назначения, которые могут применяться в широком спектре предметных областей обучения. Диссертационная работа состоит из введения, четырех глав, заключения, списка источников и приложений. В первой главе проведен обзор и анализ существующих моделей оценки эффективности банков тестовых заданий в компьютерных системах обучения. Проведен анализ существующих подходов к измерению латентных свойств личности и использованию вероятностных моделей в педагогических измерениях. Формализована задача учета неопределеннности в тестовых данных, а также задача создания обобщенных интегральных характеристик банков тестовых заданий. Для целей разработки программных средств были рассмотрены модели организации учебного процесса и поддержки педагогической деятельности. В результате формализованы основные цели и задачи диссертационного исследования. Во второй главе разработаны математические модели оценки эффективности банков тестовых заданий в компьютерных системах обучения. Формализованы основные предпосылки и введены модели латентного пространства тестовых заданий на основе кибернетического подхода.Предложены математические модели для задач оптимизации информационных характеристик банков тестовых заданий и их информационных функций. Разработана инфологическая модель базы данных для обслуживания банков тестовых заданий. В третьей главе разработаны алгоритмы проектирования банков тестовых заданий для компьютерных систем обучения и оценки их эффективности. Предложены статистические алгоритмы калибровки баз тестовых заданий, основанные на идеях метода максимального правдоподобия и метода наименьших квадратов. Для устранения их недостатков в главе разработана методика и алгоритм оптимизации и калибровки тестовых заданий с помощью экспертных оценок. На этой алгоритмической основе предложен общий итерационный алгоритм проектирования и калибровки банков тестовых заданий. В четвертой главе проведена разработка и исследование компьютерных средств анализа эффективности банков тестовых заданий. Разработана функциональная структура и алгоритмы использования оценок при построении компьютерной системы оценки эффективности банков тестовых заданий. Проведено теоретическое исследование разработанных в диссертационном исследовании алгоритмов для оценки их вычислительной сложности в сравнении с известными алгоритмами. Выполнен анализ надежности оценок, получаемых с помощью введенных моделей педагогических измерений и даны рекомендации по минимальным требованиям к банкам заданий и контингенту тестируемых. На основе анализа маркетинговой информации проведено сравнение основных функциональных показателей предлагаемой компьютерной системы анализа эффективности и применения банков тестовых заданий и аналогами, представленными на международном рынке, которое показало наличие существенных преимуществ разработанной системы.Заключение содержит выводы о работе. Объектом исследования в диссертационной работе являются информационные модели банков тестовых заданий, а также методы построения, математического анализа и программной реализации эффективных банков тестовых заданий. Методологическую основу работы составляет системный подход, суть которого представление и исследование модели процесса обучения в виде системы моделей оценки различных этапов обучения и выделения связей между ними. Поставленная цель диссертационной работы и сформулированные в соответствии с целью задачи создали предпосылки для получения новых научных результатов в области математического моделирования информационных процессов в банках заданий компьютерных систем обучения широкого применения. Новыми научными результатами диссертационной работы, выносимыми на защиту, являются: 1. Концепция кибернетической модели латентного пространства для педагогических измерений и введенные на ее основе критерии оптимальности для банков тестовых заданий. 2. Математическое представление обобщенной модели информационной функции банков тестовых заданий. 3. Алгоритмы калибровки и проектирования банков тестовых заданий с помощью оценок эффективности, получаемых на основе теоретических результатов работы. В качестве основных методов исследования были использованы методы системного анализа, методы латентно-структурного анализа, теории вероятностей, теории случайных множеств, реляционной алгебры. Научная новнзна диссертационной работы заключатся в следующем: Введение основных положений теории обработки сигналов в проблематику построения моделей измерения латентных свойств личности; Введение нового типа информационных моделей банков тестовых заданий для педагогического процесса, отличающихся от известных тем, что для достижения общности использован математический аппарат обобщенных функций; Разработка критериев и алгоритмов проектирования банков тестовых заданий на основе созданных в работе моделей оценки эффективности; Разработка алгоритмов калибровки обобщенных моделей банков тестовых заданий с использованием методов теории свидетельств. Достоверность полученных результатов подтверждается адекватностью и достоверностью исходных моделей и методов, результатами математического моделирования разработкой действующих программ и результатами применения в условиях реального процесса обучения. Основные результаты докладывались и обсуждались на следующих научно-практических конференциях: на XXVII Межвузовской военно-научной курсантской (студенческой) конференции (г. Новочеркасск, НВИС, 2000 г.); на международных конференциях Таганрогского государственного радиотехнического университета "Информационные технологии в естественных, технических и гуманитарных науках" (2002 г.), "Системный подход в науках о природе, человеке и технике" (2003 г.), "Информационные технологии, системный анализ и управление" (2003г.), "Динамика процессов в природе, обществе и технике: информационные аспекты" (2003 г.), "Информационный подход в естественных, гуманитарных и технических науках" (2004 г.), VII всероссийской научной конференции "Новые информационные технологии. Разработка и аспекты применения"(2004 г.); на конференциях "Проблемы образования в современной России и на постсоветском пространстве" (Пенза-2005), "Математическое и программное обеспечение вычислительных систем" (Рязань-2005); на заседаниях кафедры САиТ Таганрогского государственного радиотехнического университета ежегодно (2001-2005гг.) докладывались и обсуждались результаты опытно-экспериментальной работы. Научные и практические результаты, полученные в диссертации, изложены в 7 статьях и 4 тезисах докладов на всесоюзных и международных конференциях. Полученные в третьей главе алгоритмы проектирования и калибровки банков тестовых заданий и их программные реализации легли в основу создания авторского программного продукта "Автоматизированная информационно-обучающая система", способствующего повышению эффективности образовательного процесса. Результаты диссертационной работы были внедрены в процесс профессиональной подготовки специалистов в Администрации Таганрогского морского порта, в учебный процесс в Таганрогского государственного педагогического института и Таганрогского технологического института южного федерального университета, что подтверждается актами о внедрении, приведенными в Приложении 1. Диссертация содержит 147 страниц машинописного текста, включая введение, четыре главы, заключение, список использованных источников из 141 наименования, 26 рисунков, 4 таблицы.
