Одной и важнейших тенденций современного развития системы высшего образования является всё более широкое распространение дистанционных технологий – как в качестве полной альтернативы традиционному очному обучению, так и в виде отдельных элементов образовательного процесса, позволяющих повысить его технологичность.
В числе наиболее перспективных сфер внедрения дистанционных технологий следует отметить математические дисциплины. Для обучения математике не требуется специализированное оборудование, поэтому есть реальная возможность вынести в сеть большую часть как обучающего контента, так и контроля усвоения материала.
В рамках учебного курса, реализуемого с использованием дистанционных технологий, можно выделить несколько типов проверочных работ, как правило, реализуемых через сеть в виде тестов:
– измерительные (целесообразны в начале курса для определения обученности и выявления пробелов в знаниях, а также внутри модулей – как средство подготовки к модульному контролю и выявления характерных проблем);
– тесты для самопроверки:
* пороговые (могут встраиваться в учебный контент в конце дидактических единиц, быть одинаковы для всех обучаемых и предполагать автоматическую проверку и возможность многократного ввода результата – до тех пор, пока он не будет верным);
* предназначенные для подготовки к контрольным работам;
– собственно контрольные (в том числе модульные и итоговые).
Сами тестовые задания могут быть [1-3]:
– открытыми (как правило, выбор из нескольких вариантов; к этому же типу могут быть легко преобразованы задания на установление соответствия и на установление последовательности);
– закрытыми (предполагающими ввод результата – как правило, нескольких цифр или букв).
Возможен и целесообразен ещё один тип заданий – развёрнутые, то есть предполагающие полный ввод решения. Строго говоря, этот вид заданий не является тестовым, поскольку не предполагает автоматическую проверку, но даёт существенно более точное представление о результатах обучения. В условиях использования дистанционных технологий решение развёрнутых заданий можно производить с использованием специализированного программного обеспечения (систем компьютерной алгебры, динамической геометрии, статистических пакетов и т.п.).
Целью данной статьи является рассмотрение особенностей организации контрольного тестирования при дистанционном обучении (на примере математики, хотя этот опыт может быть распространён и на другие дисциплины).
Основными вопросами организации контрольного тестирования представляются:
– подбор заданий для тестов;
– выбор временных рамок тестирования;
– разработка системы оценивания
– обеспечение достоверности результата тестирования.
Важнейшими факторами, повышающими объективность результатов модульного контроля, являются:
– разнообразие тестовых задач (они должны по возможности перекрывать все темы модуля);
– сбалансированность набора задач по сложности (в наборе должны присутствовать задания от относительно простых до достаточно сложных: набор слишком простых задач не позволит получить объективную картину знаний тестируемых, а набор слишком сложных позволит получить её получить в лучшем случае только для нескольких студентов потока);
– адекватная оценка сложности задач;
– возможность получения различного количества баллов за развёрнутые задания при не вполне верном решении;
– единообразие сложности задач, имеющих одинаковый вес и подпадающих под рандомизацию;
– желательная избыточность заданий (при лимитированном времени на выполнение никто не должен выработать весь возможный запас);
– возможность выбора заданий по сложности (при лимитированном времени на выполнение или при ограничении на количество получаемых в ходе контрольной работы задач);
– поисковая защищённость задач – невозможность найти в интернете непосредственно решение данной задачи.
Возможны несколько вариантов установления временных рамок прохождения теста:
– единый для всех обучаемых сеанс рубежного контроля (при необходимости назначаются сеансы пересдачи);
– установка нескольких сеансов (в разные дни недели, в разное время), во время которых варианты контрольной работы будут доступны онлайн (иногда студенту может предоставляться право использования нескольких попыток прохождения рубежного контроля с возможностью выбора лучшего результата);
– установка временного окна, в течение которого контрольная работа должна быть сдана (например, неделя);
– установка временных рамок прохождения модульного контроля в зависимости от даты получения зачёта по предыдущему модулю (например, две недели).
Возможны следующие варианты последовательности заданий теста:
1) задания выдаются последовательно, переход к следующему заданию возможен только после завершения работы над предыдущим (без возможности повторно вернуться к заданию или с наличием такой возможности – но только в том случае, если правильность или неправильность результата не отображается сразу); при этом последовательность заданий может быть различной, а именно:
– соответствовать последовательности изучения тем и модулей;
– возрастать по сложности от простых к сложным;
– быть случайной (только такой вариант возможен при неограниченном числе заданий, но при ограниченном временном лимите);
2) все задания выдаются одновременно, у студента есть возможность самостоятельно выбирать порядок их выполнения;
2а) задания выдаются одновременно, но не все, а группами (например, по 5 заданий: студенту достаточно выполнить любые 3 или 4);
3) задания предъявляются одновременно, но не полностью, а только частью условия – полное условие раскрывается только после выбора задания;
3а) задания предъявляются одновременно, но не полностью – одновременно демонстрируются заголовки нескольких заданий, после выполнения одного из них – оно заменяется следующим – этот вариант также удобен при неограниченном числе заданий и ограниченном временном лимите.
Временной учёт выполнения заданий также может быть различным:
а) учёт времени для каждого задания (для вариантов последовательности заданий 1 и 3) – с возможностью делать большие паузы между заданиями;
б) единый временной учёт на все задания (для варианта последовательности 2 – без возможности прервать процесс сдачи теста и продолжить его потом).
Временной лимит на выполнение теста может быть представлен следующими вариантами и их комбинациями:
– индивидуальный лимит для каждого задания – удобен для заданий открытого типа, в том числе ориентированных на проверку быстрой памяти (для математических курсов может применяться только при модульном контроле для проверки усвоения терминологии и системы обозначений) и не защищённых от поиска ответа в Интернете (за 15-20 секунд студент не успеет воспользоваться поисковиком); для заданий, предполагающих логические построения или вычисления, временной лимит может быть установлен на уровне нескольких минут;
– суммирующийся – на все задания даётся общий лимит времени (например, 2-3 часа) – целесообразен при последовательной выдаче заданий и избыточном их количестве; может быть применён и при других вариантах последовательности заданий;
– отсутствие лимита – каждое задание можно выполнять сколь угодно долго – вариант имеет смысл только для заданий развёрнутого типа.
Система оценивания тестов, как правило, реализует суммирование баллов, полученных за отдельные задания.
Задания открытого типа (если они присутствуют) обычно оцениваются по системе 1/0 (выполнено / не выполнено). Если предполагается выбор не одного, а нескольких верных ответов, то может быть предусмотрено дробное число баллов. Если предполагается использование заданий открытого типа, их число не должно быть малым (для статистической достоверности результатов) – желательно не менее 20. Правильные результаты могут предъявляться студентам после каждого задания либо по окончании всего теста, либо после сдачи теста всеми студентами группы.
Для заданий закрытого типа, как правило, предусматривается автоматическая проверка. Можно предусмотреть мгновенный отклик системы на неверный ответ и возможность повторного ввода ответа – пока не будет получен верный результат. При этом количество баллов за него можно уменьшать с каждой итерацией (по арифметической или геометрической прогрессии: второй вариант предпочтительнее, поскольку он не приводит к отрицательным баллам и сохраняет возможность положительного балла даже при большом количестве итераций).
Для закрытых и развёрнутых заданий оценка сложности задач может быть:
– априорной (заранее объявленной или объявляемой по выполнению задания или всего теста)
– апостериорной (вычисляемой по результатам их выполнения всей группой студентов).
Апостериорная оценка сложности может производиться исходя из процента правильных ответов (оценка трудности) и (или) исходя из среднего времени, затраченного на выполнение задачи (но только при наличии общего лимита времени и при учёте только правильных решений). В таблицах 1-3 автором предлагаются примеры оценки заданий дифференциации баллов по трудности задач и трудоёмкости.
Таблица 1 – Пример дифференциации баллов по трудности задач
| Процент
выполнения |
0-10 | 11-20 | 21-30 | 31-40 | 41-50 | 51-60 | 61-70 | 71-80 | 81-90 | 91-100 |
| Максимальный балл | 10 | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | 1 |
Таблица 2 – Пример дифференциации баллов по трудоёмкости
| Среднее время на
выполнение, мин |
0-10 | 11-20 | 21-30 | 31-40 | 41-50 | 51-60 | 61-70 | 71-80 | 81-90 | более 90 |
| Максимальный балл | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
Таблица 3 – Пример дифференциации баллов по трудности и трудоёмкости
| Процент выполнения | ||||||||||
| Среднее время на
выполнение, мин |
0-10 | 11-20 | 21-30 | 31-40 | 41-50 | 51-60 | 61-70 | 71-80 | 81-90 | 91-100 |
| 0-10 | 6 | 5 | 4 | 4 | 3 | 3 | 2 | 2 | 1 | 1 |
| 11-20 | 7 | 6 | 6 | 5 | 5 | 4 | 4 | 3 | 3 | 2 |
| 21-30 | 8 | 7 | 7 | 6 | 6 | 5 | 5 | 4 | 4 | 3 |
| 31-40 | 9 | 8 | 8 | 7 | 7 | 6 | 6 | 5 | 5 | 4 |
| более 40 | 10 | 9 | 9 | 8 | 8 | 7 | 7 | 6 | 6 | 5 |
Критерии и формулы оценки заданий могут быть объявлены заранее или уточнены по результатам теста.
Не вполне верные и неполные решения в таком системе могут оцениваться пропорционально максимальному баллу.
Для априорной оценки сложности тестовых заданий может быть задействована экспертиза тестов специалистами (например, другими преподавателями кафедры или другого вуза). Для обкатки тестов могут быть привлечены студенты более старших курсов – например, в рамках проверки остаточных знаний.
В рамках экспертизы тестов могут быть рассмотрены и оценены не только уровень их сложности, но и:
– соответствие тематике изученного материала;
– полнота покрытия изученного материала;
– корректность условий;
– грамотность формулировок;
– соответствие терминологии и условных обозначений общепринятым;
– возможность корректного решения задач без привлечения материала, ещё не изученного в рамках данного курса;
– поисковая защищённость задач.
При составлении банка заданий существует возможность увеличения количества задач за счёт различных наборов численных данных и переформулирования условий (очевидно, что при этом все варианты должны быть решены до выдачи заданий студентам). При этом крайне желательно обеспечить в пределах рандомизированного варианта невозможность повторения однотипных задач (возможно, также задач одного типа, базирующихся на идентичных приёмах и алгоритмах).
Ещё один важный вопрос: возможность повторной сдачи теста. Очевидно, что всегда существует вероятность того, что студент не сможет сдать контрольный тест с первого раза. В дистанционных курсах должна быть предусмотрена возможность повторной сдачи модульных и финальных тестов.
Возможны следующие походы к оцениванию таких тестов:
– повторная сдача оценивается по тем же стандартам, что и первичная;
– при каждой последующей сдаче теста максимальный балл каждой задачи понижается – например, умножается на коэффициент n(0,9, 0,8 и т.п.).
Механизмы повторной сдачи могут быть различными:
– у студента есть возможность сдавать тест неограниченное число раз;
– у студента есть возможность сдавать тест неограниченное число раз только в случае, если все предыдущие попытки давали результат ниже минимального порогового – приём теста прекращается тогда, когда студент преодолевает этот порог;
– у студента есть возможность сдавать повторно тест до того момента, пока на каждой итерации он получает баллов больше, чем на предыдущей: если на последней попытке результат оказался хуже, чем на предыдущей, засчитывается последняя попытка (если она оказалась ниже порогового уровня, то засчитывается минимальный из результатов, превысивший порог);
– у студента есть возможность сдавать повторно тест не более n раз, при этом учитывается максимальный балл;
– у студента есть возможность сдавать повторно тест не более n раз, результатом считается средний балл по всем попыткам.
Условие понижения стоимости заданий теста может сочетаться с возможностью увеличения числа задач каждого типа: например, при снижении веса задач вдвое студент может получать по 2n-1 задач каждого типа, где n – номер итерации сдачи [4].
Известно, что часть студентов считают для себя возможным выполнять тестовые задания не вполне самостоятельно, а с привлечением других студентов той же группы (уже сдавших данный тест) или онлайн-помощников, предлагающих помощь через Интернет в режиме реального времени.
Нет смысла ограничивать в процессе сдачи теста доступ в интернет на компьютере, где тест выполняется – этот запрет не имеет смысла: сложно представить ситуацию, когда решение практических задач, связанных с математическими методами, производится без возможности подключения к сети. Кроме того, этот запрет легко обходится с использованием мобильных устройств. Тем не менее, возможность контроля самостоятельности в процессе сдачи онлайн-теста возможна. Она предполагает:
– аутентификацию обучаемого;
– исключение возможности одновременного доступа к странице теста с нескольких устройств;
– контроль присутствия в непосредственной близости от компьютера, на котором проводится тестирование, посторонних лиц, использования других электронных устройств (телефонов, планшетов и т.п.) и сетевых коммуникаций (электронной почты, IP телефонии, социальных сетей и т.п.).
Аутентификация обучаемого может быть произведена через пароль, который он вводит при начале тестирования. Исключение возможности одновременного доступа к странице теста с нескольких устройств может быть реализовано через настройки конструктора тестов.
Наиболее действенным способом контроля самостоятельности представляется использование веб-камер и специализированных приложений смартфонов, реализующих трансляцию потокового видео в интернет.
Кроме того, может быть реализована запись действий пользователя на компьютере – запись видео с экрана в данном случае избыточна, но фиксация основных действий (открытие новых приложений и вкладов в браузерах, переход между окнами, ввод данных и т.п.) позволяет исключить использование онлайн-помощников.
При разработке специализированных модулей для тестирования, интегрируемых в LMS, может быть реализована единая система контроля самостоятельности (запись видео, запись звука, аутентификация и логирование действий пользователя).
Таким образом, контрольное тестирование в условиях дистанционного обучения математическим дисциплинам способно обеспечить как удобство проведения (и для студентов, и для преподавателей), так и достоверность получаемых результатов.
Список литературы:
- Аванесов В.С. Композиция тестовых заданий. – М.: Центр тестирования, 2002. 240 с.
- Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. – М.: Логос, 2002. 432 с.
- Казиев В.М. Введение в практическое тестирование. // Интуит, 2008. – URL: https://www.intuit.ru/studies/courses/1023/300/info
- Воронцов К.В. Статистический анализ данных: [Методические указания] // Распознавание – URL: https://www.machinelearning.ru/wiki/index.php?title=Статистический_анализ_данных_(курс_лекций,_К.В.Воронцов)/2015[schema type=»book» name=»ОРГАНИЗАЦИЯ КОНТРОЛЬНОГО ТЕСТИРОВАНИЯ ПРИ ДИСТАНЦИОННОМ ОБУЧЕНИИ МАТЕМАТИКЕ» description=»В статье производится обзор и анализ вариантов организации контрольного тестирования при дистанционном обучении математике. Рассматриваются вопросы подбора заданий для тестов, выбора временных рамок тестирования, разработки системы оценивания.» author=»Овсянникова Татьяна Львовна» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-02-27″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_25.07.15_07(16)» ebook=»yes» ]