Результаты государственной итоговой аттестации (далее – ГИА) являются показателем уровня освоения программы среднего общего образования и практически единственным источником данных для анализа и оценки многих характеристик системы образования Российской Федерации, связанных с качеством образования. В современных условиях невозможно достичь максимальной эффективности процедуры ГИА без использования информационных технологий, которые, в свою очередь, бурно и интенсивно развиваются именно под воздействием стоящих перед системой образования Российской Федерации стратегических и тактических задач. Эти перемены несут системе образования существенную выгоду, однако при этом они требуют и гораздо более серьезного внимания к сфере безопасности.
Решение задач обеспечения информационной безопасности процедуры ГИА на всех этапах ее проведения (формирование, организация хранения и доставки контрольно-измерительных материалов (далее – КИМ)), гарантирования конфиденциальности вариантов КИМ, используемых участниками единого государственного экзамена (далее – ЕГЭ) при выполнении экзаменационной работы является, несомненно, важным в условиях постоянно возрастающего количества информационных угроз и рисков, а также недостаточного уровня обеспечения информационной безопасности в существующих информационных системах (далее – ИС).
Ключевым элементом управления информационными рисками, является эффективная методология их снижения за счет реализации определенных контрмер, направленных на ликвидацию уязвимостей и ликвидацию угроз в ИС. В связи с этим особый интерес представляют вопросы, связанные с разработкой организационно-технологических и методических подходов к обеспечению конфиденциальности вариантов КИМ, используемых участниками ЕГЭ при выполнении экзаменационной работы. Схема проведения ЕГЭ, при которой варианты КИМ генерируются за небольшой промежуток времени до начала экзамена, позволяет сократить время существования вариантов КИМ, и, соответственно, риск утечек информации о составе заданий в конкретных вариантах существенно снижается. Сложность, однако, представляет задача обеспечения одинаковой трудности вариантов в процессе их генерации, что требует разработки соответствующих научных и технологических решений, а также проведения работ по специализированной разметке банка заданий, из которых планируется генерировать варианты КИМ [1-4].
В качестве инструментария, позволяющего генерировать варианты КИМ, предлагается использовать технологию и программное обеспечение формирования КИМ, включенную в функциональные возможности платформы online-gia.ru.
Апробация технологии и программного обеспечения формирования КИМ, включая подготовку банков заданий для проведения автоматической генерации вариантов КИМ, прошла в 12 регионах Российской Федерации. По каждой экзаменационной модели в процедуре выполнения обучающимися разработанных вариантов КИМ участвовали более 10 000 экзаменуемых.
Апробация проводилась на информационной платформе https://www.online-gia.ru (рисунок 1).
Рисунок 1. Информационная платформа проведения апробации моделей проведения ГИА
Апробация представляла собой процедуру выполнения обучающимися разработанных вариантов КИМ, причем каждый обучающийся выполнял задания выданного ему варианта КИМ. Алгоритм проведения апробации представлен на рисунке 2.
Рисунок 2. Алгоритм проведения апробации
Для проведения апробации были разработаны инструктивно-методические материалы для всех категорий участников апробации: организаторов, учителей, обучающихся. Пример алгоритма работы учителя в автоматизированной системе online-gia.ru представлен на рисунке 3.
Рисунок 3. Алгоритм работы учителя в автоматизированной системе
Апробационный экзамен предусматривал выполнение экзаменационной работы как в бумажном формате, так и с использованием информационно-коммуникационных технологий. По результатам апробации каждой образовательной организации были предоставлены сводные результаты по всем участникам апробации из данной организации (в рамках личного кабинета).
Основными параметрами КИМ являются статистические характеристики тестовых заданий и вариантов в целом. Основными параметрами тестовых заданий являются:
- Трудность задания. В классической тестовой теории этот показатель определяется долей экзаменующихся, которые ответили правильно на данное задание. Оценивается через средний процент выполнения и средний первичный балл.
- Надежность, как характеристика внутренней согласованности, определяется связью элементов теста с общим результатом, тем, насколько элементы теста входят в противоречие друг с другом, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Надежность рассчитывается через коэффициент надежности Кронбаха и считается высокой если он больше 0,9. Такая надежность говорит и о правильно подобранной длине теста. При его значении менее 0,7 можно сделать вывод о низкой надежности и необходимости совершенствования КИМ.
- Дифференцирующая способность задания – это показатель для определения различия среди экзаменующихся по уровню подготовки по оцениваемой дисциплине. Определяется с помощью подсчета значений точечного бисериального коэффициента корреляции (ТБКК). Дифференцирующая способность задания позволяет судить о том, насколько оно соответствует общей цели создания теста. Правильно подобранные задания позволяют четко отделять хорошо подготовленных от слабо подготовленных экзаменуемых.
- Стандартное отклонение, которое позволяет оценить форму кривой диаграммы распределения верных ответов. Стандартное отклонение численно равно корню квадратному из дисперсии. Низкое стандартное отклонение указывает на низкое качество теста, поскольку он не обеспечивает высокий дифференцирующий эффект. Излишне высокое стандартное отклонение, характерно для случая, когда все обучающиеся отличаются по числу выполненных заданий, также требует корректировки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой.
- Асимметрия распределения, которая показывает сбалансированность теста. Если ее значение близко к 0, то тест сбалансирован по трудности заданий, если ее значение отрицательно, то это говорит о преобладании легких заданий. Чем больше значение асимметрии, тем более сложные задания включены в тест, то есть основная часть набранных баллов лежит слева от среднего значения. Данный показатель позволяет оценить необходимость корректировки содержания теста по трудности.
- Эксцесс. Значения эксцесса позволяют получить представление о том, являются ли полигон частот распределения или гистограмма, островершинной или плоской. Для нормального распределения эксцесс должен быть нулевым. Если значения эксцесса больше 2, то это говорит об островершинной кривой, а это еще раз позволяет подтвердить, что есть проблемы с трудностью тестовых заданий.
Для проведения апробации были разработаны в информационной системе 20 экзаменационных моделей, которые включали 9 предметов по программе среднего общего образования, из них 1 предмет (иностранные языки) – отдельно базовый и углубленный уровень, 11 предметов по программам основной школы. КИМ содержали:
задания с выбором ответа (к каждому заданию приводится несколько вариантов ответа, из которых верен только один);
задания, к которым требуется дать краткий ответ;
задания, в которых ответы необходимо привести в виде последовательности цифр;
задания с развернутым ответом.
Разработанная технология формирования КИМ позволила компоновать варианты КИМ по учебным предметам. По каждому предмету в ИС генерировались варианты КИМ. Компоновка происходила с учетом следующих условий:
использование заданий из банка заданий, в котором хранятся задания с уникальными идентификаторами и свойствами;
варианты КИМ соответствуют установленной спецификации КИМ для проведения экзамена по учебному предмету;
варианты КИМ имеют одинаковую трудность;
задания в вариантах КИМ не имеют тематических пересечений: одно задание не служит подсказкой к другой.
В роли экспертов, оценивающих характеристики и качество предложенных заданий, выступили учителя. Оценка каждого задания производилась по следующим пунктам:
- Значимость умения (комплекса умений), которое проверяет задание, для достижения предметных или метапредметных результатов обучения.
- Значимость элемента содержания, которое проверяется данным заданием для государственной итоговой аттестации.
- Уровень сложности задания.
- Соответствие задания учебной программе.
Анализ анкет учителей позволил выработать направления доработки апробируемых проектов экзаменационных моделей.
Данные о структуре апробируемых КИМ представлены в таблице 1. Данные о количестве участников, средних баллах и основным параметрам КИМ по предметам представлены в таблице 2.
Таблица 1
Данные о контрольных измерительных материалах
| Предмет | Класс | Время (мин) | Общее кол-во заданий | Кол-во заданий с выбором ответа | Кол-во заданий с кратким ответом | Кол-во заданий с развернутым ответом | Макс первичный балл |
| Английский язык | 9 | 120 | 42 | 20 | 22 | – | 55 |
| Биология | 9 | 180 | 32 | 26 | 1 | 5 | 49 |
| География | 9 | 120 | 24 | 16 | 4 | 4 | 29 |
| Информатика | 9 | 150 | 21 | – | 18 | 3 | 24 |
| История | 9 | 180 | 28 | 22 | 2 | 4 | 41 |
| Литература | 9 | 235 | 5 | – | – | 5 | 26 |
| Математика | 9 | 235 | 24 | 6 | 13 | 6 | 37 |
| Обществознание | 9 | 150 | 20 | 14 | 0 | 6 | 30 |
| Русский язык | 9 | 235 | 15 | 6 | 7 | 2 | 39 |
| Физика | 9 | 180 | 26 | 17 | 3 | 6 | 45 |
| Химия | 9 | 120 | 20 | 15 | – | 5 | 38 |
| Английский язык (базовый уровень) | 11 | 180 | 66 | 42 | 23 | 1 | 75 |
| Английский язык (углубленный уровень) | 11 | 180 | 66 | 36 | 29 | 1 | 75 |
| Биология | 11 | 180 | 25 | 19 | – | 6 | 45 |
| География | 11 | 180 | 24 | 11 | 4 | 9 | 35 |
| Информатика | 11 | 235 | 27 | 2 | 21 | 4 | 35 |
| История | 11 | 210 | 33 | 21 | 5 | 7 | 41 |
| Обществознание | 11 | 180 | 25 | 15 | 1 | 9 | 50 |
| Физика | 11 | 235 | 30 | 16 | 6 | 8 | 54 |
| Химия | 11 | 180 | 40 | 32 | 3 | 5 | 64 |
Таблица 2
Информация о количестве участников,
проценте выполнения заданий и средних баллах по предметам
| № | Предмет | Вариант | Кол-во участников | Средний % выполнения | Средний первичный балл | Стандартное отклонение | Средняя надежность экзаменационной работы | Асимметрия распределения | Эксцесс |
|
Класс 9 |
|||||||||
| 1 | Английский язык | КИМ1 | 5 716 | 53 | 28,70 | 13,77 | 0,88 | -0,20 | -1,05 |
| КИМ2 | 4 530 | 49 | 25,72 | 13,18 | 0,87 | 0,02 | -0,90 | ||
| 2 | Биология | КИМ1 | 5 347 | 55 | 24,53 | 8,36 | 0,81 | 0,18 | -0,60 |
| КИМ2 | 5 015 | 54 | 25,88 | 8,75 | 0,82 | 0,04 | -0,71 | ||
| 3 | География | КИМ1 | 5 077 | 56 | 16,14 | 5,33 | 0,76 | -0,19 | -0,46 |
| КИМ2 | 4 928 | 53 | 15,41 | 4,84 | 0,74 | -0,21 | -0,13 | ||
| 4 | Информатика | КИМ1 | 5 648 | 41 | 9,73 | 5,01 | 0,85 | 0,14 | -0,79 |
| КИМ2 | 5 276 | 40 | 9,62 | 5,03 | 0,84 | 0,21 | -0,64 | ||
| 5 | История | КИМ1 | 5 556 | 51 | 19,94 | 7,74 | 0,81 | 0,001 | -0,56 |
| КИМ2 | 5 096 | 48 | 18,83 | 7,56 | 0,82 | 0,051 | -0,58 | ||
| 6 | Литература | КИМ1 | 5 748 | 52 | 13,43 | 6,65 | 0,62 | -0,09 | -0,83 |
| КИМ2 | 4 269 | 51 | 13,26 | 6,63 | 0,64 | -0,09 | -0,82 | ||
| 7 | Математика | КИМ1 | 10 218 | 44 | 16,27 | 5,78 | 0,81 | 0,15 | 0,38 |
| КИМ2 | 9 906 | 40 | 14,57 | 5,55 | 0,80 | 0,31 | 0,46 | ||
| 8 | Обществознание | КИМ1 | 6 510 | 60 | 17,40 | 5,64 | 0,77 | -0,35 | -0,37 |
| КИМ2 | 6 159 | 54 | 16,16 | 5,26 | 0,74 | -0,09 | -0,40 | ||
| 9 | Русский язык | КИМ1 | 13 986 | 70 | 26,43 | 7,40 | 0,68 | -0,76 | 0,24 |
| КИМ2 | 13 788 | 71 | 27,84 | 7,30 | 0,69 | -0,91 | 0,59 | ||
| 10 | Физика | КИМ1 | 5 733 | 43 | 18,15 | 7,43 | 0,82 | 0,43 | -0,30 |
| КИМ2 | 5 538 | 47 | 20,20 | 7,85 | 0,82 | 0,26 | -0,29 | ||
| 11 | Химия | КИМ1 | 5 180 | 39 | 16,28 | 8,84 | 0,80 | 0,50 | -0,46 |
| КИМ2 | 4 988 | 36 | 15,81 | 8,67 | 0,81 | 0,56 | -0,27 | ||
|
Класс 11 |
|||||||||
| 12 | Английский язык (базовый уровень) | КИМ1 | 4 745 | 48 | 33,25 | 16,08 | 0,91 | 0,06 | -0,89 |
| КИМ2 | 5 319 | 46 | 33,00 | 15,81 | 0,91 | 0,23 | -0,71 | ||
| 13 | Английский язык (углубленный уровень) | КИМ1 | 5 243 | 42 | 30,76 | 13,90 | 0,88 | 0,19 | -0,23 |
| КИМ2 | 5 169 | 38 | 28,09 | 23,57 | 0,88 | -1,03 | -1,65 | ||
| 14 | Биология | КИМ1 | 5 110 | 36 | 13,76 | 7,42 | 0,79 | 0,67 | -0,14 |
| КИМ2 | 5 067 | 37 | 14,63 | 7,42 | 0,79 | 0,60 | -0,29 | ||
| 15 | География | КИМ1 | 5 178 | 37 | 12,91 | 6,38 | 0,84 | 0,45 | -0,37 |
| КИМ2 | 5 053 | 35 | 12,34 | 5,90 | 0,82 | 0,52 | -0,12 | ||
| 16 | Информатика | КИМ1 | 4 989 | 29 | 9,24 | 5,93 | 0,86 | 1,04 | 1,33 |
| КИМ2 | 5 167 | 31 | 10,52 | 5,65 | 0,84 | 0,90 | 1,46 | ||
| 17 | История | КИМ1 | 5 452 | 42 | 24,77 | 9,62 | 0,79 | 0,37 | 0,50 |
| КИМ2 | 5 757 | 42 | 24,66 | 11,72 | 0,85 | 0,24 | -0,54 | ||
| 18 | Обществознание | КИМ1 | 5 157 | 47 | 23,64 | 9,68 | 0,84 | -0,06 | -0,51 |
| КИМ2 | 5 445 | 46 | 21,91 | 8,60 | 0,79 | 0,13 | -0,32 | ||
| 19 | Физика | КИМ1 | 5 254 | 35 | 18,69 | 8,62 | 0,87 | 0,49 | 0,26 |
| КИМ2 | 4 775 | 39 | 18,56 | 8,50 | 0,87 | 0,47 | 0,18 | ||
| 20 | Химия | КИМ1 | 5 339 | 42 | 27,18 | 14,17 | 0,92 | 0,31 | -0,65 |
| КИМ2 | 4 940 | 43 | 27,27 | 14,30 | 0,92 | 0,28 | -0,69 | ||
Обработанные данные об итогах экзаменов позволили выделить следующие особенности апробированных экзаменационных моделей КИМ для проведения ГИА:
- Оценка трудности тестов показала, что средний процент выполнения КИМ по программам основной школы составил 49,5%, а по программе среднего общего образования ‑ 38,3%. При этом наибольшую трудность по программам основной школы вызвали информатика, математика, физика, химия, а по программе среднего общего образования — информатика, биология, физика, география. Наиболее успешно аттестуемые справились по программам основной школы с КИМ по русскому языку и обществознанию, а по программе среднего общего образования – с обществознанием и английским языком (базовый уровень).
- Имеют место проблемы с трудностью конкретных заданий в представленных моделях КИМ. Так в КИМ по английскому языку, по географии, по обществознанию, по физике (9 класс), по английскому языку (базовый уровень), по информатике, по истории (11 класс) присутствует от 4 до 10 заданий базового уровня с процентом выполнения до 20% или заданий повышенного уровня с процентом выполнения более 60%. В моделях КИМ по информатике (9 класс), по английскому языку (базовый уровень), по биологии, по географии присутствуют отдельные задания, с которыми справились или менее 10 %, или более 90 % аттестуемых.
- Средняя надежность исследованных КИМ по большинству предметов составила более 0,8. Однако для некоторых предметов (9 класс – география, литература, обществознание, русский язык, 11 класс – биология) полученные значения надежность недостаточны.
- Дифференцирующая способность предложенных КИМ, рассчитанная через среднее значение дискриминативности и точечно-бисериального коэффициента корреляции для заданий 9 класса по английскому языку, биологии, информатике, истории, литературе, математике, обществознанию, русскому языку, физике, химии и 11 класса по английскому языку (базовый уровень), физике, ‑ выше 0,3, что свидетельствует об их высоком качестве.
- По результатам анализа коэффициентов дискриминативности отдельных заданий выделены проблемные места в отдельных моделях КИМ: 9 класс — по английскому языку, биологии, географии, информатике, истории, математике, обществознанию, русскому языку; 11 класс — английскому языку (базовый и углубленный уровень), биологии, информатике, физике присутствуют от 2 до 5 заданий с коэффициентом дискриминативности меньше 0,2. Соответственно данные задания необходимо либо изъять из теста, либо провести тщательный анализ и переработку.
- Имеет место существенный разброс значений стандартного отклонения. Низкое стандартное отклонение КИМ 9 класс — по информатике, географии, математики, обществознанию, 11 класс — по информатике, географии указывает на то, что данные модели не обеспечивают высокий дифференцирующий эффект. С другой стороны, высокое стандартное отклонение КИМ по английскому языку (9 и 11 классы), химии, истории (11 класс) требует доработки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой.
- Анализ сбалансированности моделей КИМ по трудности заданий в значительной степени коррелирует со средним процентом выполнения заданий. Так большинство моделей КИМ с высоким значением асимметрии — 9 класс: математика КИМ2, физика, химия, 11 класс: биология, география, информатика, история КИМ1, физика, химия не позволили аттестуемым набрать высокий средний процент выполнения, т.к. в тестах преобладали сложные задания. В то же время в моделях с отрицательными значениями асимметрии — 9 класс: английский язык КИМ1, география, обществознание КИМ1, русский язык, 11 класс: английский язык (углубленный уровень) КИМ2 преобладали легкие задания, что позволило аттестуемым набрать высокий средний процент выполнения.
- Незначительное островершинное отклонение, определяемое положительным отклонением значения эксцесса от нулевого значения, наблюдается только для апробированных моделей КИМ по русскому языку (9 класс), информатике и физике (11 класс), для остальных моделей КИМ значения эксцесса является отрицательным, что говорит о том, что гистограмма результатов апробирования этих моделей КИМ является плоской и распределение трудности заданий в этих моделях является удовлетворительным.
Таким образом, анализ показателей тестовых заданий в целом показывают высокое качество разработанных моделей КИМ. Исследованные статистические характеристики вариантов и отдельных тестовых заданий показывают направления и механизмы коррекции теста для достижения оптимальных показателей трудности и ее сбалансированности, надежности, дифференцирующей способности, формы кривой диаграммы распределения верных ответов, за счет коррекции конкретных выявленных проблемных тестовых заданий.
Выводы. Проведенная апробация технологии и программного обеспечения формирования КИМ, включая подготовку банков заданий для проведения автоматической генерации вариантов КИМ, позволила сделать следующие выводы:
качество подготовленных экзаменационных моделей соответствует требованиям, предъявляемым к стандартизированным измерителям при проведении ГИА по образовательным программам основного общего образования;
проведенная апробация позволяет судить как о качестве экзаменационных моделей, так и об уровне подготовленности испытуемых по проверяемым предметам;
статистические характеристики тестовых заданий и вариантов в целом показывают направления и механизмы коррекции теста для повышения точности тестовых баллов предложенных КИМ.
Проведенная работа показала, что экзаменационные модели, составленные с использованием технологии программного формирования КИМ в образовательных организациях, могут использоваться в процедурах ГИА и других процедурах оценки качества образования для повышения эффективности управления системой образования Российской Федерации.
Список литературы:
- Открытый банк заданий ОГЭ. [Электронный ресурс]. — Режим доступа:
- Открытый банк заданий ЕГЭ. [Электронный ресурс]. — Режим доступа:
- Демоверсии, спецификации, кодификаторы ЕГЭ. [Электронный ресурс]. — Режим доступа:
- Демоверсии, спецификации, кодификаторы ОГЭ. [Электронный ресурс]. — Режим доступа: type=»book» name=»АПРОБАЦИЯ ПРОЕКТОВ ЭКЗАМЕНАЦИОННЫХ МОДЕЛЕЙ ДЛЯ ПРОВЕДЕНИЯ ГИА ПО ОБРАЗОВАТЕЛЬНЫМ ПРОГРАММАМ ОСНОВНОГО ОБЩЕГО И СРЕДНЕГО ОБЩЕГО ОБРАЗОВАНИЯ» description=»Проведена разработка и апробация технологии и программного обеспечения формирования контрольно-измерительных материалов, сделаны выводы о качестве подготовленных экзаменационных моделей.» author=»Тугой Иван Анатольевич» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-01-12″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_30.12.16_33(1)» ebook=»yes» ]