Валидность в эвалюации является самым важным критерием качества, который несет в себе не только методический или технологический, но и методологический потенциал при анализе результатов эвалюации, составляющих информационную основу управленческих решений [6, pp45-49]. В связи с введением компетентностного подхода к трактовке качества результатов образования предлагается ввести в рассмотрение еще один критерий качества результатов эвалюации, характеризующий их аутентичность.
Аутентичность, введенная по отношению к эвалюации в образовании в данном исследовании, обращается к анализу подлинности и сбалансированности представления всех перспектив, ценностей и результатов программ или проектов [2, стр 45-51]. Потребность в аутентичности возникает не всегда, а только при проведении эвалюации тех программ и проектов, которые имеют дело с латентными и тем более с мета-латентными переменными. Ярким примером тому может служить эвалюация модернизации высшего образования на основе новых ФГОС, где мета-латентная природа компетенций заставляет анализировать аутентичность средств эвалюации. Поэтому аутентичность можно рассматривать как новый критерий качества инструментария и информации в эвалюации, имеющий ограниченную сферу применения [1, стр. 45-57].
При углубленном подходе анализ аутентичности можно разбить на ряд направлений работ, включающих: оценку справедливости результатов эвалюации, их онтологической и каталитической подлинности (Lincoln и Guba, 2000) [7, pp. 23-34. В частности, для выполнения критерия справедливости результатов эвалюации необходимо выявить все возможные конфликты и различия в суждениях о ценности результатов, которые могут сформироваться при эвалюации проектов и программ. Критерий онтологической аутентичности результатов эвалюации связан с анализом тех изменений, которые произошли с когнитивной составляющей опыта участников по мере выполнения ими программ и проектов и со степенью соответствия этих изменений задачам политики в образовании. Каталитическая аутентичность предназначается для анализа степени соответствия действий в процессе эвалюации реальным запросам со стороны программ и проектов [2, стр 78-81].
Например, в связи с появлением компетентностной трактовки качества результатов образования возникла проблема повышения аутентичности оценочных средств, в которых отказались от заданий с выбором ответов в пользу заданий со свободно конструируемым ответом в силу того, что простой выбор правильных ответов не является адекватным показателем уровня сформированности компетенций [3, стр 23-32] Было признано, что необходимо аутентичное оценивание компетенций, которое можно обеспечить на основе контекстуализированного комплекса профессионально-ориентированных задач, ориентированных на применение освоенных умений в практических ситуациях [4, стр. 32-43]
В отличие от аутентичности валидность является обязательным компонентом всех работ по эвалюации программ и проектов. Это более широкая характеристика качества результатов измерений в эвалюации, имеющая методологический характер и связанная тесно с проблемой размерности пространства измерений Gronlund обосновал, что валидность, в основном, связана с пригодностью интерпретаций, сделанных на основании результатов измерения со ссылкой на специфику использования [5, pp 45-49]. Поэтому более правильно говорить о валидности результатов измерения, чем привязывать этот термин к самому средству проведения эвалюации.
В основном, оценивание валидности предназначено для осознания того, какие выводы можно сделать по полученным результатам оценивания и того, в какой мере в эвалюации можно использовать ту или иную информацию, полученную в результате измерений. При низкой валидности вывод делается совсем иной, гораздо более радикального характера – измерения не состоялись, а их результаты не пригодны для принятия управленческих решений. Таким образом, вслед за Gronlund можно утверждать, что оценивание валидности связано с осмыслением качества результатов эвалюации и возможностью их интерпретации их в целях анализа выполнения программ и проектов.
Валидизация в эвалюации всегда затруднена латентным характером переменных, из-за которого процесс операционализации измеряемых конструктов носит неоднозначный характер, и существуют различные эмпирические референты. Поскольку пригодность данных измерения может быть проанализирована с различных сторон, валидизация результатов эвалюации имеет множество аспектов рассмотрения. Guba и Lincoln выделяют два основополагающих вида валидности: внутреннюю и внешнюю, считая, что первая свидетельствует о правдоподобии самого существования результатов программ и проектов, а вторая – о возможности переноса результатов на другое множество объектов [6,pp. 56-61]. Компетентностный подход, являющийся приоритетным в наши дни на всех уровнях образования, приводит к дополнительным трудностям при оценивании валидности результатов программ и проектов по модернизации образования за счет мета-латентного характера переменных измерения, оценки которых еще труднее поддаются валидизации по сравнению с оценками знаний и умений. Среди доминирующих видов валидности результатов эвалюации в высшем образовании, можно выделить конструктную, содержательную и прогностическую валидность. Следуя терминологии Lincoln, первые два вида валидности следует считать внутренними, а прогностическую валидность можно назвать внешней .
Ориентация на внешние критерии при валидизации данных эвалюации вынуждает исследователей валидности собирать разностороннюю информацию относительно условий использования инструментария и специфической интерпретации результатов его применения. Messick также отмечал, что специфика интерпретации и использования результатов измерения при эвалюации подчинены контексту, включающему ценностный фон и социальную окраску их интерпретации [7, pp. 87-91]. Это означает, что в эвалюации нельзя ограничиваться только анализом конструктной валидности, характеризующей сам измеритель, поскольку необходима валидизация результатов измерения применительно к условиям их использования. Необходимо думать о контексте, который лежит в основе процесса эвалюации и влияет на интерпретацию результатов ее проведения.
Хороший пример необходимости таких исследований можно найти в отчетах о результатах практической деятельности ряда американских школ, в которых опубликованные стандартизированные тестовые оценки учебных достижений использовались в качестве критерия эффективности их работы [7, pp. 91-102]. В связи с постоянно растущим давлением со стороны органов управления образованием, призывавших школы повысить оценки учебных достижений с целью улучшения показателей своей работы, дирекция и учителя некоторых школ предприняли экстремальные неадекватные меры для повышения результатов тестирования. Nolen, Haladyna, Haas & Stubbs показали, что методы, используемые для улучшения результатов тестирования учащихся, не способствовали реальному повышению качества результатов образования [9, pp. 78-81]. По сути, эти меры сводились к использованию различных способов чрезмерного мотивирования учащихся при выполнении тестов, увеличению времени, отведенного на тест, поиску различных смягчающих аргументов для объяснения низких результатов отдельных обучающихся, исправлению неправильных ответов в тестах, подсказкам и снабжению учащихся перед тестированием правильными ответами.
Dick, Carey, Haladyna, Nolen и Haas, а также Mehrens, Klein и Kaminski в своих работах обсуждали проблемы подобного негативного опыта, подрывающего образование и снижающего его качество, а также полностью искажающего представления о реальной валидности результатов эвалюации Эти же вопросы обсуждались в трудах Paris, Lawton, Taylor, Ruth-Eft и McGill-Franzen, которые писали о негативных эффектах такой подтасовки отчетности путем искажения результатов оценивания учебных достижениях учащихся, о низкой валидности таких искаженных результатов и потере престижа профессии учителя, вследствие этой отчетности [10]. Поэтому контекст – это неотъемлемая часть процесса валидизации, показывающий как интерпретируются и используются результаты эвалюации.
В целом, для повышения валидности измерений в эвалюации необходимо тщательное планирование содержания и дизайна измерений, включая схемы сочетания количественного и качественного уровней измерения, разработку спецификации измерителей, подбор оптимальной трудности заданий, расчет оптимального времени проведения измерительных процедур, проведение экспертизы качества содержания отдельных заданий и всего теста, отбор наиболее валидных заданий с высокой дифференцирующей способностью и т.д. При валидизации собираются эмпирические и экспертные доказательства, представляющие внешние критерии и способствующие адекватной и обоснованной интерпретации результатов эвалюации.
Таким образом, валидность результатов измерений в эвалюации представляет собой интегративное понятие, поскольку при оценке валидности приходится принимать во внимание всевозможные доказательства, связанные с характеристиками измерителя, процедурами его применения, обработкой, шкалированием и интерпретацией результатов его выполнения.
Список литературы
1.Гуськова, М.В. Основы эвалюации в совершенствовании управления образованием: монография/ М.В.Гуськова. – М.: Издательство ИНФРА-М, 2014. — 214с.
2.Гуськова, М.В. Об использовании аппарата эвалюации в ходе модернизации профессионального образования /М.В.Гуськова// Инновационное развитие Российской экономики: материалы IV Международного научно-практического форума. «Инновационное развитие Российской экономики».- М.: МЭСИ, 201
3.Звонников, В.И. Контроль качества обучения при аттестации: компетентностный подход /В.И.Звонников, М.Б.Челышкова.-М.: Университетская книга, Логос, 2009.-272с.
4.Звонников, В.И. Оценка качества результатов обучения при аттестации (компетентностный подход) /В.И.Звонников, М.Б.Челышкова.- 2-е изд., перераб. и доп. -М.: Логос, 2012. -279с.
5.Brennan, R. Generalizability Theory. Springer. 2001, N.Y.538
6.Educational Measurement / Ed. by R. L. Linn. N.-Y.: Macmillan, 1989. 609 p.
7.Gronlund, N.E. How to Consrruct Achievement Test. N.J.: Prentice Hall, 1998. 155p
8.Messick, S. Winter. Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and Practice, pp. 5-8. 1995.
9.Guba, E. G., & Lincoln, Y. S. (1981). Effective evaluations. San Francisco: Jossey-Bass
10.https://nekonomika.ru/?cat=8&paged=2[schema type=»book» name=»ВАЛИДНОСТЬ И АУТЕНТИЧНОСТЬ В СОВРЕМЕННОЙ СИСТЕМЕ КАЧЕСТВА ОБРАЗОВАНИЯ » description=» В данной статье рассматривается сущность процесса валидности и аутентентичности в современной системе измерения качества образования, приводится анализ подходов к данным кагегориям. Выделяются виды валидности. Делаются выводы об интегрированности данных категорий в современной образовательной системе. » author=»Орехов Владимир Иванович, Орехова Татьяна Романовна» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-03-16″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_30.05.2015_05(14)» ebook=»yes» ]