МЕТОДИКА ОПРЕДЕЛЕНИЯ КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ, ОЦЕНИВАЕМЫХ ПО НЕПРЕРЫВНОЙ ШКАЛЕ часть 2

МЕТОДИКА ОПРЕДЕЛЕНИЯ КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ, ОЦЕНИВАЕМЫХ ПО НЕПРЕРЫВНОЙ ШКАЛЕ часть 1
МЕТОДИКА ОПРЕДЕЛЕНИЯ КАЧЕСТВА ТЕСТОВЫХ ЗАДАНИЙ, ОЦЕНИВАЕМЫХ ПО НЕПРЕРЫВНОЙ ШКАЛЕ часть 2


Рисунок 3 – Корреляционная Матрица Результатов Тестирования После Проведении Чистки Упорядоченной Матрицы
С помощью интегрированной функциональной модели вычисляется набор параметров ?j, которые соответствуют устойчивым оценкам уровня сложности тестовых заданий. После проведения описанных вычислений разработанный тест может применяться для проведения объективного оценивания знаний субъектов обучения [Белоус Н.В. и др., 2009].
Сравнительный анализ применения методики при дихотомической и непрерывной шкалах
Пусть для определения результатов тестирования применялась дихотомическая шкала оценивания знаний. Рассмотрим изложенный выше пример (рис. 1-3) с использованием дихотомической шкалы. Таким образом, если результат за выполнение тестового задания субъектом обучения меньше 1, то в матрицу результатов тестирования ставим 0, в противном случае – 1. Следовательно, упорядоченная матрица результатов тестирования для дихотомической шкалы примет вид:


Рисунок 4 – Упорядоченная Матрица Результатов Тестирования при Дихотомической Шкале Оценивания
Для полученной упорядоченной матрицы (рис. 4) построим корреляционную матрицу (рис. 5).

Из анализа результатов, внесенных в корреляционную матрицу, видно, что большая часть заданий демонстрируют отрицательную корреляцию между результатами их выполнения либо имеют сильную связь между заданиями, что свидетельствует об их плохом качестве. В свою очередь, плохое качество при оценивании заданий по непрерывной шкале, показало только ТЗ 1, а несостоятельным заданием является ТЗ 6 (см. рис. 2).


Рисунок 5 – Корреляционная Матрица Результатов Тестирования при Дихотомической Шкале Оценивания

При детальном анализе тестовых заданий, включенных в тест, было отмечено, что в ТЗ 6 как правильный был выбран не тот вариант ответа, а в ТЗ 1 сложность задания объясняется длинной формулировкой задания, что усложняет анализ его содержания субъектами обучения.
Таким образом, можно сделать вывод, что применение непрерывной шкалы при определении качества тестовых заданий дает данные с большим уровнем надежности, чем при применении дихотомической шкалы.

Выводы
Рассмотренная методика определения качества тестовых заданий, оцениваемых по непрерывной шкале, позволяет создавать качественные тесты для проведения объективного оценивания знаний субъектов обучения. Предлагаемая в работе методика программно реализована в виде системы проведения качественного анализа тестовых заданий. Разработанная система может применяться как при работе с авторским программным комплексом проведения контроля знаний [Belous N., 2005], так и с данными, полученными из внешних систем автоматизированного тестирования. Это делает разработанную систему универсальной.
Предлагаемая программная система прошла апробацию на достоверной выборке (более 100 субъектов обучения на тесте из 132 вопросов). При проведении анализа результатов предварительного тестирования были выявлены 12 заданий плохого качества и 5 несостоятельных заданий, что показало работоспособность предлагаемой в работе методики проведения качественного анализа тестовых заданий.
Внедрение предлагаемой системы в высших учебных заведениях позволит проводить качественный анализ тестовых заданий непосредственно перед проведением промежуточного либо итогового тестирования. Программная система применима как в учебных заведениях любого уровня аккредитации, так и в организациях и учреждениях, где проводится профессиональный отбор с помощью тестирования, а также на курсах повышения квалификации.
Важным моментом при оценивании результатов выполнения тестовых заданий субъектами обучения является возможность угадывания правильных ответов [Белоус Н.В., 2009]. Возможна ситуация, когда слабый студент справляется с более сложным заданием, а не может выполнить более простое. В данном случае речь идет не о плохом качестве простого вопроса, а о том, что на более сложный вопрос ответ был угадан. В дальнейшем планируется усоверщенствовать методику путем проведения предварительного нормирования, т.е. перерасчета значений упорядоченной матрицы с учетом возможности угадывания правильного ответа и сложности тестовых заданий в зависимости от ответов субъектов обучения.
  • +2
  • 3 ноября 2009, 18:33
  • yxom

Комментарии (0)

RSS свернуть / развернуть

Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.