КРАШЕНИННИКОВА Г.Г. Показатель трудности тестового задания как важнейший тестообразующий фактор. PDF Печать E-mail
Статьи 2013 (раздел)
01.04.13 11:56

 Показатель трудности тестового задания как важнейший тестообразующий фактор.

Крашенинникова Галина Геннадьевна

канд. пед. наук, Магаданский филиал РГГУ

 

Одной из основных характеристикой тестового задания является его трудность. Уровень трудности задания, а также уровень подготовленности тестированного – это латентные параметры, которые не поддаются непосредственному наблюдению. Для того, чтобы оценить эти параметры, требуется использовать тесно связанные с ними индикаторы. При тестировании знаний студентов в качестве индикатора выступают сами тестовые задания. Возникает задача: преобразовать значения индикаторов в значения латентных параметров. Существуют различные подходы к решению этой задачи. Классическая и современная теории тестирования предлагают свои методы оценивания латентных параметров.

Традиционной мерой трудности задания в классической теории тестов долгие годы остаётся отношение числа правильных ответов на данное задание к общему числу испытуемых в группе. Чем легче задание, тем выше процент справившихся с этим заданием [2, с. 197].

Однако данное определение несёт в себе смысловую неточность: увеличение числового значения статистического показателя говорит об уменьшении уровня трудности задания, и наоборот. Поэтому в последнее время предпринимаются попытки введения новых единиц трудности. Классическая мера трудности заменяется на противоположную и представляет собой долю неправильных ответов в группе испытуемых, что, на наш взгляд, более точно отражает смысл параметра «трудность задания».

Современная теория тестирования – Item Response Theory (IRT) – основывается на созданной П. Лазарсфельдом теории латентно-структурного анализа (ЛСА). В IRT, в отличие от классической теории, латентный параметр трактуется не как постоянная величина, а как непрерывная переменная. Методы IRT можно классифицировать по числу используемых в них параметров. Наиболее известны однопараметрическая модель Г. Раша, двух- и трехпараметрические модели А. Бирнбаума.

Георг Раш разместил на одной шкале и уровень подготовленности тестируемого и уровень трудности задания, введя для них общую единицу измерения – логит. Один логит трудности задания равен натуральному логарифму отношения доли неправильных ответов на это задание к доле правильных ответов [7].

Несмотря на то, что IRT получила в последнее время широкое распространение, она, тем не менее, обладает множеством недостатков. В частности, при тестировании учебных достижений отмечаются значительные расхождения между расчетными значениями и эмпирическими данными. Доказана также высокая корреляция (около 0,9) между результатами, полученными по модели Раша и результатами, полученными классическими методами [6]. Этот факт позволяет нам без ущерба точности вычислений пользоваться методами классической теории тестов для характеристики трудности тестовых заданий.

Хотя классическая формула расчета трудности задания достаточно удобна для исполнения и последующей трактовки полученных результатов, на наш взгляд, она не лишена некоторого субъективизма: трудность задания напрямую зависит от выборки тестируемых. В связи с этим рассмотрим еще один взгляд на оценку уровня трудности тестового задания, который, хотя и не является широко распространенным, но представляет для нас определенный интерес.

Чтобы подойти к сущности латентного параметра «трудность», обратимся к классификации уровней усвоения знаний, принятых в педагогической литературе. Можно заметить вполне объективное возрастание степени трудности усвоения для каждого последующего уровня усвоения знаний. Таким образом, мы можем сделать вывод о существовании прямой зависимости между уровнями усвоения и уровнями трудности заданий, соответствующих каждому уровню усвоения. Это позволяет нам отождествлять такие понятия как «уровень трудности» и «уровень усвоения» применительно к тестовым заданиям. Взяв за основу классификацию В.П. Беспалько [3], мы выделяем четыре уровня трудности: «ученический», типовой, эвристический, творческий.

В настоящее время в педагогике широко используются экспертные методы. Поэтому заслуживает внимание экспертное оценивание уровня трудности тестовых заданий как ещё один из вариантов оценки показателя трудности. Например, в работе А.П. Иванова [4, с. 348–351] приводится описание подобной оценки, когда до начала тестового эксперимента нескольким экспертам предлагается оценить трудность заданий всех вариантов теста в баллах. Для получения экспертной оценки автор приводит перечень из восьми факторов с соответствующими критериями оценивания от 1 до 5 баллов по каждому.

В хорошо составленном тесте на трудность задания не должна влиять ни форма, ни сама организация тестирования. Показатель трудности зависит только от содержания и уровня подготовленности тестируемых. Правда, встречается мнение, что на степень трудности задания оказывает влияние месторасположение этого задания в структуре теста. В этом случае рекомендуется использовать несколько вариантов теста, отличающихся последовательностью расположения заданий [5, с. 131]. В.С. Аванесов полагает основным принципом разработки содержания педагогических тестов возрастающую трудность тестовых заданий [1]. По его мнению, только после определения степени трудности, задание имеет шанс стать тестовым. До этого оно остается просто заданием в тестовой форме.

Включение в тест большого числа заданий средней трудности повышает его надежность, но, приводит к снижению его содержательной валидности. Тест, состоящий из легких заданий, проверяющих минимальные знания, не может дать представления о реальном уровне знаний. Подбор тестовых заданий высокой степени трудности может способствовать усилению мотивации в учебе, но может повлиять и в обратную сторону. Таким образом, тесты из трудных заданий тоже искажают результаты тестирования. Кроме того, содержание теста должно варьироваться в зависимости от уровня подготовленности групп учащихся. Трудность теста для слабых студентов заметно отличается от уровня трудности теста, предлагаемого сильным студентам.

По А. Анастази и С. Урбиной [2, с. 202–203] выбор уровня трудности задания зависит от назначения теста, от того как предполагается использовать тестовые показатели. Для предметно-ориентированных тестов трудность заданий должна быть на уровне 0,8-0,9. Определяя по уровню трудности задания его информативность, авторы показывают, что наиболее информативно задание со средним уровнем трудности, равным 0,50.

Таким образом, можно сделать вывод, что наибольшей дифференцирующей способностью обладают задания со средним уровнем трудности. И, если целью тестирования является дифференциация тестируемых, сравнительная оценка их уровня знаний, то из теста следует исключать наиболее простые и наиболее трудные задания. Если же назначение теста определить, овладел ли обучаемый в достаточной мере определённым набором компетенций, необходимым для перехода к следующему этапу обучения, то в нём могут быть как самые лёгкие, так и самые трудные задания.

 

Библиографический список

1. Аванесов В.С. Применение заданий в тестовой форме в новых образовательных технологиях // Школьные технологии. – 2007. – № 3. – С. 146–163.

2. Анастази А., Урбина С. Психологическое тестирование. – СПб. : Питер, 2002. – 688 с.

3. Беспалько В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 192 с.

4. Иванов А.П. Систематизация знаний по математике в профильных классах с использованием тестов. – М.: Физматкнига, 2004. – 416 с.

5. Ингенкамп К. Педагогическая диагностика. – М.: Педагогика, 1991. – 240 с.

6. Ким В.С. Анализ результатов тестирования в процессе Rasch measurement // Педагогические измерения. – 2005. – № 4. – С. 39–45.

7. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. – Chicago & London, 1980. – 199 p.

Последнее обновление 02.04.13 12:31