- Учителю
- Технология составления тестов для младших школьников
Технология составления тестов для младших школьников
Тестирование младших школьников. Технология обработки тестовых заданий.
Многие исследования показали, что наиболее продуктивным методом контроля знаний является тестирование, т.к. это наиболее эффективный измеритель знаний. В последние десятилетия стал активно возрождаться тестовый метод контроля знаний.[1]
Проблемы контроля знаний. При разработке теории тестового метода контроля Аванесов В.С. [1] исходит из необходимости учета следующих проблем:
- Качества. История развития школьного образования подтвердила неоднократно, нет измерений, нет прогресса. Для совершенствования процесса обучения необходима научно обоснованная информация.
- Всесторонности. Необходимость по возможности полного охвата круга вопросов, подлежащих контролю.
- Оптимальности. Нельзя измерить знание предмета с использованием бесконечного числа вопросов.
- Точности. Всякое измерение содержит погрешность, важно, чтобы она была как можно меньше.
- Эффективности. Учета соотношения между достигнутым эффектом и совокупными затратами времени, средств.
- Объективности. Важно определить, что такое знание предмета, темы, раздела и т.п. Это самый трудный вопрос. Ответ на него приводит к созданию некоторого образа, который присущ всем детям, которых можно отнести к числу знающих предмет. Этот образ помогает подобрать соответствующий материал для контроля. Удачное формулирование контрольного задания требует опыта. Поскольку оценка человека всегда в той или иной мере основывается на субъективных представлениях, нередко ставится вопрос о поиске методов отделения объективного от субъективного. При известных условиях субъективные моменты могут быть положены в основу начального процесса формирования объективных оценок. Эта процедура основывается на идее измерения результатов педагогического процесса и приводит к необходимости формулировки своей (а потому субъективной в начале) концепции знаний.
При апробации метода тестирования определили цели работы:
- изучение теоретические основы научной организации тестирования;
- составление тестов для объективного контроля математических знаний младших школьников. [2]
И задачи:
- изучить значение контроля в процессе обучения младших школьников;
- осветить необходимые теоретические знания, на основе которых строится тест - как объективный измеритель знаний, сформировать умения, необходимые для разработки тестов по математике для начальных классов школы. [2]
Данная работа содержит теоретическую часть. В ней я рассматриваю функции, виды, формы и принципы контроля, выявляются основные причины недостаточной объективности сложившегося подхода в оценивании знаний младших школьников. Рассматриваются общие подходы к разработке тестов, этапы разработки теста, формы тестовых заданий, требования к конструированию тестовых заданий и т.д.
Определение теста. Тест выступает как показатель и эталон знания и является результатом эмпирической и теоретической проверки. В.С.Аванесовым дано следующее определение - «тест - это наилучшая оптимальная система заданий специфической формы, возрастающей трудности, служащая для объективной оценки структуры и измерения уровня знаний учащихся, обладающая свойствами валидности и надежности».
- Наилучшая оптимальная система знаний. В тесте отсутствуют задания, которые не отличают «сильных» учащихся от «слабых».
- Задания в тесте расположены по возрастающей трудности. Трудность заданий определяется опытным путем по результатам предварительного тестирования определенного числа учащихся.
- Задания специфической формы. Форма заданий способствует созданию условий для более полного охвата проверкой всего континуума знаний за относительно короткое время.
- Задания теста служат для объективной оценки структуры и измерения уровня знаний учащихся. Тест является эталоном, результатом эмпирической и теоретической проверки.
- Задания теста надежны. Надежность - это независимость результатов тестирования от действия возможных случайных факторов, таких, как условия тестирования, личности экзаменатора и испытуемого и т.п. Тест надежен, если дает одни и те же результаты при повторном тестировании.
- Задания теста - валидны. Валидность - (пригодность), (по Аванесову В.С.) - это соответствие теста измеряемому свойству или процессу. Содержательная валидность - соответствие тестовых заданий целям тестирования. Критериальная валидность - соответствие результатам, полученным с помощью другой формы контроля.
- Тесты подразделяются на три класса. Третий класс - содержит не менее 30 заданий. Эмпирическая проверка 300-500 учащихся. Надежность теста 0,8. Второй класс - создается преподавателями с чьей-либо помощью. Требуют программного обеспечения, внешней экспертизы. Надежность не менее 0,9. Эмпирическая проверка охватом 1000-1500 человек. Первый класс - соответствует Республиканским стандартам. Создается на уровне кооперации коллективов. Характеризуется программным обеспечением. Надежность не менее 0,95.
I Этап. Метод анализа содержания образования. Построение моделей логической структуры учебного материала.
Таблица 1. «Определение понятия «Знание…»
Прагматическое определение знания - умение отвечать на какие-то вопросы, выполнять какие-то задания.
Операционное определение знания - перечисление состава, что должен знать учащийся.
ΙI Этап. Педагогический контроль (предварительный, текущий, итоговый). Определяем вид проверки и задачи, которые мы ставим перед тестированием. Проверяем всю последовательность прохождения изучаемого материала в блоке, устанавливаем связь между частями. Определение значимости материала, охват проверкой всего континуума.
III Этап. Составление и подбор заданий.
Требования:
-
Задание конструируется не в форме вопроса, а в форме ответа и имеют повествовательную, а не вопросительную форму.
-
Задания такие, что знающий ученик выполнит правильно с первого взгляда, не затрачивая время на громоздкость, но не легкость, а весомость задания.
-
Задания краткие, компактные, лаконичные 7-9 слов (без лишних слов).
-
Задание сформулировано ясно, безупречно, отсутствует двусмысленность. Фраза должна быть идеально простой.
-
Задания содержательны (не поверхностно), отражают сущностные элементы задания.
-
Задания специфической формы (открытые __, закрытые, на соответствие, на установление последовательности).
-
Задания с фасетом - обладающие большим числом замены.
-
Задания обладают дифференцирующей способностью: отличают «сильных» учащихся от «слабых».
IV Этап. Опытная проверка пригодности заданий теста.
Проводится тестирование. За каждый правильный ответ выставляется 1 балл, неправильный 0 баллов. При обработке результатов учитывается, что тест не может состоять из одних только легких или трудных заданий, он включает задания различного уровня трудности, начиная с самого легкого, на которые должны ответить правильно почти все испытуемые и заканчивая самым трудным, на которые могут ответить только 1-2 учащихся.
Слишком трудные (не ответил ни один учащийся) и слишком легкий (ответили правильно все учащиеся) исключаются из теста. Оставшиеся ответы сводятся в матрицу:
Таблица 2. «Матрица результатов тестирования. Валидность заданий теста»
Испытуемые
1
2
3
4
5
6
7
8
9
Индивидуальный балл каждого испытуемого Xi
Xi²
1
2
3
4
5
6
7
8
9
10
11
12
А. А.
1
1
1
0
1
0
1
0
0
5
25
Б. А.
0
1
1
1
0
0
1
1
0
5
25
В. П.
0
1
1
1
1
1
1
1
1
8
64
Г.В.
1
1
1
1
1
0
1
1
1
8
64
Д.А.
1
1
1
1
1
0
1
1
1
8
64
К. А.
1
0
0
1
1
1
1
1
1
7
49
К. С.
1
1
1
1
1
1
0
0
1
7
49
Л.В.
1
1
1
1
0
1
1
0
1
7
49
Л. С.
1
1
1
1
1
1
1
1
1
9
81
Л.К.
1
1
1
1
0
1
1
1
1
8
64
М.К.
0
1
0
1
0
0
0
1
1
4
16
М.А.
0
1
1
1
1
1
0
1
0
4
16
П.С.
1
1
0
1
0
0
1
1
0
5
25
Р. С.
1
1
1
1
1
1
1
1
1
9
81
С.М.
1
1
0
1
1
1
1
1
1
8
64
Ф.Г.
1
1
1
1
0
0
0
1
1
6
36
Ф.В.
1
1
1
1
1
1
0
1
1
8
64
Ц. Р.
1
1
1
1
1
1
1
1
1
9
81
Ш.Е.
1
0
1
1
0
1
1
1
1
7
49
Ш.С.
1
1
1
1
0
1
1
1
1
8
64
Я. Е.
1
1
1
1
1
0
0
1
1
7
49
Кол.прав. отв.(R)
17
19
17
20
13
13
15
18
17
Кол.непр.отв.(W)
4
2
4
1
8
8
6
3
4
Доля прав. Отв.(Pi)
0,8
0,9
0,8
0,9
0,6
0,6
0,7
0,8
0,8
Доля непр. Отв. (qi)
0,2
0,1
0,2
0,1
0,4
0,4
0,3
0,2
0,2
Индивидуальный балл (Хi) испытуемого получается сложением всех единиц (по строке), полученных i-ым учеником по всем заданиям. Для удобства последующих расчетов, полученные индивидуальные баллы (Хi) в последнем стобце возводятся в квадрат
(Хi²)
Сложение баллов по каждому заданию (по столбцам) дает число правильных ответов (R). Вычитая соответственно число правильных ответов из числа учащихся, отвечающих на задания теста, получаем число неправильных ответов (W), что позволяет судить о трудности или, наоборот, о легкости тех или иных заданий.
Разделив в каждом столбце число правильных ответов (R) на общее число учащихся (N), получим важную характеристику задания, называемой мерой трудности. В качестве такой меры принимается значение доли правильных ответов (Pi), вычисленной по
формуле:
-, где N-общее число тестируемых.
Вычитая в каждом столбце из единицы Рi, мы получим долю правильных ответов, действительно отражающих меру трудности задания. Чем ближе к Рi к 1, тем тестовое задание легче, и чем ближе к 0, тем оно труднее.
Дифференцирующая способность задания. Определить дифференцирующую способность задания можно вычислив различающую способность задания (РСЗ) по формуле: РСЗ=
, где Пл- число правильных ответов (27% «лучших»); Пх- число правильных ответов (27% «худших»);
Задание считается пригодным, если РСЗ>0,3.
Чем ближе РСЗ к 1, тем оно лучше отличает «сильных» от «слабых».
Различающую способность задания рассчитывают с помощью матрицы результатов тестирования. Для этого располагают испытуемых по их рейтингу, т.е. по уменьшению их индивидуального балла. Больше всех (9) баллов набрали испытуемые Л.С, Р.С, Ц.Р. - они занимают в матрице 1,2,3 место. Далее - в порядке убывания.
Таблица 3. «Матрица результатов тестирования. Расчет различающей способности заданий»
Испытуемые
1
2
3
4
5
6
7
8
9
Индивидуальный балл каждого испытуемого Xi
1
2
3
4
5
6
7
8
9
10
11
Л.С.
1
1
1
1
1
1
1
1
1
9
Р.С.
1
1
1
1
1
1
1
1
1
9
Ц.Р.
1
1
1
1
1
1
1
1
1
9
В.П.
0
1
1
1
1
1
1
1
1
8
Г.В.
1
1
1
1
1
0
1
1
1
8
Д. А.
1
1
1
1
1
0
1
1
1
8
Л.К.
1
1
1
1
0
1
1
1
1
8
С. М.
1
1
0
1
1
1
1
1
1
8
Ф.В.
1
1
1
1
1
1
0
1
1
8
Ш.С.
1
1
1
1
0
1
1
1
1
8
К.А.
1
0
0
1
1
1
1
1
1
7
К.С.
1
1
1
1
1
1
0
0
1
7
Л.В.
1
1
1
1
0
1
1
0
1
7
Ш.Е.
1
0
1
1
0
1
1
1
1
7
Я. Е.
1
1
1
1
1
0
0
1
1
7
Ф.Г.
1
1
1
1
0
0
0
1
1
6
А.А.
1
1
1
0
1
0
1
0
0
5
Б. А.
0
1
1
1
0
0
1
1
0
5
П.С.
1
1
0
1
0
0
1
1
0
5
М.К.
0
1
0
1
0
0
0
1
1
4
М.А.
0
1
1
1
1
1
0
1
0
4
РСЗ
0,3
0
0,3
0,6
0,5
0,5
0,5
0,2
0,3
При расчете РСЗ во внимание берут не всех испытуемых (100%), а немногим больше половины (54%). При для расчета выбирают 27% испытуемых, которые набрали больше баллов (27% «лучших») и 27% испытуемых, которые набрали меньше баллов (27% «худших»). В нашем примере 27% от 21 испытуемых равно 6 испытуемых Л.С., Р.С., Ц.Р, В.П, Г.В, Д.А. - «лучших» и Ф.Г., А. А., Б.А., П.С., М.К., М.А. - «худших».
Вычислим РСЗ первого задания.
Пл=5, Пх=3,
0,27n=6. Подставив в формулу получим
РСЗ=
=
=0,33
РСЗ>0,3
Значит, задание пригодное.
Вычислим РСЗ третьего задания.
Пл=6, Пх=4,
0,27n=6. Поставив в формулу получим
РСЗ=
==0,33
РСЗ>0,3
Значит, задание пригодное.
Вычислим РСЗ восьмого задания.
Пл=6, Пх=5,
0,27n=6. Поставив в формулу получим
РСЗ=
=
=0,16
РСЗ<0,3
Значит, задание непригодное.
Вычислим РСЗ девятого задания.
Пл=6, Пх=2,
0,27n=6. Подставив в формулу получим
РСЗ=
=
=0,66
РСЗ>0,3
Значит, задание пригодное.
Расчет надежности теста вычисляется с помощью матрицы по формуле:
=
, где 
=
; 
;
=
; x-количество правильно выполненных заданий по нечетным столбцам; y-количество правильно выполненных заданий по четным столбцам.
Для расчета надежности теста составляется новая матрица результатов тестирования следующим образом. В ней остаются только задания, для которых РСЗ≥0,3. При этом задания располагаются по возрастанию их трудности. Сначала самые легкие, у которых доля правильных ответов 0,9, потом труднее: 0,8, 0,7, 0,6, 0,5, 0,4, 0,3, 0,2, 0,1.
Таблица 4. «Матрица результатов тестирования. Расчет надежности теста»
Испытуемые
1
2
3
4
5
6
7
8
9
Индивидуальный балл каждого испытуемого Xi
Xi²
1
2
3
4
5
6
7
8
9
10
11
12
А.А.
1
1
1
0
1
0
1
0
0
5
25
Б. А.
0
1
1
1
0
0
1
1
0
5
25
В.П.
0
1
1
1
1
1
1
1
1
8
64
Г. В.
1
1
1
1
1
0
1
1
1
8
64
Д.А.
1
1
1
1
1
0
1
1
1
8
64
К. А.
1
0
0
1
1
1
1
1
1
7
49
К. С.
1
1
1
1
1
1
0
0
1
7
49
Л.В.
1
1
1
1
0
1
1
0
1
7
49
Л. С.
1
1
1
1
1
1
1
1
1
9
81
Л.К.
1
1
1
1
0
1
1
1
1
8
64
М.К.
0
1
0
1
0
0
0
1
1
4
16
М.А.
0
1
1
1
1
1
0
1
0
4
16
П.С.
1
1
0
1
0
0
1
1
0
5
25
Р. С.
1
1
1
1
1
1
1
1
1
9
81
С. М.
1
1
0
1
1
1
1
1
1
8
64
Ф. Г.
1
1
1
1
0
0
0
1
1
6
36
Ф.В.
1
1
1
1
1
1
0
1
1
8
64
Ц.Р.
1
1
1
1
1
1
1
1
1
9
81
Ш.Е.
1
0
1
1
0
1
1
1
1
7
49
Ш. С.
1
1
1
1
0
1
1
1
1
8
64
Я.Е.
1
1
1
1
1
0
0
1
1
7
49
Кол.прав. отв.(R)
17
19
17
20
13
13
15
18
17
Кол.непр.отв.(W)
4
2
4
1
8
8
6
3
4
Доля прав. Отв.(Pi)
0,8
0,9
0,8
0,9
0,6
0,6
0,7
0,8
0,8
Доля непр. Отв. (qi)
0,2
0,1
0,2
0,1
0,4
0,4
0,3
0,2
0,2
V Этап. Условия применения разработанного теста.
Инструкция пользователя. В инструкции пользователя указывается:
- Время применения теста. Тест №1 применяется вначале 1четверти по плану указанному в КТП.
- Цель тестирования. Тест №1 (предварительный контроль) проводится с целью установления ЗУН на данный период, готовности учащихся воспринимать новый материал, насколько полно владеют необходимым для усвоения нового материала.
- Структура теста. Состоит из 10 заданий. Задания расположены по возрастанию трудности.
- Затрачиваемое время. На проведение теста отводится 20 минут.
- Информация о проведенной экспертизе. Перед тестированием разработанные задания проверялись преподавателем начальных классов, родителями и обсуждались недочеты и ошибки в разработанных заданиях.
- Вид контроля. Тест №1 проводится на этапе предварительного контроля.
- Кого тестировать. Предназначен для тестирования 1 классов.
- Характер заданий. Тест содержит задания разного типа: открытые, закрытые, на соответствие, на установление последовательности.
- Как оцениваются результаты тестирования. За каждый правильный ответ ставится 1 балл, за неправильный 0 баллов. Подсчитывается общая сумма баллов. По следующей шкале можно перевести баллы в отметки. Если правильных ответов меньше 50%, то оценка «2», если от 50%-75% - оценка «3», от 76%-85% - «4», свыше 85% - «5». В каждом конкретном случае, критерии оценок могут быть разными (обязательный или возможный уровень).
- Класс теста и его надежность. Класс III, надежность 0,8.
Таблица 5. «Временные рамки при тестировании младших школьников»
Классы
Обязательный уровень
Возможный уровень
1 класс
2,5 мин.
2 мин.
2 класс
2 мин.
1,5 мин.
3 класс
1,5 мин.
1 мин.
4 класс
1 мин.
2 мин. на выполнение 3-х заданий
Таблица 6. «Количество заданий в тесте»
Классы
Обязательный уровень
Возможный уровень
1 класс
10-12 заданий
17-19 заданий
2 класс
18-20 заданий
24-26 заданий
3 класс
25-27 заданий
34-36 заданий
4 класс
35-37 заданий
-
аданий
Список литературы:
-
Аванесов В.С. «Формы тестовых заданий». Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2-е изд. перераб. и расширен. - М.: Центр тестирования, 2005. - 156 с.
-
Кучер Т. П., Тестовые задания по курсу Основы математики для студентов специальности "Педагогика и методика начального обучения". - Санкт-Петербург: "Реноме", 2014.
-
Кучер Т. П., Проблемы профессионально-методической подготовки будущих учителей математики и учителей начальных классов к преподаванию математики, Международная научно-практическая конференция «НАУКА, ОБРАЗОВАНИЕ, ОБЩЕСТВО: МОДЕРНИЗАЦИЯ И ИННОВАЦИИ» 28 мая 2014 г.г. Барнаул.