ГБОПУ «Сочинский медицинский колледж»

министерства здравоохранения Краснодарского края

МЕТОДИЧЕСКАЯ РАЗРАБОТКА

УКАЗАНИЯ К СОСТАВЛЕНИЮ ТЕСТОВ ДЛЯ ПРОМЕЖУТОЧНОЙ

АТТЕСТАЦИИ В МЕДИЦИНСКИХ КОЛЛЕДЖАХ

(для преподавателей)

Составитель: преподаватель Чуркина Е.Ю.

Новое, как известно, - это хорошо забытое старое. Первые учебники по

медицине в Древнем Риме излагались в форме вопросов и ответов и так и

назывались: «Книги вопросов и ответов». Средневековые университеты пе-

реняли этот опыт, учили по таким же учебникам под названием «Вопросы».

В настоящее время на стыке нескольких наук - психологии, педагогики,

теорий измерений и математической статистики - в медицине разработан новый

метод оценки - объективное тестирование. В объективном тестировании

применяются специально сконструированные тестовые вопросы, иначе

называемые вопросами множественного выбора или тестовыми пунктами, в

конструкции которых используются законы логики и основные операции

мышления.

ЦЕЛЬ настоящих указаний - распространить метод объективного тести -

рования для оценки знаний студентов по общепрофессиональным и спе –

циальным дисциплинам, преподаваемым в медицинских колледжах.

Согласно современному подходу к изучению процесса мышления как

принятия решений (теория принятия решений), мышление состоит в выборе

адекватной альтернативы из некоторого числа вариантов. Любое тестовое

задание включает этот процесс выбора и представляет определенный фрагмент

умственных действий, в процессе которых совершается мышление. Каким бы

сложным не было мышление, оно всегда завершается процессом выбора

наиболее адекватной или единственно пригодной альтернативы,

представляющей решение. Поэтому структурная простота тестовых заданий не

является упрощением сложного процесса мышления. Все зависит от искусства

преподавателя, составляющего тестовые задания. В настоящее время не

существует сомнений в том, что тест может измерять умственные навыки,

составляющие процесс мышления

ПОЗНАВАТЕЛЬНАЯ ОБЛАСТЬ

Уровень:

1.

Воспроизведение фактов.

2.

Интерпретация данных.

3.

Решение проблем.

По видимому, в экзаменационных тестах может быть использован 1 и 2

уровень и только в небольшой части - на стыке нескольких дисциплин - можно

коснуться области решения проблем.

Процесс принятия решений зависит от базы знаний, на основании которых

происходит принятие тех или иных решений при работе в больнице.

Первых два уровня интеллектуального процесса удобно оценивать с

помощью вопросов множественного выбора. Мышление у человека возникает

тогда, когда имеется противоречие, побуждающее осуществить поиск для

ответа. В вопросах множественного выбора это противоречие создается

системой прилагаемых на выбор ответов. Ответы подобраны так, что среди них

могут быть и явно неверные, которые внешне, для недостаточно компетентного

студента, похожи на верные (так называемые дистракторы). Ответы,

предлагаемые к основе тестового пункта, направляют мышление студента,

уточняют вопрос, вносят неопределенность в контекст вопроса с целью

приблизить ситуацию к жизненной. Составление такого рода пунктов требует

глубоких методических познаний от составителя теста.

Для того, чтобы студент умел отвечать на пункты теста, понимал язык

тестовых пунктов, требуется некоторая подготовка к работе с тестами.

Для решения тестовых заданий по общепрофессиональным и специальным

дисциплинам важно сформировать у студентов определенный интерес к ним.

Этому может помочь, прежде всего, придание определенного клинического

уклона содержанию тестируемого материала.

С помощью теста по общепрофессиональным и специальным дисциплинам

можно проверить процессы воспроизведения информации, интерпретацию ряда

факторов или данных и затронуть сложную область решения проблем,

относящуюся к клиническому мышлению. Данные способности необходимы

фельдшеру.

Пример:

Воспроизведение информации. При воспроизведении информации

студенту предлагают вспомнить, что такое X?

1.

В состав молекулы гемоглобина входит: (выберите правильный ответ):

А) 4 гема и 1 глобин,

Б) 4 гема и 4 глобина,

В) 4 гема и 2 глобина,

Г) 2 гема и 2 глобина,

Д) 2 гема и 1 глобин.

Правильный ответ - А.

Интерпретация данных. При интерпретации данных студенту предлагают

применить знания для объяснения сочетания предложенных данных. Иными

словами, используя ту или иную информацию в комбинации с другими данными,

можно предложить студентам сделать вывод о каком-либо явлении. Приведем

пример.

1.После большой кровопотери мужчине 30 лет с группой крови IV резус -

отрицательной перелили кровь IV группы резусположительную. Через несколько

дней потребовалось повторное переливание крови. Какую кровь можно перелить

такому больному?

А)1 группа резусположительная.

Б) 3 группа резусположительная.

В) 4 группа резусположительная.

Г) 4 группа резусотрицательная.

Д) 2 группа резусотрицательная.

Выбор правильного ответа в тестовых пунктах представляет собой

иерархический процесс отбрасывания альтернатив в ситуации вынужденного

выбора (пропуск выбора равносилен ошибке), когда студент обязан выбрать из

множества альтернатив то или иное подмножество (в зависимости от инструкции).

Рассмотрим процесс мышления, приводящий к правильному ответу.

При ответе на этот вопрос студент должен рассуждать следующим образом. 2 и

3 группы нельзя переливать реципиенту с 4 группой крови из-за несовместимости

агглютиногенов донора к агглютининам реципиента (выборы Б и Д отвергнуты).

После первого переливания резусположительной крови у резусотрицательного

реципиента могли образоваться антитела к резус-фактору, и повторное

переливание резусположительной крови может вызвать гемолиз (выборы А и В

отвергнуты). Больному можно переливать только резусотрицательную кровь 4

группы - правильный ответ - Д.

Профессия фельдшер - это деятельность, требующая применения принципов

общепрофессиональных и специальных дисциплин в работе. Эти знания важны,

ибо являются одним из необходимых условий успешного выполнения будущим

фельдшером своей профессиональной деятельности, они являются основой для

формирования клинического мышления. Знания фактов имеют значение не сами

по себе, а во взаимосвязи их друг с другом в клиническом аспекте. Фельдшер,

обладающий знаниями, не умеющий их использовать, является некомпетентным, а

фельдшер, не имеющий запаса знаний, может навредить больному.

Составление тестовых заданий по курсу в целом должно быть неразрывно

связано с соблюдением трех критериев выбора тестируемого содержания: а)

потребности профессиональной деятельности специалиста, определяемой с

помощью моделей деятельности специалистов; б) потребности последующего

обучения на других циклах, для которых создается исходный уровень; в)

потребности усвоения данной дисциплины.

Если эти требования не согласуются с требованиями неукоснительной связи с

изучением специальных дисциплин (терапия, хирургия, педиатрия, инфекционные

болезни, нервные болезни и т. д.), то студенты первого курса формируют

представление о медицинском образовании как о ряде плохо связанных между

собой предметов, а не как о значимом целом. Поэтому целесообразно перед

началом изучения специальных дисциплин проводить оценку исходного уровня

знаний студентов - например: меж дисциплинарный экзамен, который включает в

себя тестовые вопросы по: анатомии, геронтологии, зрелому возрасту, детскому

возрасту и основам патологии. Преподаватели общепрофессиональных дисциплин

(анатомия, фармакология, гигиена, микробиология, латинский язык и др.) должны

определить какие аспекты их дисциплин находят отражение в клинике. Исходя из

вышеизложенного и следует перестраивать процесс обучения и на первом курсе

вводить клинические аспекты в преподавание общепрофессиональных дисциплин.

Это могло бы выглядеть следующим образом:

Ситуация: Новорожденный с врожденным пороком развития половых органов

в течение недели чувствует себя хорошо. Затем у него начинается сильная рвота и

наступает обезвоживание организма. Парентеральное введение жидкостей и

электролитов в принятых объемах не приводит к стойкому снятию симптомов

дегидратации. Через 6 часов после введения жидкостей симптомы обезвоживания

нарастают, хотя рвота прекращается. Поставлен диагноз «врожденная гиперплазия

коры надпочечников».

Выберите правильный ответ на вопрос - Вместе с парентеральным введением

физиологического раствора и глюкозы в комплекс лечения следует добавить:

А) адреналин

Б) вазопрессин

В) альдостерон

Г) адренокортикотропный гормон

Д) дезоксикортикостерон и преднизолон.

Правильный ответ – Д.

Не будучи знакомы с клиникой, студенты не могут полностью решить такую

задачу на 1 курсе, но отдельные тестовые пункты, без клинической основы, сами

по себе вполне приемлемы для оценки знаний по вышеупомянутым дисциплинам,

если в программу преподавания введены клинические аспекты. Только при таком

преподавании патология человека будет представать в мышлении студента на

старших курсах как единое целое. Способность решать проблемы больных должна

иметь соответствующую базу из современных знаний.

Студент, умеющий решать проблемы больных обязательно помнит, знает и

умеет интерпретировать относящиеся к делу факты. Следует заметить, что

способность запомнить медицинскую информацию и пользоваться ею в данной

конкретной ситуации отличается от запоминания и воспроизведения, например,

таблицы умножения. В основу тестов при их составлении должен быть положен не

уровень интеллектуального процесса, а разумная проверка глубины знаний

студентов и их способности использовать эти знания для решения стоящих

проблем или вопросов.

ПОДГОТОВКА ЭКЗАМЕНАЦИОННОГО ТЕСТА

Экзаменационный тест разрабатывается, как правило, группой преподавателей.

Это дает возможность пользоваться обобщенными критериями оценивания, а не

мнениями отдельных экзаменаторов. В том случае, когда составление тестов

поручается одному преподавателю, необходимо в последующем получить

несколько отзывов на тест, то есть иметь коллегиальное мнение.

Перед подготовкой теста группа разработчиков составляет план теста. В него

включается содержание важных аспектов программы обучения с вы - делением

основных вопросов, которые войдут в итоговый тест.

Следует еще раз подчеркнуть, что экзаменационные тесты должны проверять не

мелкие детали знаний, а охватывать понятия в целом. Поэтому при подготовке

теста следует снизить внимание к оценке знаний студентами отдельных фактов,

иначе такой тестовый экзамен будет ничуть не лучше устного. Студенты, как

известно, учат то, о чем их спрашивают на экзамене. Поэтому план теста

необходимо сразу, лучше в начале обучения, до –

вести до сведения студентов. Он может послужить студентам руковод - ством для

подготовки к экзамену еще в процессе обучения.

Простейшая форма подготовки экзаменационного теста - составление вопросов,

формулирование правильных ответов к этим вопросам и последующая переделка

этого материала в тестовые пункты . Во время итого - вой проверки, в отличие от

текущего контроля, важно проверять не столько знания фактов из отдельных тем,

сколько способность ориентироваться во взаимодействии этих фактов,

привязывать знания фактов к практике.

Все темы дисциплины принимаются комиссией за 100

%.

Больший вес и

количество пунктов отводится на экзамене более важным областям, которым и в

процессе обучения было отведено больше времени. Стандартным считается тест,

состоящий их 180 пунктов и больше.

Качество тестовой проверки знаний определяется тщательностью подбора и

составления

тестовых

пунктов,

их

емкостью

и

глубиной,

широтой

обхвата

тестируемого материала и его связью с клиническими аспектами дисциплины.

Оценка знаний с помощью тестового экзамена по сравнению с традиционным

устным по билетам имеет ряд преимуществ:

1

- объективность - правильный ответ на каждое тестовое задание зара –

нее

известен

и

не

зависит

от

мнения

преподавателя,

принимающего

устный

экзамен;

2

- проверка большого объема знаний у всех экзаменуемых за относительно

небольшой период времени (все экзаменуемые находятся в одинаковых условиях);

3

- наличие шкал отметок.

Тестовый экзамен позволяет получать сравнимые данные об успехах студентов в

освоении программы обучения, а наука, как известно, имеет дело со сравнимыми

данными.

Тестовый экзамен не лишен недостатков:

-

составление тестов требует опыта;

-

ответы на выбор могут нести в себе элемент подсказки;

-

тестовые

вопросы

используются

главным

образом

для

оценки

познава

-

тельных способностей и умственных навыков студентов.

ПСИХОЛОГИЯ ТЕСТИРОВАНИЯ

Исследования психологов показывают, что тестовый экзамен является не только

более объективным методом оценивания учебных достижений студентов, но и

более щадящим по сравнению с устным экзаменом. Установлено, что в условиях

тестирования уровень экзаменационной тревожности у студентов ниже, степень

внимания выше, физиологические характеристики состояния организма более

благоприятны.

Применение экзаменационного теста требует соблюдения определенных правил

по отношению к студентам, основанных на психологии тестирования.

1.

Студенты должны быть уверены, что тестовый экзамен - более объективная

форма оценивания знаний и что в процессе тестирования встречается меньше

случайностей, влияющих на результат, нежели в устном экзамене. С этой целью

необходимо ознакомить студентов с процедурой подготовки экзаменационного

теста: как происходит отбор заданий и подсчет баллов, какими критериями

руководствуются преподаватели при выставлении отметок, исходя из полученного

студентом индивидуального балла.

2.

Задания в тесте следует располагать в порядке постепенного возрастания

трудности, что способствует снижению эмоционального стресса в процессе

тестирования. Чем студент точнее предвидит свой результат, тем активнее уровень

его притязаний и тем меньше тревожность. Средний оптимальный уровень

напряженности, свойственный для ситуации оценивания, способствует

повышению эффективности работы студента.

3.

При тестировании следует предупреждать студентов, ограниченное или

неограниченное время дается им для работы над тестом.

4.

Конфиденциальность теста достигается соблюдением определенных правил

секретности при размножении тестовых брошюр, их хранением

и использованием. Для недопущения утечки информации желательно, чтобы

студенты выполняли тест одновременно.

5.

Вероятность случайного угадывания верного ответа может приниматься во

внимание при оценивании заданий и приписывании индивидуального балла. Это

предусматривает вычисление для всего теста балла случайного угадывания.

При ответе на вопросы экзаменационного теста студенты поставлены в жесткие

условия — выбор правильного ответа нужно сделать обязательно, ибо пропуск

равносилен ошибке. Поэтому, когда студент не знает правильного ответа, он

вынужден догадываться. Известно, что есть люди, которые обладают большими и

меньшими способностями к догадкам.

6.

После окончания работы над тестом у студентов происходит возраста — ние

напряженности вследствие ожидания оценки. Поэтому уровень организации

подсчета баллов и выведение оценки должен быть достаточно высок.

7.

Студенты должны знать, что после каждого экзамена структура

предложенного теста пересматривается, поэтому нет смысла переписывать тест и

сохранять ключ ответов на будущее.

ТИПЫ ТЕСТОВЫХ ПУНКТОВ

Различные стороны логики мышления фельдшера: сравнение, сопоставление и

противопоставление, анализ и синтез предлагаемой информации, установление

причинно-следственных связей тестируются, соответственно, различными типами

тестовых пунктов. Вопросы множественного выбора, входящие в итоговый тест по

дисциплине, следует составлять следующим образом. Вначале надо

сформулировать вопрос, затем дать на него правильный ответ, и только после этого

переводить материал в тестовый пункт. В том случае, если вопрос не

трансформируется в пункт желаемого типа, следует употребить другой, более

приемлемый тип или вообще отказаться от проверки знаний с помощью этого

метода, ибо не весь учебный материал поддается тестированию.

Наиболее распространенными и удобными для использования в объективных

тестах являются следующие типы вопросов множественного выбора:

1.вопросы с одним наиболее правильным ответом,

2. вопросы с подбором соответствующих ответов - пары «вопрос-ответ»

а) на соответствие и б) на сопоставление и противопоставление,

3.вопросы с множественными «верно-неверно» ответами,

4.вопросы на причинно-следственные взаимосвязи.

Тип тестовых пунктов с одним наиболее

правильным ответом

Тестовые пункты этого типа имеют сравнительное значение и используются

в ситуациях, когда один ответ является правильным или наиболее часто

встречающимся, а остальные, на первый взгляд приемлемые, в данной конкретной

ситуации являются неправильными или реже встречаются. Основную трудность

при составлении тестовых пунктов этого типа представляет подбор к правильному

ответу правдоподобных логических искажений - дистракторов (от английского

distracter-помеха). Дистракторы должны выглядеть по отношению к правильному

ответу одинаково вероятными и правдоподобными выборами, если студент не

знает правильного ответа на вопрос и вынужден догадываться.

Вопросы этого типа состоят их основы, за которой следует серия из 5 ответов на

выбор. 5 ответов считаются оптимальным количеством выборов в пунктах этого

типа, так как подобрать большее количество правдоподобных выборов

затруднительно, а меньшее число (4 или 3 выбора) создает больший выбор для

догадки.

Если пункты этого типа несут сравнительный смысл, то он подчеркивается в

конструкции основы выражениями типа «как правило», «наиболее часто»,

«вероятнее всего», «скорее всего» и др. Материал, предлагаемый студентам, может

быть представлен вопросом, утверждением, иллюстрациями (таблицы, графики,

рисунки и т.д.). Тестовые пункты 1 типа соответствуют задачам с

недостаточностью исходных данных.

Инструкция к вопросам с одним наиболее правильным ответом.

За вопросами, приведенными ниже, следует 5 ответов или утверждений.

Выберите ОДИН наиболее правильный ответ.

1.

Какие элементы относятся к эритематозной сыпи?

А)петехия, гематома

Б) розеола, пятно

В)чешуйка, рубец

Г) папула, везикула

Д) пигментация, пустула.

Правильный ответ - Б.

2.

Лейкоз-это:

А)появление в крови незрелых клеток миелоидного ряда

Б) уменьшение количества лейкоцитов и эритроцитов в крови

В)увеличение количества лейкоцитов и эритроцитов в крови

Г) системное опухолевое заболевание кроветворной ткани

Д) все вышеперечисленное неверно.

Правильный ответ - Г.

Общепрофессиональные дисциплины, такие как анатомия, фармакология,

гигиена, в качестве основы тестовых пунктов могут использовать и клиническую

информацию.

1.

В инфекционную больницу поступил больной 26 лет. При поступлении

состояние средней тяжести, температура 37,8 С. Слизистая ротоглотки умеренно

гиперемирована. Обе миндалины увеличены, покрыты сплошным пленчатым

налетом серого цвета, трудно снимающимся, сразу появляется кровоточивость.

Увеличены только подчелюстные лимфоузлы, умеренно болезненные. Пульс 82 уд.

в минуту, ритмичный. В легких изменений нет. Печень и селезенка не увеличены.

Поставлен предварительный диагноз - дифтерия. Назначена серотерапия и

патогенетическая терапия.

Какие препараты относятся к серотерапии?

А)антибиотики

Б) производные нитрофурана

В)сульфаниламиды

Г) сыворотки

Д) глюкокортикостероиды.

Правильный ответ - Г.

В отрицательной форме пунктов 1 типа студенту предлагают выбрать один

неправильный ответ - или вообще неприемлемый в данной ситуации, или

наименее часто встречающийся. В формулировку основы пунктов в таком случае

включается негативный смысл: «наименее часто», «все правильно, кроме» и др..

Составителям следует помнить, что это же содержание материала можно

тестировать и другим типом пунктов - множественными «верно-неверно».

К патогенетической терапии относится все, кроме:

А)витаминов

Б) инфузионной терапии

В)гамма-глобулинов

Г) иммуномодуляторов

Д) ферментативных препаратов.

Правильный ответ - В.

Иногда преподаватели к основе пунктов 1 типа составляют серию только из 3

или 4 выборов. Действительно, иногда бывает затруднительно подобрать более 4

правдоподобных дистракторов к пунктам этого типа, похожих на правильный

ответ. В этом случае не стоит составлять явно бессмысленные выборы и пытаться,

несмотря на логику разума, употреблять этот тип, а лучше воспользоваться

другим, более подходящим типом тестовых пунктов.

Тип тестовых пунктов с подбором соответствующих

ответов (пары «вопрос - ответ»).

Для оценки знаний факторов, явлений, закономерностей, тесно связанных

между собой, используется тип пунктов на ассоциативные связи. Конструкция их

своеобразна: задание располагается в виде двух колонок или фраз. Вопросы в

колонках пронумерованы цифрами, а ответы обозначены буквами. Требуется

определить соответствие вопросов и ответов друг к другу, то есть выбрать те,

которые сочетаются. Не следует увлекаться количеством пунктов этого типа, а

включать в проверку знаний только важные вопросы темы, в противном случае

этот тип добавит в тест лишь количество в ущерб качеству. Следует подчеркнуть,

что к вопросу, обозначенному цифрой, из буквенного списка ответов может быть

сделан только один выбор и этот выбор должен быть бесспорно правильным

(исключения здесь не допускаются).

При составлении таких пунктов следует соблюдать ряд правил:

1.Список буквенных названий должен состоять из однородных элементов. Число

названий в списке может быть различным, но предпочтительно использовать 5

наименований.

2.Желательно, чтобы число вопросов превышала число ответов для исключения

простой подгонки последнего вопроса к последнему неиспользованному ответу.

3.Ответы должны располагаться в логической, алфавитной, цифровой или

хронологической последовательности.

4.В инструкции для студентов должен четко указываться принцип подбора, а

также возможность использовать ответ один или несколько раз.

Инструкция к пунктам на соответствие

За перечнем пронумерованных цифрами вопросов (фраз) следует список

ответов, обозначенных буквами. Для каждого вопроса (фразы) надо подобрать

один соответствующий ответ, обозначенный буквой. Каждый ответ может быть

использован один раз, несколько раз или не использован совсем.

I задание

1. Назвать антибиотик из группы аминогликозидов.

2.Назвать антибиотик из группы цефалоспоринов.

3.Назвать антибиотик пенициллиновой группы.

4.Назвать антибиотик из группы макролидов.

5.Назвать антибиотик тетрациклиновой группы.

А) Доксициклин.

Б) Гентамицин.

В) Эритромицин.

Г) Цефазолин.

Д) Ампициллин.

Правильные ответы: 1 - Б ; 2 - Г ; 3 - Д ; 4 - В ; 5 - А .

I I

з а д а н и е

1.Назовите железу внутренней секреции, которая находится у основания головного

мозга.

2.Назовите железу внутренней секреции, расположенную справа и слева от трахеи.

3.Назовите железу внешней и внутренней секреции, выделяющую инсулин и

глюкагон.

4.Назовите железу, расположенную в продолговатом мозге.

5.Назовите железу внутренней секреции, выделяющую кортикостероиды.

А)Надпочечник

Б) Гипофиз

В)Эпифиз

Г) Щитовидная железа

Д) Поджелудочная железа.

Правильные ответы: 1 - Б ; 2 - Г ; 3 -

Д ; 4 - В ; 5 - А .

Тип тестовых пунктов с множественными

«верно-неверно» ответами

В медицине часто встречаются ситуации, когда ответы и решения могут

быть только правильными или только неправильными, не имеющими оттенка

предпочтительности, а, наоборот, категоричными. Кроме того, довольно часто на

вопрос можно дать не один правильный ответ, а несколько. В подобных случаях

рекомендуется использовать вопросы с множественными «верно-неверно»

ответами.

Вопросы этого типа содержат основу, за которой следует чаще всего 4

пронумерованных ответа. Основа может быть представлена в форме вопроса,

утверждения, а также в иллюстративной форме. Правильно составленные вопросы

этого типа тестируют глубину знаний, понимание различных аспектов того или

иного механизма, процесса и т. д. Составителям следует помнить, что выборы

должны быть только верными или неверными. Альтернативные выборы в пунктах

не должны взаимно исключать друг друга, ибо это несет в себе элемент подсказки.

Кроме того, альтернативы следует составлять так, чтобы студенты не могли

исключить выбор всех четырех для комбинации ответа.

Инструкция к пунктам с множественными ответами

«верно-неверно»

Для каждого вопроса или незаконченного утверждения ОДИН или

НЕСКОЛЬКО ответов являются правильными. Выберите ответ: а) если правильная

комбинация 1,2,3 выборов; б) если правильна комбинация 1 и 3 выборов; в) если

правильны 1 и 4 выборы; г) если верен только 4 ответ; д) если все ответы

правильные.

Для ясности инструкции на каждой странице тестовой брошюры с

пунктами этого типа для удобства студентов следует помещать следующую схему:

ВЫБЕРИТЕ

А,

Б,

в,

г,

Д,

если верноесли верно

если верно

если верно

если все

1,2,3 только 1 и 3

только 2 и 4

только 4 верно

I задание.

Скорость выведения почками лекарственных веществ зависит от:

А) количества крови, проходящей через почки,

Б) величины диуреза,

В) PH мочи,

Г) PH крови.

Правильный ответ: - А (см схему).

II задание.

Возбуждение симпатической нервной системы вызывает:

А) усиление работы сердца,

Б) торможение моторной деятельности желудочно-кишечного тракта,

В) расширение просвета бронхов,

Г) расширение зрачков,

Д) все верно.

Правильный ответ: - Д (см схему).

ФОРМА ТЕСТА

Экзаменационный тест представляет собой брошюру, в которой, согласно

типам, располагаются тестовые вопросы. К каждому типу обязательно при -

лагается инструкция. Студент читает в брошюре задание под номером, а отвечает

на него на листе (бланке) ответов под таким же номером. Правильные ответы в

выборах должны располагаться беспорядочно. Тестовая комиссия должна иметь в

виду, что существует так называемая центральная тенденция (или тенденция

усредненная) - люди стремятся избегать крайних мнений, значений, отметок и т.д.,

в том числе стремятся располагать правильные ответы, избегая крайних выборов

под буквами А и Д. Это может быть замечено студентами еще в процессе текущего

контроля и послужить поводом, облегчающим догадку. Об этом следует помнить.

Число правильных ответов на бланке легко подсчитать, пользуясь

трафаретом.

Качественный и статистический анализ отдельных пунктов теста

По правилам объективного тестирования перед окончательным подсчетом

результатов и выведением отметки проводят качественный анализ каждого

вопроса множественного выбора, входящего в тест. Такая процедура исключает

влияние неудовлетворительно составленных преподавателями тестовых вопросов

на результаты сдачи экзамена студентами.

Основная цель составления любого теста - провести различия между

студентами, отвечающими стандартам высокого качества и не отвечающими

таковым. Такие стандарты служат защитой населения от медработников, которые

могли бы навредить, а не помочь больному. Качество отдельных пунктов теста -

индекс трудности и индекс различения - определяются на двух группах

выполнивших тест студентов, используемых в качестве критерия. Качественный

анализ состоит из нескольких этапов.

1.Вначале определяют балл каждого экзаменуемого в абсолютных числах. При

этом за правильный ответ студент получает одно очко, за неправильный ответ

баллов не начисляют, но и не штрафуют. Число правильных ответов легко узнать,

пользуясь трафаретом.

2.Затем тестовая комиссия распределяет всех экзаменуемых по баллам в

зависимости от полученных результатов, начиная с наибольшего значения до

самого низкого.

3.Следующий этап - выбор «сильной» и «слабой» группы. В сильную группу

входят студенты, получившие самые высокие баллы за тест, а в слабую - самые

низкие. При этом должен быть соблюден принцип: группы одновременно должны

быть максимально большими и одно - временно максимально различающимися по

полученным баллам.

Этому требованию удовлетворяет величина 27 %. На практике можно

пользоваться и величиной 33 %. Тогда группа, состоящая, к примеру, из 21

человека (см таблицу), разделится на сильную группу из 7 человек, получивших

самые высокие баллы, и слабую группу из 7 человек, получившие самые низкие

баллы.

Качество тестовых пунктов удобно проверять, используя для наглядности

таблицу. Правильный ответ на каждый вопрос теста устанавливается комиссией

заранее. Ответы, данные каждым из 14 студентов (7 сильных и 7 слабых), сводятся

в таблицу. После этого можно приступать к вычислению индекса трудности и

индекса различения каждого вопроса теста.

Индекс трудности (Ит) - это показатель измерения легкости вопроса теста с

учетом всех правильных ответов на него, данных студентами обеих групп. Чем

больше значение индекса трудности, тем задание легче. Индекс трудности

колеблется от 0 до 100 %. Ит 95, например, говорит о том, что для 95 % студентов

ответ на данный вопрос не представил трудности. Такой вопрос не повышает

надежности теста и этот пункт следует исключить из подсчета результатов

тестирования.

Вопрос с низким уровнем трудности или слишком труден или неправильно

составлен. В последнем случае дистракторы и для сильных и для слабых

экзаменуемых оказались более привлекательными для правильного ответа, нежели

сам правильный ответ. Такой вопрос также исключают при окончательном

подсчете баллов по экзамену, а затем комиссия тщательно его рассматривает

вместе с индексом различения, формулировкой основы и выборов.

Идеальным для вопроса теста считается значение индекса 5 0 - 6 0 %,

а приемлемыми считаются колебания от 30 % до 70 %. Индекс труд - ности (Ит)

вычисляют, пользуясь следующей формулой:

Ит = (H+L): п 100,

где Н - число правильных ответов в сильной группе,

L - число правильных ответов в слабой группе, п -

число студентов в обеих группах.

1.

Индекс различения (Ир) показывает, как ответы на вопрос теста

раз - деляют экзаменуемых на более и менее знающих. Чем выше Ир, тем в

большей степени правильный ответ на вопрос выявляет лучших из числа всех

экзаменуемых (что необходимо для получения высокой от - метки).

Индекс различения вычисляют согласно формуле:

Ир = 2 ((Н - L) : п ).

Ир варьирует от (- 1) до (+ 1).

О качестве вопросов теста судят следующим образом:

0,35 и выше - отлично составленный вопрос,

0,25 - 0,34 хорошо составленный вопрос,

0,15 - 0,24 спорный вопрос, его следует пересмотреть,

0,15 и ниже - плохо составленный вопрос, его следует исключить из текста

при подсчете баллов, так как он не повышает надежности теста, а является

балластом.

После вычисления индексов трудности и различения комиссия еще раз

рассматривает вопросы вместе с разбором формулировки основы, правильного

ответа и дистракторов. Вопросы с удовлетворительными значениями двух

индексов входят в окончательный подсчет числа баллов, вопросы, не отвечающие

вышеуказанным значениям, из подсчета исключаются. В том случае, если

значение Ит низкое, а Ир удовлетворительное и комиссия считает формулировку

вопроса вполне приемлемой, вопросы оставляют для отличия экзаменуемых,

знающих материал на «хорошо» и «отлично».

Если на вопрос правильно ответила большая часть слабой группы меньшая

часть сильной группы (индекс различения отрицательный), что-то неправильно в

вопросе: или имеется незамеченная тестовой комиссией двусмысленность или

неясность в формулировке основы, или один из дистракторов для студентов

оказался более привлекательным, нежели правильный ответ. Использование

таблицы покажет, какой именно из неправильных выборов студенты предпочли

правильному с точки зрения преподавателей.

После соответствующей обработки экзаменационного теста можно видеть, у

какого преподавателя студенты сдали хуже, а у какого лучше, а также определить,

у какого преподавателя лучше усвоена та или другая тема.

Следует сказать о так называемых «меченых» пунктах. К ним относятся

вопросы, незнание которых делает студентов некомпетентными, т.е. эти вопросы

должны быть усвоены на 100 %. К таким вопросам, например, можно отнести

знание нормальных показателей крови, мочи, сахара крови и т.д..

Индексы трудности и различения таких пунктов в итоговом экзамене должны

приближаться к идеальному выполнению: Ит - 100, Ир - 0.

ШКАЛЫ ОТМЕТОК

После сдачи тестового экзамена и проведения качественного анализа пунктов

теста студенты получают окончательные баллы на листах ответов. Балльные

выражения результатов сдачи экзамена необходимо перевести в принятую 4-

балльную систему отметок. Рассмотрим такие возможности.

На основании достаточно большого числа наблюдений по общепринятой

методике нормального распределения строят стандартную кривую с вычислением

средней арифметической и сигмального отклонения. Число экзаменуемых,

получивших соответствующее количество баллов, известно после подсчета

результатов тестирования. Если полученный график соответствует нормальному

распределению, он может быть использован в качестве стандартной кривой для

перевода полученных баллов в отметки.

ТАБЛИЦА.

КАЧЕСТВЕННЫЙ АНАЛИЗ ПУНКТОВ ТЕСТА.

Номера вопросов

Правильный ответ

Иванов А.Э.

Борисов Г.Т.

Жукова Н.Н.

Кущина Е.П.

Караваев Э.В.

Носов М.Н.

Нерсесян К А.

Окунева Т.С.

Окулова С.Н.

Папазян А.Н.

Петросян Г.Х.

Линева О.Г.

Русаков В.В.

Тихонов А.П.

Я

Н + L

Я

1

S

Индекс трудности

Индекс различения

1

А

А

Б

А

А

А

А

А

А

Б

Б

В

В

А

Г

6

2

8

4

57

0,56

2

В

В

В

В

В

В

В

В

В

В

В

В

В

В

В

7

7

14

0

100

0

3

Д

Г

Г

Г

Г

А

Б

-

Г

Б

Б

Б

А

Г

В

0

0

0

0

0

0

4

Б

А

А

Б

Б

Б

В

В

А

А

В

А

В

А

А

3

0

3

3

21

0,42

5

Г

Г

Г

Г

Г

Г

Г

Г

Б

А

Г

В

д

Б

д

7

2

9

5

6

А

А

А

В

А

А

А

А

А

В

А

А

д

Г

А

6

4

10

2

7

д

д

Д

д

д

д

Д

А

д

А

А

д

д

д

В

5

4

8

Б

Б

Б

Б

Б

Б

Б

Б

Б

В

Б

Б

Б

г

Б

7

5

9

В

В

В

В

В

В

В

В

В

В

Г

Г

А

Б

В

Зндексы трудности и различения на вопросы 5-9 вычислите самостоятельно

1/3 (33 %) сильная группа

1/3 (33 %) слабая группа

Н-от англ, high (высокий) L-

от англ, low (низкий)

Распределение баллов в результате традиционных экзаменов, как пра -

вило, не является нормальным, численность отличных и неудовлетворитель-

ных оценок не одинакова, шкала распределения оценок несимметрична.

Поэтому при введении нормальной шкалы оценок, которая нами описана

выше, могут произойти резкие изменения в распределении оценок, особенно

неудовлетворительных, что нежелательно. Поэтому в практике тестирования

применяется и способ относительного оценивания результатов тестирования

по характеру распределения индивидуального балла и распределения оценок,

которые студенты получали на традиционных экзаменах.

Покажем на примере, как это делать. Предположим, что в течение

последних 5 лет студенты старших курсов имели следующее распределение

оценок: «отлично»- 10,58 %, «хорошо» - 29,57 %, «удовлетворительно» -

55,86, «неудовлетворительно» - 4,01 %. Данное распределение является

устойчивым и желательно, чтобы и оценки, которые будут выставлены на

основе индивидуальных баллов теста, приближались к данному

распределению. Задача состоит, таким образом, чтобы разработать процедуру

и нормы оценивания на основе индивидуального тестового балла.

Проводим распределение индивидуальных баллов, полученных в ре -

зультате тестирования 372 студентов, выполнявших тест из 19 пунктов.

Теперь построим нормы для получения желаемого распределения оценок в

результате тестирования.

Шаг 1. определяем численность студентов, которые должны быть отнесе -

ны к определенной категории оценок на основе желательного распределения

оценок и численности испытуемых в тестировании. Получили

«неудовлетворительно» 4,01

%

студентов, что составляет 15 человек (4 % от

372). К категории успевающих на «отлично» должно быть отнесено - 39

человек, успевающих на «удовлетворительно» - 208 человек, а успевающих

на «хорошо» - 112 человек.

Шаг 2. Определим границы индивидуальных баллов, которые соответст -

вуют определенной категории оценок. Например, суммируя слева частоты 1+5

+ 4 + 6 = 16, получаем число, которое ближе всего к желаемой частоте 15.

Следовательно, границей, определяющей тех, кто должен получить «не -

удовлетворительно», является 4 балла. Тот, кто получил не больше 4 баллов

по данному тесту, получает «неуд». Суммируем дальше частоты 8 + 9 + 8 + 9

Индивидуальный

балл

12 3 4

5 67 8 9 10 11 12 13

14 15 16

17 18 19

Частота

15 4 6

8 9 8 9 15 20 23 37 79

57 25 24

25 9 6

Колебания

индивидуальных

от 0 - до 4

от 5 - до 13

от 14 - до 16

от 17 - до 19

Оценка

не

удовлетворите

льно

удовлетворительно

хорошо

отлично

+ 1 5 + 2 0 + 23 + 37 + 79 = 208. Следовательно, студенты, получившие от 5 до

13 баллов, получают «удовл.» и т. д. Таким образом, мы получаем следующие

интервалы значений индивидуальных баллов, соответствующих нашему

распределению оценок:

«неуд.» - от 0 до 4 баллов,

«удовл.» - от 5 до 13 баллов,

«хор.» - от 14 до 16 баллов,

«отл.» - от 17 и выше.

Эти нормы служат для определения оценок на основе индивидуального

балла. Они могут использоваться для данного набора тестовых заданий. Если

же тестовые вопросы меняются, то процедуру нормирования необходимо

повторить. Необходимость в повторном нормировании теста отпадает, если

при ревизии теста меняется расположение вопросов, их последовательность.

ВАЖНЕЙШИЕ КРИТЕРИИ КАЧЕСТВА

ЭКЗАМЕНАЦИОННОГО ТЕСТА

Кроме Ит и Ир, характеризующих качество отдельных тестовых пунктов,

в педагогике используется ряд понятий, оценивающих качество теста в це -

лом - понятия валидности, надежности, релевантности.

В настоящих указаниях эти понятия рассматриваются применительно к

практике подготовки экзаменационного теста, а не как абстрактные педаго -

гические понятия.

Валидность - качественная характеристика теста - степень точности, с

которой тест измеряет те характеристики, для оценки которых он составлен.

Иными словами, тест по общепрофессиональным дисциплинам, не учиты -

вающий специфику преподавания предмета для студентов медицинских

колледжей, составленный без учета потребностей обучения по специальным

дисциплинам, не будет валидным. В таком случае проведение тестового эк -

замена может оказаться ничуть не лучшим методом итоговой оценки, нежели

традиционный устный экзамен. Если каждый пункт экзаменационного теста

соответствует предъявляемым требованиям, а содержание теста соответст -

вует целям медицинского образования, то тест в целом можно считать

валидным. Валидность, говоря попросту, это прямое отношение к делу.