Уважаемые коллеги, напоминаем, что 19 мая наш СПК проводит семинар «Высокое качество оценочных средств – основа инфраструктуры независимой оценки квалификации». Немного о его содержании.

Качество оценочных средств (далее ОС) определяет качество процедуры независимой оценки квалификаций (далее НОК). Создание ОС – серьезный проект, требующий взаимодействия специалистов с разной квалификацией: методистов, разработчиков профессиональных стандартов, непосредственных «носителей» квалификации. Проектирование ОС – процесс итерационный. Для целесообразного и обоснованного их совершенствования, объективного анализа оценочных материалов в соответствии с нормативными актами необходимо проводить экспертизу. Под экспертизой ОС понимается оценка их соответствия нормативным и методическим требованиям. Экспертиза может быть внутренней и внешней. Внутренняя экспертиза – это самоанализ, проводимый разработчиками на разных этапах проектирования ОС. Такой анализ является основанием для коррекции промежуточных вариантов ОС. Внешняя экспертиза проводится независимыми экспертами. Независимая экспертиза ОС включает методическую экспертизу и содержательную.

Многолетний опыт экспертизы КОС свидетельствует о том, что разработчики с завидной периодичностью нарушают квалиметрические принципы стандартизированного оценивания и требования, установленные регуляторами системы независимой оценки квалификаций: министерством труда и социальной защиты Российской Федерации и АНО «Национальное агентство развития квалификаций»

Наиболее типичные ошибки и погрешности разработчиков можно систематизировать в следующие группы:

1. Оценочные средства для теоретического этапа профессионального экзамена

1.1. Предметы оценки в спецификации тестовых заданий не конкретизированы, что не позволяет стандартизировать оценивание и установить соответствие выбранного разработчиками типа тестового задания предмету оценки.

1.2. Ряд формулировок тестовых заданий не корректен, требуется стилистическая и редакторская правка как задачных формулировок, так и дистракторов.

1.3. В отдельных тестовых заданиях содержится недостаточное для стандартизированной оценки количество ключей и дистракторов (меньше 5).

1.4. В тестовых заданиях на установление соответствия:

количество элементов множеств одинаковое;

не описаны условия, при котором один ответ может быть использован один раз, несколько раз или не использован вовсе.

1.5. Норма времени на выполнение тестовых заданий и пороговое значение результата соискателя для принятия решения о допуске (отказе в допуске) к практическому этапу профессионального экзамена рассчитаны, исходя из разного числа выполняемых тестовых заданий.

2. Оценочные средства для практического этапа профессионального экзамена

В спецификациях оценочных средств для практического этапа профессионального экзамена присутствуют погрешности и неточности при разработке оценочных критериев к практическим заданиям, в то время как эта часть оценочного инструментария принципиально важна с точки зрения стандартизации оценивания. Типичные ошибки следующие:

2.1. Нарушается требование наличия в каждом критерии показателя оценивания, характеризующего объект оценки. Не редко в формулировке критерия присутствует только ссылка на ГОСТ, без детализации показателей (субкритериев). В то же время, в соответствии с квалиметрическими правилами, необходимо, чтобы в каждом критерии был определен образец сравнения и эталонное значение показателя оценивания. В ряде спецификаций и описаниях практических заданий КОС в формулировках критериев вместо эталонов используются субъективные оценочные суждения «правильно», «верно»

2.2. Достаточно часто к оцениванию предъявляется менее 50% трудовых функций и трудовых действий, составляющих квалификацию, в соответствии с ее описанием в профессиональном стандарте. Такие выборки предметов оценивания не могут быть признаны репрезентативными без специального обоснования данного методического решения в Пояснительной записке к КОС.

2.3. Распространен подход, в соответствии с которым несколько довольно разнородных трудовых функций (иногда 3-4) оцениваются одним практическим заданием, и при этом критерии оценивания не охватывают всю совокупность предметов оценки.

2.4. В ряде КОС единственным инструментом оценки выступает портфолио соискателя, в то время как этот способ оценки необходимо дополнять практическими заданиями.

2.5. В описании практических заданий часто отсутствуют такие необходимые компоненты как Оценочные листы (бланки) экспертов, таблицы (формы, шаблоны) для внесения соискателем результатов выполнения задания и др.

Обсуждение типичных затруднений разработчиков, рекомендации по их устранению станут базовым содержанием Семинара.