"Ахиллесова пята" Единого ГЭ. Часть 2.

Фатальная ошибка

В многообразном информационном потоке по Единому экзамену только однажды эта тема неравенства условий промелькнула в беседе обозревателя газеты «Первое сентября» Светланы Кирилловой с директором Центра тестирования Министерства образования Владимиром Хлебниковым, состоявшейся в мае 2003 года39.

Фрагмент диалога:

С.Кириллова: «На ЕГЭ прошлого года эксперты отметили, что тестовые задания были неравносложными для разных регионов. И, в общем-то, это не способствует социальной справедливости. Если уж дети сели решать задания ЕГЭ, они должны быть уверены, что варианты абсолютно одинаковые. Но для России нужно множество вариантов ЕГЭ."

Вопрос – как сделать их равносложными?».

В.А.Хлебников: «Конечно, если бы в России использовался один вариант теста – это было бы идеально. Но это невозможно».

Дальше этого обсуждение темы не пошло. А жаль, потому что Светлана Кириллова снайперски попала в самое уязвимое место Единого экзамена, в его ахиллесову пяту: выпускники выполняют разные по содержанию тестовые задания!

То, что дети действительно работают с вариантами КИМов, а не с одним набором тестовых заданий, не является секретом. Известно также, что с каждым годом количество экзаменационных вариантов увеличивается - в ЕГЭ-2001 их (вариантов) было только 10, а ЕГЭ-2003 уже 89. В перспективе, при переходе на компьютерное тестирование, тестологи лелеют надежду автоматически формировать КИМы через функцию рандомизации, чтобы каждый испытуемый получал индивидуальный набор тестовых заданий. Это было бы приемлемо, будь Единый государственный экзамен критериально-ориентированным тестом. Но поскольку он, по воле министерства, конкурсный, то такая вариативность для него недопустима по определению.

Возьмем для анализа тестовые задания из трех вариантов КИМов с одинаковым условием, но разными ответами (ЕГЭ-2001, География):

Условие тестового задания: Сухопутную границу с Россией имеют...

Вариант 1 (усл.испытуемый «А»). Тестовое задание А-10

А) Молдавия, Армения.

Б) Польша, Румыния.

В) Норвегия, Финляндия.

Г) Узбекистан, Афганистан.

Вариант 2 (усл.испытуемый «Б»). Тестовое задание А-10

А) Азербайджан, Грузия.

Б) Польша, Болгария.

В) Швеция, Молдавия.

Г) Туркмения, Армения.

Вариант 5 (усл.испытуемый «В»). Тестовое задание А-10

А) Финляндия, Швеция, Турция.

Б) Норвегия, Финляндия, КНДР.

В) Монголия, Индия, Япония.

Г) Китай, Польша, Афганистан.

Всего в трех заданиях упомянуто 19 стран.

Поставим несколько вопросов:

Вопрос 1. Если испытуемый «А» правильно выполнил свое задание, означает ли это, что он знает ответ на вопрос по всем 19 странам?

Вопрос 2. Если испытуемый «Б» не справился со своим заданием, означает ли это, что он не справился бы и с двумя другими?

Вопрос 3. Если все испытуемые одинаково успешно/неуспешно справились со своими заданиями, можно ли сказать, что знание сухопутных границ России с другими странами всех трех участников тождественны?

Вопрос 4. Справедливо ли, что испытуемый «В» должен выбирать из 12, а его конкуренты только из 8 стран?

Следуя нормальной логике, на каждый из этих вопросов ответ отрицательный. А по перевернутой логике авторов ЕГЭ следует считать: «Да, означает…», «Да, можно…», «Да, справедливо…».

Так составлены все КИМы: область содержания (предмет) общая, количество тестовых заданий и время тестирования одинаковые, а все остальное - разное! И невдомек детям, что взрослые с ними «играют» не по правилам. Но ведь сообразят когда-нибудь и вопрос зададут экзаменаторам примерно такого содержания: «А если бы тот, кто набрал больше баллов, чем я, выполнял мой вариант, а я его, он тоже оказался бы впереди меня?». Утверждать, что именно так и было бы, не рискнут даже тестологи, вооруженные самыми современными методиками педагогических измерений.

Вот и получается, что реальным достижением Министерства образования является то, что все три года «эксперимента» ЕГЭ олицетворял собой несправедливость, жертвами которой, в первую очередь, стали наиболее достойные выпускники, поставленные в условия жесткого, но неправильно организованного конкурса. За что, спрашивается?

Но не все так просто. К отражению возможного обвинения в «игре без правил» технологи на всякий случай заранее подготовились. Для того, чтобы оправдать отступление от принципа, т.е. свою беспринципность, они ввели в обращение чарующее словосочетание «эквивалентные варианты КИМов». И уверяют, что по созданию таких вариантов ведется постоянная усиленная работа с целью сведения погрешностей измерений к минимуму. Например, используется такая методика: с целью повышения «эквивалентности» экзаменационных вариантов КИМов в каждый из них вносятся 3-4 одинаковых тестовых задания.

Аргумент про «эквиваленты» не настолько убедительный, чтобы принимать его на веру. Еще надо доказать, что в технологии Единого экзамена эквивалентность КИМов доведена до степени идентичности.

Для получения такого доказательства авторы статьи провели специальное исследование, в основу которого был положен тезис: если один человек выполнит тест по всем официальным экзаменационным вариантам КИМов и получит по каждому из вариантов одинаковый результат, следовательно с доводами тестологов можно согласиться, иначе – нет.

Условия опытного тестирования: часть «А» десяти экзаменационных вариантов КИМов ЕГЭ-2001 по Географии. Длина теста – 220 тестовых заданий (22 задания на каждый вариант).

На роль испытуемого было приглашено лицо с высшим географическим образованием. Компьютерное тестирование пройдено в один прием за 2,5 часа. В ходе тестирования испытуемый не имел возможности знать, к какому варианту принадлежит очередное решаемое им тестовое задание.

Подсчет «сырых» баллов проведен по методике ЕГЭ: верное решение тестового задания -1 балл, неверное – 0 баллов.

ПРОТОКОЛ

экспериментального тестирования

по материалам ЕГЭ-2001

Дата: 6 Февpаля 2003 года, Четвеpг

Продолжительность: 02:39:38

Учебная дисциплина: География

Оценивание: методика ЕГЭ

Результат:

Заключение

При выполнении одним человеком части «А» в 10 вариантах экзаменационных КИМов одинаковых результатов по вариантам не получилось. Получено 5 разных результатов с разницей между крайними значениями в 5 баллов.

Следовательно, предложенный способ обхода главного принципа, обеспечивающего справедливость ЕГЭ, является несостоятельным. А много ли на свете найдется людей, согласных сдавать экзамен, если заранее известно, что он несправедлив?

Единый государственный экзамен будет оставаться несправедливым до тех пор, пока на смену эквивалентным вариантам КИМов не придет КИМ, представляющий один набор тестовых заданий для всех выпускников/абитуриентов.

Правда, директор Центра тестирования В.А.Хлебников почему-то считает проведение ЕГЭ в идеальном варианте, т.е. с одним КИМом, невозможным. Почему? Технически, напротив, это гораздо проще и экономичней, чем реализовывать действующую несправедливую модель!

Если же невозможность связана с убеждением, что полностью расшифрованный экзаменационный КИМ мгновенно станет известен во всех регионах западнее Владивостока, то это не может быть основанием для отказа от принципа равенства условий, т.е. подрыва основ классической тестологии. Ну, а если возможности делать правильно действительно нет, то и не надо начинать. Еще мудрый Соломон советовал не браться за дело, если не уверен, что сможешь довести начатое до конца.

Сложная ситуация. Что делать с результатами трехлетнего «эксперимента» по технологически дефектному ЕГЭ? Чтобы устранить технологический дефект, необходимо хотя бы приостановить ход «эксперимента», что очень проблематично. Продолжать же двигаться к финишу в статусе несправедливого экзамена аморально.

В октябре 2003 года Министерство образование РФ разыграло педагогическое шоу – посадило журналистов сдавать ЕГЭ по русскому языку, дабы они на себе прочувствовали то, о чем часто пишут и остро критикуют. Сценарий был по возможности максимально приближен к реальному ЕГЭ, только понарошку. Процесс шел довольно шумно от реплик, высказываний и разных, вопросов. Раздавалось и такое: «Это нечестно!». Но зато всем было весело!40.

А интересно, что бы стали делать взрослые, поставь их в точно такие же условия, в какие они насильственно ставят детей при ЕГЭ, т.е. когда от результата тестирования жестко зависело бы их «место под Солнцем»?

Да не успели бы еще прокукарекать третьи петухи, как ими (взрослыми) была бы обнаружена и доказана вопиющая несправедливость в том, что у каждого не то в бланках, что у соседа или соседки. Так же нельзя! Это несправедливо! Кто такое мог допустить? Мы будем протестовать! И стали бы, и были бы правы, потому что так действительно нельзя, так как несправедливо.

Но это, если бы судьбоносность результата касалось их самих, т.е. взрослых. По отношению же к детям несправедливый Единый государственный экзамен можно не только поддержать, но, если скажут, и узаконить.

Сегодня в этом готовы участвовать:

- Правительство Российской Федерации;

- думский Комитет по образованию и науке;

- губернаторы и мэры пилотных регионов;

- чиновники региональных органов управления образованием;

- значительная часть Советов ректоров.

Кто же из них первый освободится от гипнотического «тестового» влияния Министерства образования и скажет: «Нет, такой несправедливый экзамен нам не нужен!»?

Или будем дожидаться, когда это скажут дети и их родители?

Или, кому-то очень надо, чтобы в России был именно такой национальный экзамен?

Примечания

1* До ЕГЭ, по обоюдной договоренности между вузами и школами, широко практиковалось проведение совмещенных по времени двух экзаменов - выпускной аттестации и вступительного экзамена в вуз. Фактически работало две экзаменационных комиссии – школьная и вузовская, каждая из которых решала свои задачи. С началом эксперимента по ЕГЭ такой совмещенный экзамен Министерство образования упразднило.

2* Стресс – состояние напряжения реактивности организма, возникающее у человека при воздействии чрезвычайных раздражителей. Эмоциональный стресс развивается в результате эмоционального возбуждения41. Степень напряжения зависит не столько от личностных особенностей человека (темперамент, функциональная лабильность и пр.), сколько от возможных для него последствий. Сравнивать стрессовые состояния путем элементарных математических действий (сложение, вычитание) не принято.

3* Комментарий к пункту: Единый государственный экзамен проводится на обязательной основе (для всех) в экспериментальных регионах в июне - июле. Второй раз ЕГЭ проводится при приеме в вузы для абитуриентов из неэкспериментальных регионов. Проводится БЕСПЛАТНО. По результатам выдаются свидетельства. Балл ЕГЭ учитывается в выпускном аттестате в комбинации с итоговым школьным баллом. Вузы экспериментальных регионов обязаны принимать свидетельства. Другие вузы не обязаны. В других регионах все выпускники сдают выпускные экзамены в традиционной форме.

4* Справедливости ради отметим, что сами тестологи изначально не собирались объединять в одном КИМе задания частей «А» и «В» с заданиями части «С». Однако, как поясняет директор Центра тестирования МО РФ В.А.Хлебников, эта схема «…была отвергнута без обсуждения»42. Так что КИМы, наряду с «совмещением экзаменов», тоже определяют специфику российской модели ЕГЭ и вполне могут быть предметом нашей «гордости», поскольку в других странах, даже с более богатым тестологическим опытом, такого пока нет.

5* В разном подходе к отбору тестовых заданий для итогового контроля знаний заключен неустранимый «конфликт» между учителями-предметниками и тестологами. Учитель будет искренне рад, если методом тестирования выяснит, что тот или иной вопрос усвоен всеми его учениками. Для тестолога же такие результаты являются признаком «плохих» тестовых заданий и он без всяких колебаний исключит их из дальнейшего использования. Потому что не дифференцируют личности.

Источники и ссылки

1 Распоряжение Правительства Российской Федерации № 1072-р. План действий Правительства Российской Федерации в области социальной политики и модернизации экономики на 2000-2001 годы. Опубликовано: 03.08.2000.

2 Концепция модернизации российского образования. Министерство образования Российской Федерации. П Р И К А З от 11 февраля 2002 Москва № 393.

3 Речь академика В.И. Арнольда на парламентских слушаниях в Государственной думе.

4 О.Колева. Единый госэкзамен не для академиков. "Вести.Ru", 2002.

5 Современный словарь иностранных слов. - С.-Петербург, 1994. – С. 704.

6 М.Шлиц. Незнайка со штрих-кодом// Российская научная газета, 2003 г. - No 33 (36).

7 Л.Ф.Бурлачук, С.М.Морозов. Словарь-справочник по психодиагностике. - С.-Петербург: Питер, 1999. Нормы профессиональной этики для разработчиков и пользователей психодиагностических методик.

8 В.Н.Дружинин. Экспериментальная психология - С.-Петербург: Издательство "Питер", 2000. Этические принципы проведения исследования на человеке.

9 Информационное агентство samara.ru. С введением единого стандарта образования спешить не стоит, считает председатель комитета по образованию Госдумы.

10 В.Болотов. Исключить случайности и взятки. Более 20 вузов страны принимали в этом году сертификаты единого государственного экзамена в качестве вступительного//Независимая газета. - № 146, 10 августа 2001 г.

11 Что такое федеральная система тестирования? «Круглый стол» по проблемам тестирования в России от 29 декабря 1998 года// Газета «Первое сентября», 1999. - № 3.

12 Приказ МО РФ от 26.10.2000 N 3066. О создании Совета по организации подготовки и проведения эксперимента по единому государственному экзамену.

13 Состав Совета по организации подготовки и проведения эксперимента по единому государственному экзамену. Приложение 2 к приказу Минобразования России от 26.10.2000 № 3066.

14 Постановление Правительства 119 от 16 февраля 2001 года. «Об организации эксперимента по введению единого государственного экзамена».

15 Э.Ефремов. Высший балл по лотерее. Первые итоги единого государственного экзамена// «Сельская жизнь», 2003. - № 73.

16 С.Кириллова. Из школы в вуз: британский вариант// Газета «1 сентября», 2003. - №14.

17 М.Быкова. «Мифы и реальность американского образования»// «Отечественные записки», 2002, - №1.

18 Л.Горалик. «Как сдают ЕГЭ в других странах»// По материалам "Русского журнала".

19 Л.Горалик "Единое поле экспериментов"// «Русский журнал», 6 Августа 2003.

20 Сервер информационной поддержки Единого государственного экзамена. Сокращает ли Единый экзамен стрессовые перегрузки выпускников школ?

21 III Всероссийское совещание, посвященное подведению итогов эксперимента по введению ЕГЭ в 2003 году и постановке задач эксперимента на 2004 год.

22 Н.Барановская. "Смена курса". "Известия".

23 Вадим БАРАБАНОВ. Ректор МГУ против ЕГЭ!

24 Роберт Дж.Штернберг. Пер. с англ. Интеллект, приносящий успех. - Минск, 2000. – С..24.

25 Инструкция по проведению единого государственного экзамена в 2002 году.

26 Виды тестирования, проводимые под эгидой министерства образования РФ. Портал информационной поддержки Единого государственного экзамена.

27 Старцев. "Единственный государственный экзамен – пока ради эксперимента, через два года по всей России». Радиостанция «Эхо Москвы», 11 июня 2002 г.

28 Светлана Сорокина. Экзамен для министра образования. Программа «Основной инстинкт». 29.05.2003.

29 Ю.Таратута. Наши дети удручающе безграмотны// Газета "Коммерсантъ", 1 сентября 2003.

30 Сервер информаионной поддержки Единого государственного экзамена.

31 Сервер информаионной поддержки Единого государственного экзамена. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения.

32 Официальный сайт Центра тестирования МО. Особенности национального экзамена.

33 А.Рыбина. Экзамен побеждает коррупцию. Родительское собрание № 8-9, 2 сентября 2003.

34 В.С.Аванесов. Композиция тестовых заданий. - М., 1998. - С. 4.

35 С.А.Сафонцев. Критериально-ориентированное тестирование// Педдиагностика, 2002. - № 1. - С.77.

36 А.В.Петровский. Запрет на комплексное исследование детства.

37 В.С.Аванесов. Композиция тестовых заданий. - М., 1998. - С.181.

38 В.М.Кадневский. Становление и развитие научного метода тестов// Педагогическая диагностика. 2003. - №1. - С.17.

39 С.Кириллова. ЕГЭ со многими неизвестными// Газета «1 сентября», 2003. - № 35

40 А.Зверев. Пресс-тест// Газета «1 сентября», 2003. - № 74.

41 Энциклопедический словарь медицинских терминов. - М., 1984. - Т. III. - С. 156.

42 Л.Сычева. Без ЦТ не было бы ЕГЭ. Интервью с В.Хлебниковым// Учительская газета, 2001. - № 27.

НАЧАЛО