Анализ результатов диагностических методик, ориентированных на норматив

В постановлении ЦК КПСС и Совета Министров «О дальнейшем совершенствовании общего среднего образования молодежи и улучшении условий работы общеобразовательной школы» указывается на необходимость «улучшить психолого-педагогическое изучение школьников на протяжении всего периода обучения, выявление их интересов и склонностей, а также своевременное изучение причин отставания в учебе и недостатков в поведении отдельных учеников, выбор наиболее эффективных путей устранения этих явлений» [1; 70]. Успешность решения этих задач тесно связана с разработанностью психодиагностических методик, пригодных, в частности, для установления уровня умственного развития, который необходим, чтобы был усвоен требуемый для данного возраста объем знаний, умений и навыков.

Оценки учителей, суждения окружающих могут характеризовать достижения, недостатки и особенности умственного развития детей, однако диагностические методики, являясь инструментом контроля умственного развития, обладают большей объективностью и методической отчетливостью. Их результаты могут быть проанализированы и соотнесены с приемами и методами обучения и воспитания и сопоставлены с эталоном умственного развития.

В современной психологической диагностике наметились два различных подхода к установлению уровней умственного развития. В одном из них «точкой отсчета» берется статистическая норма. В другом — социально-психологический норматив. Излагаемая работа входит в цикл исследований, проводимых в лаборатории психологической диагностики НИИ общей и педагогической психологии АПН СССР (руководитель К.М. Гуревич) по разработке методик умственного развития, ориентированных на социально-психологический норматив.

В последнее время в западной тестологической литературе подвергается критике тестирование, ориентированное на статистическую норму. Ставится вопрос о том, правомерно ли применение популяционных статистических норм. Психологи не могут не признавать, что в неодинаковых экономических, социальных и культурных условиях и развитие детей происходит по-разному.

По этой причине порядковое место индивида в тестировании при сопоставлении его с другими зависит не столько от его возраста и природных данных, сколько от тех возможностей развития, которые ему предоставила его социальная общность [3], [7], [8], [9]. Поэтому выведение по тестам единой возрастной нормы умственного развития не может быть оправдано. При этом корректное сравнение результатов тестирования различных групп без навешивания «ярлыков», как бы показывающих, кто выше, а кто ниже по интеллекту или способностям, не исключается.

Критические соображения, которые высказываются западными тестологами по поводу нормы, носят не столько теоретический, сколько прагматический характер. Основной недостаток тестирования, ориентированного на норму, по мнению ряда авторов, состоит в том, что оно (в лучшем случае) отвечает лишь на вопрос, каким наличным уровнем умственного развития к моменту испытания обладает индивид по сравнению с другими, но ничего не говорит о том, к чему в действительности он мог бы прийти, что смог бы делать [3], [7], [9].

Поэтому точкой отсчета для оценки развития ребенка должна стать не статистическая норма, а независимый от результатов тестирования, заданный объективно норматив. Так может быть названо выдвигаемое обществом объективно-необходимое, соотнесенное с возрастом требование, которому должен удовлетворять на каждом этапе своего развития каждый представитель молодого поколения [4], [5]. Близость умственного развития к нормативу может рассматриваться как один из критериев умственного развития. Норма не раскрывает возможностей развития, она выявляет лишь его наличный уровень. Норматив предназначен для того, чтобы раскрыть перспективы развития. Требования, воплощенные в нормативе, являются результатом общественной практики. Исторический опыт воспитания и обучения молодых поколений доказывает, что эти требования посильны всем психически здоровым детям.

Разработка и формулирование нормативов — это трудная, но подлежащая решению психологическая проблема. В совокупности требований, которые общество предъявляет своим членам, в их своде выделяются отдельные требования, относимые к общему и профессиональному развитию человека, к содержанию и уровню его мышления, к его моральному облику, его установкам и социальной направленности. Психическое развитие, отвечающее этим требованиям, обеспечивается для каждого ребенка, подростка, молодого человека школьными программами и всей системой общественного воспитания соразмерно с возрастом. Эти требования должны быть доведены до такого уровня научного осознания и четкого формулирования, когда их можно было бы представить в виде критериальных эталонов, нормативов.

Оперируя статистической нормой, исследователь получает информацию о порядке следования испытуемых по степени их успешности в выполнении теста. При использовании норматива успешность каждого испытуемого сравнивается с содержанием этого норматива; сам норматив является вербально-логическим репрезентатором того материала, который должен быть усвоен на каждой образовательно-возрастной ступени. В диагностике норматив реализуется в совокупности заданий, содержащихся в тесте.

Все дети в нашем обществе должны получить наилучшее воспитание и образование, они должны быть всесторонне развиты. Так, целенаправленно совершенствуются системы и методы обязательного для всех воспитания, обучения и творческого развития. На это направлена реализуемая в нашей стране реформа школы. Таким образом, все дети должны соответствовать определенным социальным требованиям, или нормативам. Однако сопоставление развития детей разных социальных групп с одними и теми же предъявляемыми им требованиями, или нормативами, обнаружит с неизбежностью некоторые расхождения в особенностях развития; они могут быть объяснены прежде всего условиями онтогенеза. В одних случаях это будут расхождения, характеризующие только отдельных индивидов, в других — характеризующие целые группы детей, группы, которые находятся в однотипных (по существенным социально-психологическим признакам) условиях онтогенеза. С помощью методик, ориентированных на норматив, можно выяснить, насколько близки (или далеки) от норматива как группа в целом, так и те или другие дети, входящие в нее. По результатам диагностических испытаний можно установить, в чем конкретно отмечается отставание от норматива, где оно особенно велико; последующая коррекционная работа помогла бы постепенному устранению отставания. Норматив позволяет делать действенные выводы, а не заниматься простой констатацией, на что наталкивает статистическая норма.

Но если техника представления результатов диагностирования, ориентированного на статистическую норму, разработана достаточно детально, то этого нельзя сказать о диагностировании, ориентированном на норматив. Мы наметили цель отработать технику количественного и качественного анализа результатов, получаемых в диагностическом эксперименте, для реализации подхода с позиций социально-психологического норматива. Как исходный материал мы использовали переводной тест интеллекта западногерманского психолога Р. Амтхауера. Тест был предоставлен нам национальным предприятием «Психодиагностика» (Братислава, ЧССР).

Попытаемся оценить, насколько традиционные тесты пригодны для данной цели. Авторы тестов, включая в свои методики слова и термины, те или иные логические отношения, пришли к этому чисто прагматически; они выражают в тестах те требования, которые предъявляют ребенку и подростку школьная программа и общественная среда, а в дальнейшем — профессиональная деятельность. Тест выявляет степень владения терминами, понятиями, логическими отношениями. Отраженные в тестах логические действия, которые тестологи считают обязательными для современного человека,— это аналогии, обобщения, отношения противоположности и тождества, классификации, установление логического принципа построения ряда и др. Конечно, неизбежно возникает вопрос: сводится ли к тому небольшому набору «микропроблем», из которых состоят тесты, логические связи и отношения, которыми оперирует подлинный процесс мышления, не упущено ли что-то существенное? Следует сказать, что тестологи включали в тесты лишь то, что можно «измерить», что можно представить в виде серии однотипных заданий в кратковременной диагностической процедуре. Главный же аргумент в пользу такого ограниченного набора другой — этот набор «микропроблем» при всех возможных оговорках и ограничениях оправдывал и оправдывает себя при сопоставлении с достижениями в практике.

Не вступая в противоречие со сказанным, можно заметить, что современная западная диагностика и тестология тоже построены на системе социально-психологических нормативов, т. е. на учете тех общих и фундаментальных требований, под влиянием которых должен складываться облик индивида в данной социальной общности. Это отражено в некоторых попытках теоретически осмыслить тесты. Так, анализируя понятие интеллекта, некоторые авторы предлагают его рассматривать как характеристику адаптабельности, т. е. степени приспособления индивида к требованиям, которые выдвигает перед ним окружающая его общественная среда [2]. По владению логическими действиями, которые предложены испытуемым в тестах, судят, насколько они подготовлены к этим требованиям. Конечно, в такой характеристике речь идет лишь о внешней результативной стороне мыслительной деятельности. Тестология не дает ответа, как и почему достигнута та или иная степень овладения индивидом требованиями среды. Она предлагает лишь фиксировать уровень достигнутого, то, насколько индивиды овладели к моменту диагностического эксперимента этими требованиями (причем с чисто количественной стороны). В итоге наиболее удачными должны оказаться такие тесты, в которых нашли отражение социально-психологические нормативы. Если автору не удалось построить тест, отражающий норматив, то не удастся достигнуть совпадений между результатами тестирования и показателями практики. К этому и сводится критерий валидности, используемый современной тестологией. Тест Амтхауера известен как вполне добротный, валидный, хорошо зарекомендовавший себя в практике. Но в какой практике? Необходимо отменить, что западные тесты интеллекта не могут в полной мере совпадать с теми социально-психологическими нормативами, которые исходят из требований нашего общества. Как уже неоднократно указывалось [3] [4], [6], тесты следует рассматривать как инструмент, испытывающий уровень культурно-психологической адаптации отдельных лиц или целых групп к требованиям той социальной общности, для которой они разрабатывались. Эти требования реализуются как в подборе терминов и понятий, репрезентирующих определенную культуру, так и в составе логико-функциональных отношений, который должен устанавливать испытуемый, чтобы правильно выполнить задания теста. В тесте Амтхауера вызывает наибольшие сомнения репрезентативность того круга понятий и терминов, которые автор со свих позиций счел необходимым включить в тест. Однако можно воспользоваться и этим тестом для решения некоторых методических задач. Требования к умственному развитию подростков, которые содержатся в тесте, для приближения к нашей цели мы рассматривали как модель норматива, или, другими словами, как условный норматив. Такой путь давал возможность отработать многие методические вопросы, связанные с применением нормативов в диагностике.

Подлежал методической разработке вопрос: как разные по специфике умственного развития испытуемые (отличающиеся друг от друга существенными признаками онтогенеза) будут характеризоваться по степени их близости к условному нормативу? Эксперименты проводились с такими группами испытуемых, которые, по нашему предположению, отличались друг от друга по признакам, формирующим степень близости к нормативу умственного развития. В одну выборку (46 человек) вошли ученики восьмых классов из специальной школы с усиленным преподаванием английского языка, в которой производился некоторый предварительный отбор; в другую — восьмиклассники обычной районной общеобразовательной школы (49 человек).

Условия, сформировавшие разные типы и уровни развития, предположительно должны сказаться как на количественных результатах выполнения теста (центральных значениях), так и на его качественных показателях, т. е. на семантическом и психологическом содержании решаемых или нерешаемых заданий. Используя заданный в эксперименте классификационный критерий разбиения совокупности результатов на две выборки, можно установить, каковы действительные различия между выборками по данному тесту, насколько они велики, в чем конкретно они находят свое выражение. Следует отметить, что весь анализ нами проводился без ориентирования на норму. Все сопоставления результатов тестирования были сделаны с тем максимумом, который представлен в условном нормативе, т. е. в самом тесте, а это есть общее число помещенных в нем заданий.

МЕТОДИКА ИССЛЕДОВАНИЯ

Групповой тест Р. Амтхауера предназначен для подростков 14—15 лет. Это один из типичных тестов на интеллект. В него входят такие субтесты: 1 — на общую осведомленность и понимание прочитанного текста, 2 — на классификацию понятий, 3 — на установление аналогий, 4 — на подведение двух понятий под общую категорию (обобщение), 5 — на умение решать простые арифметические задачи, 6 — на умение находить числовые закономерности, 7 — на умение мысленно оперировать изображениями фигур на плоскости, 8 — на умение мысленно оперировать изображениями объемных фигур, 9 — на заучивание слов (мы его в работе не применяли. Без него осталось 8 перечисленных субтестов).

Время на выполнение каждого субтеста было ограничено и колебалось в зависимости от субтеста от 6 до 10 мин. Тест имеет 2 эквивалентные формы А и Б.

В данной работе мы ограничились рассмотрением следующих вопросов:

1. выявление с помощью центральных значений степени близости данных выборок к нормативу, представленному в тесте;
2. выявление с использованием качественной обработки и анализа результатов тех критериальных заданий, в которых различия между выборками обнаружились наиболее отчетливо.

Если групповые сопоставления с условным нормативом будут достаточно показательными, то этим открывается путь и для сопоставления индивидуальных диагностических результатов с тем же нормативом и их качественный анализ.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Для проведения первичной обработки тестовых данных было подсчитано для каждого испытуемого число (и процент) правильно выполненных заданий в каждом субтесте и общий балл (показатель выполнения теста в целом). Это сумма правильно выполненных заданий по всем субтестам. Каждый из субтестов, за исключением 4-го, имеет 20-балльную систему оценок. Крайние значения 20 и 0 соответствуют крайним степеням успешности или неуспешности выполнения субтеста. В 4-м субтесте, состоящем из 16 заданий, по указанию автора теста правильно выполненное задание оценивается в 2 балла, поэтому максимальное количество баллов в данном субтесте равно 32, минимальное — 0. 

Рис. 1. Соотношение кривых по тексту в целом.

Анализ количественных показателей выполнения теста позволил нам выявить неодинаковую успешность, а следовательно, и различную степень приближения результатов к рассматриваемому условному нормативу у испытуемых разных выборок. Для того чтобы более наглядно отразить степень близости к нормативу результатов выполнения теста в рассматриваемых выборках, были построены специальные кривые. Результаты выполнения субтестов, а также общий балл по тесту в каждой выборке разбивались на 5 подгрупп:

1. подгруппа — 10 % испытуемых с самыми высокими баллами.
2. подгруппа — 20 % испытуемых с баллами, близкими к высоким.
3. подгруппа — 40 % испытуемых со средними баллами.
4. подгруппа — 20 % испытуемых с баллами, близкими к низким.
5. подгруппа —10 % испытуемых с самыми низкими баллами.

На рис. 1 показаны кривые, отражающие близость к нормативу реальных результатов выполнения всего теста в разных выборках.

На оси абсцисс отмечались номера подгрупп, на оси ординат — процент выполнения теста.

Как видно из рисунка, в обеих выборках происходит примерно одинаковое снижение результатов от подгруппы к подгруппе. Такое относительно равномерное снижение делает эти кривые почти параллельными. Правда, во второй выборке обнаружился больший разрыв между высокими и низкими баллами по тесту, чем в первой: во второй выборке разница между 1 и 5 подгруппами равна 39 %, а в первой — 29 %.

Таким образом, первая выборка (ученики спецшколы) показала большую степень близости к условному нормативу, чем вторая (ученики обычной общеобразовательной школы) Разрыв между нормативом и наиболее высокими результатами выполнения теста (результатами 1-й подгруппы) в первой выборке составляет 30 %, а между нормативом и низкими результатами (в 5-й подгруппе) — 59 %. Во второй выборке этот разрыв значительно больше: 39 и 78 % соответственно.

Для того чтобы выяснить, как соотносятся реальные результаты выполнения субтестов с их максимальными значениями, для каждого субтеста в обеих выборках были построены аналогичные кривые. Такой анализ позволил выделить 3 типа соотношения кривых (рис. 2): 1) кривые как бы параллельны друг другу, но одна расположена выше, т. е. ближе к максимальным значениям, а другая — ниже (рис. 2, а); такой тип характерен для субтестов 1, 2, 3 (вербальные операции) и 6 (числовые закономерности), 2) кривые приближаются друг к другу в своих наибольших значениях и резко расходятся в наименьших (рис. 2, б); этот тип соотношения обнаружен в субтесте 4 (обобщение) и субтесте 5 (арифметические задачи); 3) кривые резко расходятся в своих наибольших значениях и сближаются в наименьших (рис. 2, в); это обнаружилось в субтестах 7 и 8 (мысленное оперирование плоскими и объемными фигурами в пространстве).

Рис 2

а) Соотношение кривых, характерное для субтестов 1, 2, 3 и 6

б) Соотношение кривых, характерное для субтестов 4 и 5

в) Соотношение кривых, характерное для субтестов 7 и 8

В соответствии с методическими целями данного исследования мы не будем останавливаться на анализе причин, обусловивших такие типы соотношения кривых в рассматриваемых выборках; их, по-видимому, следует искать как в различиях по условиям онтогенеза, так и в содержании учебной деятельности с ее минимумом и максимумом требований к умственному уровню учащихся. Эти различия неодинаково обнаруживают себя при формировании разных умственных действий и при оперировании разным содержанием.

Нормативный подход требует качественного анализа результатов. Перейдем к описанию одного из возможных способов такого анализа. Одним из эффективных способов является выделение критериальных заданий, т. е. заданий, в которых обнаруживаются наиболее резкие различия между отдельными испытуемыми или сравниваемыми выборками; возможно выделение таких заданий и внутри одной выборки при сравнении подгрупп между собой. В качестве иллюстративного материала в этом сообщении мы использовали только два вербальных субтеста (общую осведомленность и классификации). В этих субтестах различия между выборками одинаково отчетливо прослеживаются по всем подгруппам. Материал обрабатывался следующим образом: по каждому заданию вычислялся средний для выборки процент правильных ответов. Такая обработка проводилась раздельно для ф. А и ф. Б теста. Мы считали задания критериальными, если их выполняли менее трети (33 %) испытуемых. Анализировался и характер ошибок.

Начнем анализ с рассмотрения субтеста 1. Он направлен на выявление общей осведомленности учащихся в разных житейских и научных областях.

Критериальными заданиями в данном субтесте оказались следующие:

1. Задания, где надо иметь какие-то специальные знания, которые могут быть получены не из школьных программ, а из общения, чтения книг и т. п.

Пример: человек, который скептически относится к прогрессу, является... а) демократом б) радикалом, в) либералом, г) консерватором, д) анархистом.

Судя по вопросам, которые некоторые учащиеся задавали экспериментаторам, они не знали, что означает большинство из этих слов. Об этом говорят и ошибки. Они носят разнообразный характер, и создается впечатление, что школьники просто пытаются отгадать правильный ответ. Кроме того, большое количество учеников вообще пропустили задание, не дали никакого ответа 

2. Задания, требующие умения различать смысловые оттенки слов.

Пример: влияние человека на окружающих должно зависеть от... а) власти, б) умения убеждать, в) положения, г) репутации, д) ума.

Часто встречающаяся ошибка у учащихся обычной общеобразовательной школы состояла в выборе ответа «умения убеждать» Возможно, многие школьники такие понятия, как «умение убеждать» и «ум», рассматривают в качестве синонимов, не делают различия между ними, не замечают отличающих их смысловых оттенков.

3. Задания, где необходимо умение отличать принцип необходимости от принципа достаточности, наличия.

Пример: у коня всегда есть: а) конюшня, б) подкова, в) сбруя, г) копыта, д) грива.

В этом задании требовалось четко выдержать принцип необходимости. Характер ошибок свидетельствует о том, что многие восьмиклассники из второй выборки заменяли принцип необходимости принципом наличия. Поэтому самой распространенной ошибкой было употребление слова «грива».

4. Задания, в которых непроизвольно актуализируются прочные ассоциативные связи.

Пример: противоположностью понятия верность является. а) любовь, б) ненависть, в) дружба, г) предательство, д) вражда.

Чаще всего учащиеся в своих ответах выбирали слова не противоположного значения, а ассоциативно связанные со словом, заданным в тесте, вопреки ясно сформулированной задаче (любовь, дружба)

В субтесте 2 диагностируется умение совершать такую логическую операцию, как классификация понятий по признакам сходства, включения в определенную общую категорию. Подлежащие классификации понятия подбирались таким образом, чтобы их можно было объединить только по одному принципу.

Задания этого субтеста требовали от испытуемых тонкого анализа предлагаемых понятий, сравнения их по выделенным признакам, абстрагирования от признаков, незначимых с точки зрения цели, поставленной перед испытуемым в данных заданиях.

В этом субтесте в число критериальных попали задания, использующие такие понятия, где в качестве оснований для классификации выступали существенные, но не закрепленные в практически-действенном опыте признаки. Работа с такими понятиями требует рационального поиска: продуманного плана выявления оснований для классификации, контроля за выполнением с помощью логического правила и т. д.

Примеры таких заданий: мост, граница, брак, дружба, общество; компас, часы, стрелка, полярная звезда, курс; рефлекс, ответ, эхо, активность, зеркало.

Как видно из примеров, понятия, включенные в эти задания, хорошо знакомы учащимся восьмых классов; трудность состоит в нахождении объединяющих признаков, существенных с точки зрения поставленной задачи, но абстрактных. Некоторые учащиеся, оперируя такими понятиями, продемонстрировали более низкий уровень сформированности логического приема классификации. Об этом говорят ошибки в ответах. Иногда школьники исключали слово, которое по выделенному признаку не подходило только к 2—3 словам, а 4-е слово во внимание не принималось. Таким образом, они производили неполный предварительный анализ: выделив признак, учащиеся рассматривали не все слова относительно этого признака, а только некоторую часть, что приводило к нарушению основного правила классификации. Следовательно, здесь обнаруживается явная зависимость успешного применения правила классификации от содержания задания: конкретные признаки выделяются лучше, чем абстрактные, и успешнее используются для классификации. Однако если под сформированностью логического приема понимать широту применения его на разнообразном материале, то следует отметить, что учащиеся обычной общеобразовательной школы этим приемом не владеют в достаточной степени.

Таким образом, содержательный анализ выполнения заданий двух вербальных субтестов, проведенный на двух выборках учащихся восьмых классов, позволил выделить разные уровни как в овладении некоторым запасом житейских и научных понятий, так и в умении оперировать ими и устанавливать требуемые логико-функциональные связи и отношения. Полученные различия отражают особенности умственного развития включенных в выборки учащихся.

Итак, использованные нами способы количественной и качественной обработки результатов теста Амтхауера могут принести существенную пользу в диагностировании тех особенностей умственного развития учащихся, которые подвержены .влиянию условий развития. Исследуя умственное развитие испытуемых относительно степени его приближенности к условному социально-психологическому нормативу, можно установить те его реальные особенности, которые чаще всего «ответственны» за успешность выполнения тестовых заданий, а следовательно, и за то, насколько учащиеся каждой выборки удовлетворяют условным нормативным требованиям.

Выделив критериальные задания и установив таким образом как наличный уровень развития, так и (что особенно важно) пробелы в нем, можно рассчитывать в дальнейшем путем целенаправленного обучения и воздействия на неблагоприятные условия развития компенсировать замеченные недостатки. Применение описанных способов количественной и качественной обработки открывает возможности такой диагностики, которая не только констатирует, каков достигнутый уровень развития, но и показывает его перспективы, а также реальные пути развития.

С помощью методик психологической диагностики представляется более важным исследовать степень подготовленности индивида к тем требованиям, которые выдвигает перед ним общество (с учетом его возраста) в виде социально-психологических нормативов, а не то, какое место (какой ранг) занимает ребенок в ряду своих сверстников, где его место относительно среднего арифметического (нормы). Руководителей школ и учителей в первую очередь интересует степень психологической подготовленности групп детей и конкретного ребенка к выполнению определенных учебных требований. Задача диагностических методик состоит в том, чтобы свидетельствовать, насколько дети отвечают требованиям возрастного норматива.

Благодаря подходу с позиции социально-психологического норматива открывается путь для выяснения: а) степени близости логического и понятийного развития к тому, который признается общественно необходимым; б) пробелов в этом развитии, выявляемых при сравнении учащихся разных школ и классов и внутри одного класса, что в конечном итоге поможет школе, учителю с должной конкретностью понять собственные недочеты, а может быть, и выявить недостатки в построении программ.

Итак, подход к изучению умственного развития с позиций социально-психологического норматива постепенно кристаллизуется как в своих методико-теоретических, так и в практических основах.

1. О реформе общеобразовательной и профессиональной школы.— М., 1984.— 112 с.

2. Акимова М. К. Изучение индивидуальных различий по интеллекту.— Вопросы психологии, 1977, № 2, с. 175—185.

3. Анастази А. Психологическое тестирование. Кн. I.— M., 1982.— 316 с.

4. Гуревич К. М. Современная психологическая диагностика: пути развития.— Вопросы психологии, 1982, № 1, с. 9—18.

5. Давыдов В. В. Итоги и перспективы научной деятельности Института общей и педагогической психологии АПН СССР.— Вопросы психологии, 1983, № 1, с. 5—22.

6. Психологическая диагностика: проблемы и исследования / Под ред. К. М. Гуревича.— М.,—230 с.

7. Grucial issues in testing. Ed R. W. Tyler a. R. M. Wolf, USA, 1974.

8. Mental tests and cultural adaptation. Ed. Cronbach L. G. a. Drenth P. J. D. The Hague: Mouton, 1972.

9. Popham W. G. Criterion-referenced measurement, USA, 1978.