Педагогические измерения

Реферат
Содержание скрыть

Министерство образования и науки Российской Федерации

ФГБОУ ВО «Бурятский Государственный Университет»

Педагогический институт

Кафедра технологического образования и профессионального обучения

Реферат

Педагогическое измерение

Выполнил: Шобоева Аюна Алексеевна,

гр. 07582с

Проверила: Жалнина Ольга Леонидовна,

старший преподаватель ТОПО

Оценка __________________

Улан-Удэ

2018

Процесс педагогических измерений включает:

  • выбор предмета измерения (латентных характеристик объектов) и их числа;
  • выбор эмпирических референтов (наблюдаемых характеристик объектов);
  • выбор измерительных процедур;
  • конструирование и использование измерительных инструментов;
  • выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);
  • построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам;
  • обработку, анализ и интерпретацию результатов измерения.

В силу неизбежности ошибок измерения оцениваемые характеристики объектов могут принимать более или менее точные значения, поэтому эти характеристики принято называть переменными измерения. Любые отклонения от стандартизированных условий измерения, обработки, анализа и интерпретации полученных результатов увеличивают ошибки измерения, которые представляют наибольшую опасность в эмпирических науках в силу латентного характера переменных. Поэтому так важен анализ устойчивости и точности (надежности) результатов тестирования, что выгодно отличает тесты от традиционных оценочных средств.

Еще одна характеристика качества результатов тестирования – валидность – отражает адекватность эмпирических результатов поставленным целям измерения. В силу многогранности целей анализ валидности должен быть многоаспектным, но в любом случае важное, место занимает доказательство адекватности эмпирических референтов концептуально выделенной переменной (переменных) измерения (конструктная валидность).

Измерительный инструмент включает два компонента. Первый компонент – само измеряющее устройство, роль которого в педагогических измерениях чаще всего, но не всегда выполняет тест. В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих обоснованные оценки концептуально выделенной переменной (переменных) измерения с высокой объективностью. Таким образом, в самом определении теста заложены требования к его качеству, отсутствующие в традиционных оценочных средствах.

5 стр., 2334 слов

Национальная экономика структура и средства измерения результатов ...

... результатах воспроизводственного процесса в рамках макроэкономики? Как они взаимосвязаны? Основными макроэкономическими показателями, для реального статистического измерения ... в рамках национальной экономики? Каковы его стадии? Чтобы экономическая система могла существовать, она должна воспроизводить сырье, средства производства, рабочую силу ... подход удобен для анализа отраслевой структуры производства ...

Второй компонент измерительного инструмента – заранее подготовленная шкала, которая служит для фиксации результатов измерения и на которой откладываются оценки (количественные или качественные) измеряемой переменной. В процессе упорядочения оценок каждому элементу совокупности наблюдаемых эмпирических данных ставится в соответствие определенный балл, устанавливающий положение наблюдаемого элемента на шкале, где можно размещать сырые (первичные) баллы (результаты суммирования оценок по отдельным заданиям теста) или производные баллы, получающиеся в результате преобразования первичных оценок для повышения сопоставимости и удобства интерпретации результатов учащихся.

Шкала с отложенными оценками переменной, является целью измерения. При измерениях с высокой надежностью, и валидностью она адекватно отображает оцениваемые характеристики и представляет их без существенных искажений. В зависимости от количества оцениваемых характеристик объекта можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях . Соответственно по результатам измерения строился одна шкала или несколько шкал, число которых в последнем случае обычно бывает равно числу переменных измерения.

Последний компонент процесса педагогических измерений, включающий обработку, анализ и интерпретацию данных, служит для выявления обеспечиваемого качества результатов измерения, коррекции тестов и представления полученных данных в форме, удобной для интерпретации и сравнения. Благодаря сопоставимости тестовых баллов, достигаемой в процессе обработки, по результатам педагогических измерений можно выстраивать качественный анализ результатов учащихся, проводить мониторинг и принимать обоснованные управленческие решения в образовании.

1.1 Абсолютная объективность

Появление первых стандартизованных тестов в образовании вызвало массовую позитивную реакцию, поскольку первоначально они рассматривались как средство получения объективных оценок подготовленности обучаемых, преодолевающее субъективизм традиционных оценочных средств. По мере развития теории педагогических измерений и накопления опыта применения тестов пришло понимание того, что абсолютная объективность – это недостижимая характеристика результатов любых, в том числе и педагогических, измерений в силу существования ошибочных компонентов, неизбежно смещающих оценки. Поэтому при использовании тестов можно говорить лишь о высокой или низкой объективности, степень проявления которой связана с величиной надежности теста.

Наиболее полно трактовка термина «объективность измерений» представлена в исследованиях Е.Вебстера ( E .Webster ), предложившего восемь толкований этого понятия. Три из них – процедурная объективность, классическая (традиционная) объективность и инвариантная (специфическая) объективность – непосредственно относятся к педагогическим измерениям.

1.2 Процедурная объективность.

Под процедурной объективностью (первая трактовка термина «объективность измерений») понимается независимость результатов тестирования от субъективных суждений педагога, использующего тест. Эта независимость обеспечивается благодаря равенству условий тестирования, использованию для одной группы тестируемых параллельных (совпадающих по трудности и другим характеристикам) вариантов теста, стандартизации процедуры проверки результатов и максимальной ее автоматизации, исключающей влияние педагога на оценки.

37 стр., 18361 слов

Выбор средств измерений при метрологическом обеспечении производства ...

... техническому органу [1]. Цель написания дипломной работы: организация и порядок проведения подтверждения соответствия ... на безопасность для жизни и здоровья людей и окружающей среды. В результате ... существовала система государственных испытаний средств измерений, авиационной, сельскохозяйственной, автомобильной и других ... машиностроения в СССР". Вместе с тем в СССР осуществлялась оценка соответствия ...

Сведение всех видов объективности только к процедурной недопустимо, поскольку при таком подходе не выдвигается никаких требований к качеству теста. В этом случае может создаться впечатление, что для получения объективных данных о подготовленности испытуемых достаточно перейти от традиционных экзаменов к любым, в том числе некачественным, тестам, устранив влияние педагога на оценку тестирования путем автоматизации процедуры подсчета баллов испытуемых.

1.3 Классическая, или традиционная, объективность.

Второе, углубленное, понимание объективности измерений рассматривается в классической теории тестов и основывается на понятиях «сырой балл» и «истинный балл», отличающихся друг от друга на величину ошибки измерения.

Сырой (первичный, наблюдаемый, индивидуальный) балл получается простым суммированием результатов испытуемого по отдельным заданиям теста. При дихотомической оценке результатов по заданиям (1 или 0) индивидуальный балл равен количеству правильно выполненных заданий теста. Истинный балл в классической теории отождествляется с абсолютно объективной оценкой свойств испытуемого, свободной от влияния любых ошибок измерения. В отличие от сырого балла, который меняется в зависимости от теста и способа подсчета результата испытуемого, истинный балл трактуется как не зависящая от средств измерения константа, характеризующая оцениваемое свойство испытуемого в момент измерения, но меняющаяся в процессе обучения.

Согласно основной аксиоме классической теории тестов любой наблюдаемый балл равен сумме истинного балла и ошибки измерения. В тех случаях, когда ошибка измерения не превышает выбранных пределов точности измерений, говорят о высокой объективности результатов тестирования, а оценки испытуемых принимают за их истинные баллы. Таким образом, углубленное понимание объективности измерений требует оценивания величины ошибки измерения, на размер которой влияют не только условия проведения тестирования, но и качество теста.

1.4 Инвариантная, или специфическая, объективность.

Item Response Theory

Для достижения специфической объективности необходима подгонка данных тестирования к требованиям моделей теории IRT и длительная серьезная работа над тестом. Поэтому на практике тестологи часто сталкиваются с тем, что эффект инвариантной объективности либо реализуется со слишком большими затратами, либо не реализуется вообще в силу недостаточно высокого качества теста.

2.1 Педагогическое измерение

Измерение, в отличие от оценки, представляет собой конкретную процедуру количественного сопоставления изучаемого свойства (признака) с некоторым эталоном. В педагогике нет материального объекта измерения компетенций, фиксированной единицы измерения и нулевой точки отсчета. Поэтому приходится преодолевать концептуальные трудности выделения измеряемого свойства, начиная с самых общих определений на философском уровне (например, что такое компетентность вообще), переходя затем к определению знания конкретного предмета и операциональным определениям, в которых общие понятия выражаются правилами измерения и перечислениями конкретных измеряемых элементов. По мнению Б.В. Авво, операционализация объекта измерения заканчивается выработкой системы эмпирических индикаторов (с их помощью проверяют уровень сформированности исследуемого качества эмпирически).

14 стр., 6693 слов

Психологическое измерение

... психологических тестов. Подтверждением сказанного является то, что ряд современных статистических методов созданы в ходе решения психологических ... к измерительной аппаратуре предъявляются довольно высокие требования. Приборы для измерения критической частоты световых мельканий ... лабильности зрительной системы является разность между средними арифметическими значениями КЧСМ и КЧРМ. Экспериментальные ...

Повысить объективность высокоинферентной оценки можно путем систематизации и уточнения критериев, по которым выносится оценочное суждение, и использования оценочных шкал [1].

Обычно, в качестве эмпирических индикаторов выступают задания, подобранные с целью проверки процедуры измерения конкретной способности человека к выполнению тех или иных действий. Результат измерения – численная оценка степени выраженности исследуемого признака – способности к решению задачи, готовности к действию в определенной ситуации с использованием конкретных знаний и информации.

Профессионализм сориентирован не на «систему знаний», а на систему действий; его отношение к знанию выражается применением знаний при совершении «активных действий» (Штихве 1994).

В то время как система знаний опирается на связь внутри системы, и в качестве основного использует критерий «истинно – верно», профессиональный мир обращается к связям и различиям между системой и окружающей средой, руководствуясь критерием «эффективность» (Штихве 1994, Мертен 1996).

Задание по оцениванию компетенции должно содержать как необходимую информацию для принятия профессиональных решений, так явный недостаток информации, побуждающий профессионала обращаться к дополнительным источникам информации. Учитывая трудность формализации критериев профессиональной компетентности социального педагога мы предлагаем использовать следующую систему шкал, отражающих основные профессионально значимые аспекты его деятельности.

2.2 Шкала оценивания

Предлагаемые Шкалы оценивания:

1. Использование профессиональной терминологии при характеристике проблемы (ситуации) изложенной в задании. (Низкое, среднее высокое).

2. Умение оперировать теоретическими знаниями (моделями), необходимыми для решения задачи. (Низкое, среднее высокое).

3. Умение взаимодействовать с внешними социальными институтами (системами).

(Низкое, среднее высокое).

4. Демонстрация личностных профессиональных ресурсов при решении проблемы/ (Низкое, среднее высокое).

5. Технологическая грамотность при решении проблемы, изложенной в задании. (низкая, средняя, высокая)/

6. Правовая грамотность при решении проблем. (Низкое, среднее, высокое).

В таблице приведены содержательные характеристики уровней по предлагаемым шкалам.

2 стр., 980 слов

Проблема сырья и энергетики

... географов и регионоведов М.: Гуманит. Изд. центр ВЛАДОС, 2001. 272 с.: ил., 3. Статья в интернете: Глобальные проблемы человечества, 2015г. 4. Энергетическая и сырьевая проблемы, 2018г, ... важен, а необходим переход к ресурсосбережению и более эффективному развитию сырьевых отраслей экономики. 1.1 Пути решения сырьевой проблемы Решением этой проблемы может стать: o Глубокая переработка отходов ...

Уровни и содержание шкал оценивания профессиональной компетентности социальных педагогов

Низкое

Общие слова, неупотребление профессиональных понятий и терминов

Среднее

Нечеткое использование профессиональных терминов и понятий

Высокое

Профессионально-грамотная лексика

2. Умение оперировать теоретическими знаниями (моделями), необходимыми для решения задачи.

Низкое

Использование общих понятий вместо профессиональных знаний

Среднее

Нечеткое знание теоретических основ своих практических действий

Высокое

Научное мышление, оперирование теориями, моделями. Четкое представление используемых теоретических моделей.

3. Умение взаимодействовать с внешними социальными институтами (системами).

Низкое

Затруднение обозначить социальные институты, к помощи которых может прибегнуть специалист.

Среднее

Называние социальных институтов, но нечеткое представление об их функциональных возможностях.

Высокое

Четкое знание функций социальных институтов и механизмов их использования.

4. Демонстрация личностных профессиональных ресурсов при решении проблемы

Низкая

Низкий уровень «присвоения» ситуации, неэмпатийность, отстраненность.

Средняя

Достаточный уровень «присвоения» ситуации, но отсутствие личностной устремленности к решению проблемы

Высокая

Высокий уровень понимания сути ситуации, демонстрация силы личности (инициативности) при решении проблемы в ситуации.

5. Технологическая грамотность при решении проблемы, изложенной в задании.

Низкая

Незнание технологии, замена профессиональных действий общежитейскими понятиями.

Средняя

Неточное знание технологии действия, эпизодический переход к общежитейским понятиям.

Высокая

Четкое знание технологии решения проблемы, приведенной в задании

6. Правовая грамотность при решении проблем

Низкая

Не знание законодательной базы, обеспечивающей действия социального педагога

Средняя

Неточное знание законодательной базы.

Высокая

Свободное владение законодательной базой при решении проблем.

На основании оценивания по предлагаемой системе шкал можно прогнозировать степень развития профессионального профиля специалиста (бакалавра) в сфере социально-педагогической деятельности. Проведение оценки развития профессиональных компетенций по шкалам у бакалавров третьего года обучения в Таганрогском институте имени А.П. Чехова (филиал РИНХ) показало, что наибольшие проблемы студенты демонстрируют в шкалах 3 – умение взаимодействовать с внешними социальными институтами (системами); 5 – технологическая грамотность при решении проблемы, изложенной в задании и 6 – правовая грамотность при решении проблем. Участие в социальном партнерстве с детским домом как раз позволяет студентам устранить пробелы в развитии данных профессионально значимых компетентностей.

20 стр., 9793 слов

Архитектура : Современные технологии производства строительных ...

... отходы (золу, шлаки, древесные и металлические отходы) для получения изделий различного назначения. При изготовлении строительных материалов используют также побочные продукты (песок, глину, щебень и ... сооружений требует, чтобы сырье для производства строительных материалов было массовым, дешевым и пригодным для изготовления широкого диапазона изделий. Таким требованиям отвечают многие виды нерудного ...

Наиболее распространенное средство педагогического измерения — педагогический тест. Педагогический тест — это совокупность заданий, отобранных на основе научных приемов для педагогического измерения в тех или иных целях.

Существует ряд требований к тесту организационного характера: тестирование осуществляется главным образом через программированный контроль. Никому не дается преимуществ, все отвечают на одни и те же вопросы в одних и тех же условиях; оценка результатов производится по заранее разработанной шкале; применяются необходимые меры, предотвращающие искажение результатов (списывание, подсказку) и утечку информации о содержании тестов.

При проведении тестирования учитываются три критерия качества теста: надежность, валидность, объективность.

Надежность — определение степени погрешностей в педагогической оценке, в вычислении истинною значения оценки. В последнее время получил распространение экспертный опрос, когда студента оценивают 2-3 и более преподавателей, и посредством коррелирования результатов появляется возможность надежности оценки

Валидность теста — соответствие форм и методов контроля его цели.

Задача качественной оценки знаний прежде всего зависит от ответа на вопрос: что такое знания? Моделирование образа идеального студента, знающего предмет, помогает подобрать соответствующий материал для контроля. Наиболее распространенные причины невалидности контроля — списывание, подсказка, репетиторское «натаскивание», снисходительность, чрезмерная требовательность, применение какого-либо метода при отсутствии надлежащих условий. В таких случаях результаты контроля неадекватны поставленным задачам. В целях повышения валидности педагогического контроля применяются экспертные оценки контрольного материала для приведения в соответствие требований учебной программы и концепции знания. Концепция знания может зависеть от статуса вуза, контингента обучаемых. Соответственно должен варьироваться и контрольный материал.

Объективность — критерий, в котором сочетаются надежность, валидность плюс ряд аспектов психологического, педагогического, этического, ценностного характера.

  1. Аванесов В. С. Современные методы обучения и контроля знаний: Учеб. пособие. — Владивосток, 1999.

  2. Бардовский Г. А., Нестеров А. А., Трапицин С. Ю. Управление качеством образовательного процесса. — СПб., 2001.

  3. Колисниченко Н. В. Тестовый педагогический контроль знаний. — М.: РАГС, 2008.

  4. Майоров А. Н. Теория и практика создания тестов для системы образования. — М.: Интеллект-центр, 2002.

  1. Майоров А. Н. Мониторинг в образовании. — 3-е изд. — М.: Интеллект-Центр, 2005 .