1. Принципы.

К мониторингу должны предъявляться определенные требования, которые можно сформулировать в виде принципов.

Первый - объективность информации; сам процесс должен опираться на объективные данные, получаемые в ходе информационного обмена между учебными заведениями и органами управления образованием области. Запрашиваемые данные должны быть максимально формализованы и легко проверены. Информация, предоставляемая учебным заведениям, также должна быть конкретной и полезной для руководства ОУ.

Второй - сравнимость данных. Это требование обусловлено тем, что отслеживание результатов функционирования системы предполагает не только констатацию ее состояния, но и изучение изменений, которые в ней происходят. Возможность сравнения появляется только тогда, когда изучается один и тот же объект, на основе одинаковых эмпирических показателей.

Третий – адекватность; он предполагает изучение системы с учетом изменяющихся внешних условий (на соответствие им). Реализация этого принципа предполагает оценку влияния различных внешних факторов на работу учебного заведения. Такая оценка может быть осуществлена только на основе специально проведенных исследований.

Четвертый – прогностичность; имеется в виду получение данных, позволяющих прогнозировать будущее системы, возможные изменения в путях достижения поставленных целей. Этот принцип предполагает оценку возможных тенденций.

Можно добавить пятый принцип - целевого назначения, который предполагает получение необходимой и достаточной информации, исходя из обозначенной цели осуществляемой деятельности.

2.  Факторы и условия.

При проведении измерений в социальных системах, в том числе образовательных, результаты часто оказываются смещенными, искаженными, неверно или неточно отражающими реальное состояние дел. Ниже приведен перечень факторов, знание которых необходимо при организации мониторинга и анализе его результатов.

Они могут быть условно разбиты на четыре группы (по Г.П. Щедровицкому):

• контролируемые при проведении измерения;
• контролируемые при определенных условиях;
• неконтролируемые, но учитываемые;
• неконтролируемые и неучитываемые.

2.1. Качество инструментария - контролируемый при проведении эксперимента фактор. Общеметодологическими требованиями к инструменту остаются валидность, надежность, удобство использования, соответствие целям обследования, корректность статистических процедур, стандартизированность, апробированность и др.

2.2. Профессионализм и подготовленность специалистов. Это фактор, контролируемый при проведении обследования. Процесс измерения разбивается, как правило, на несколько этапов: создание инструментария, проведение измерения, интерпретация результатов, подготовка рекомендаций, которые могут быть реализованы разными специалистами.

2.3. Изменение экспертов в процессе измерения. Данный фактор относится к контролируемым при определенных условиях. Причина этих изменений - научение, появление опыта, согласование позиций, когда мнение одного более авторитетного эксперта начинает смещать оценки других.

2.4. Статистическая регрессия: вариант искажения результатов в процессе проведения обследования подробно описан Кэмпбеллом.

2.5. Цикличность. Социальные процессы носят ярко выраженный цикличный характер, поэтому, занимаясь социальными измерениями, необходимо учитывать и эти факторы.

2.6. Отбор испытуемых. Варианты отбора и формирование экспериментальных групп – несомненно, один из центральных факторов, контроль за которым позволяет не только выровнять оценки, но и решить проблему распространения результатов обследования на более широкую популяцию.

2.7. Значимость индикатора и его смещение. В том случае, если существует индикатор, значимый для испытуемых (и он им известен), указанный индикатор испытывает неосознанное или осознаваемое воздействие со стороны испытуемых и начинает смещаться.

2.8. Нарушение в информационных потоках. Проводя измерения в социальных системах, мы априори предполагаем, что объект измерения обладает какой то значимой информацией, специальное знакомство с которой при измерении не предполагается. Но может быть так, что часть этой информации отсутствует или владение ею недостаточно.

2.9. Различные мотивации участников в естественных условиях. При изучении социальных систем достаточно привлекательной выглядит возможность получения информации в естественных условиях. Однако часто оказывается, что одни и те же действия, реализуемые в ситуациях управления, осуществляются с неодинаковыми целями.

2.10. Эффект повторного измерения. Если какое-либо задание уже выполнялось, это ска­жется при его повторении. Вопрос том, при каких условиях мы можем считать такие влияния достаточно малыми с точки зрения их воздействия на конечный результат измерения.

2.11. Изменения группы под влиянием отношений окружающих, вызванных экспериментальным воздействием. Попадая в те или иные экспериментальные условия, люди начинают оценивать свое положение относительно тех, кто в такие условия не попал. Если эти оценки активно поддерживаются окружением и референтными окружающими, то у представителей этой группы начинает вырабатываться иная система оценивания.

2.12. Групповая фальсификация результатов. Методологии классического эксперимента знает ситуацию, когда респонденты договариваются, какие оценки будут давать. Эта достаточно редкая ситуация возникает, когда нет непосредственного личного взаимодействия между «объектом» измерения и тем, кто его проводит.

2.13. Изменение группы в процессе проведения эксперимента. Эти изменения могут носить как случайный, так и систематический характер. Они могут быть естественными и спровоцированными.

2.14. Естественное развитие. В процессе эксперимента происходит естественное развитие как всей группы, так и ее отдельных членов. Этот фактор наиболее важен для работы с образовательными системами, где динамика развития очень велика. Причем чем меньше дети, тем динамика их развития больше.

2.15. Социально-территориальные особенности групп. Выбирая, например, в качестве единицы измерения класс, чтобы не получить смещенных оценок и иметь возможность корректного сравнения, необходимо учитывать его социально-демографические характеристики.

2.16. Разные события для разных групп. Экспериментальные или сравнительные группы, отобранные для измерения, проживают собственную жизнь, наполненную событиями, определяющими процесс групповой динамики, и протекающую вне временной и территориальной зон эксперимента. Существует опасность, что различные воздействия в межэксперментальный период вызовут различные смещения оценок.

2.17. Различия во внутренней жизни групп. Кроме внешних событий, которые могут оказать существенное влияние на результаты, существует и объективные закономерности жизни группы, связанные с ее морфологией и определяющие качественные изменения, различные в каждом конкретном случае.

2.18. Различия в скорости протекания внутригрупповых процессов. Экспериментальное или управленческое воздействия на ту или иную группу могут дать одинаковый эффект. В одних группах он может проявиться быстро, и, соответственно, его можно зафиксировать. Другие группы преодолевают достаточно длительный период адаптации, прежде чем появится эффект, на который рассчитывали инициаторы воздействия. Существует реальная опасность зафиксировать отсутствие эффекта, хотя он еще просто не проявился.

2.19. Условия, вызывающие реакцию на эксперимент. Реальные изменения, наблюдаемые в условиях и вне эксперимента, могут оказаться неэквивалентными.

2.20. Интерференция воздействий возникает, когда один и тот же испытуемый подвергается различным воздействиям, разнесенным по времени.

2.21. Синергизм. В случае совместного проявления некоторых воздействий, одно из которых может носить естественный, а другое экспериментальный (отслеживаемый) характер, эффект может значительно превзойти предполагаемые и вероятные эффекты каждого из них. При этом существует опасность восприятия эксперимента как неудавшегося, поиск ошибок или третьего воздействия.