Метод экспертного опроса

Получение профессиографической информации с помощью опроса экспертов включает ряд обязательных этапов: 1) разработка профессиографической анкеты; 2) подбор экспертов; 3) организация и проведение опроса; 4) обработка и интерпретация результатов опроса.

На первом этапе при разработке вопросника для профессиографического интервью целесообразно придерживаться определенного алгоритма, а именно:

а) определение характера профессиографической информации, которую необходимо получить;

б) составление приблизительного ряда вопросов, которые должны быть заданы;

в) составление первого плана вопросника;

г) предварительная проверка этого плана путем пробного интервьюирования;

д) исправление вопросника и его окончательное редактирование.

Для достижения конкретных целей опроса могут применяться как открытые, так и закрытые вопросы.

Открытые вопросы предусматривают свободную форму ответов.

Содержательно вопросы экспертного опроса при профессиографическом исследовании могут нацеливаться на получение информации по разделам профессиограммы для специальности.

В настоящее время разработаны проверенные практикой правила формулирования вопросов и составления опросника. Основными из них являются следующие:

- при формулировании вопросов должен использоваться язык опрашиваемых, а не исследователей;

- вопросы должны быть лаконичными, конкретными, не двусмысленными;

- вопросы не должны содержать словесных формул, например: «Не кажется ли Вам…», «Не считаете ли Вы…» и др.;

- количество положительных и отрицательных ответов на вопросы должно быть примерно равным;

- вопросы следует располагать в последовательности, обеспечивающей постепенное возрастание их сложности и интереса опрашиваемых;

- необходимо стремиться всячески избегать «лобовых» вопросов.

В последующем, при пилотажной апробации вопросника следует получить ответы на вопросы: насколько легко понимается опрашиваемыми суть вопросов, не требуются ли для ответа на вопросы специальные качества (красноречие, наблюдательность, хорошая память и др.), нет ли опасности утомления опрашиваемых из-за большого количества вопросов, не возникнет ли у них желания угодить кому-либо при ответе на отдельные вопросы, играют ли какую-либо роль при ответах страх, престиж и др.

На втором этапе осуществляется тщательный подбор экспертов.

Принято подбирать для участия в опросе специалистов по социально-профессиональному и морально-психологическому критериям.

По социально-профессиональному критерию в состав экспертов приглашаются военнослужащие, являющиеся компетентными специалистами в подлежащей оценке деятельности (специальности). При отборе экспертов важно также учесть и морально-психологические качества эксперта (мотивация, независимость, устойчивость взглядов, принципиальность, искренность, свобода от предубеждений и предвзятости, способность работать в группе и др.).

Считается, что размер группы для оценки воинской специальности (деятельности) должен быть в пределах от 20 до 50 человек. В случае, если проводится преимущественно содержательно-психологический, а не статистический анализ результатов опроса, количество экспертов может быть меньшим (7-9 человек).

В войсковой и вузовской практике применяются несколько методических приемов отбора экспертов: документальный, экспериментальный, методы голосования и самооценки.

Документальный метод состоит в подборе экспертов по формальным социально-демографическим и иным характеристикам, исходя из документальных источников, прежде всего личных документов. Этот метод, имея очень низкие информационные свойства, применяется либо в комплексе с другими методами, либо в ситуациях, когда другие методы использовать нельзя.

Метод эксперимента применятся для отбора экспертов в виде анализа успешности предыдущей экспертной деятельности специалиста, а также в форме тестирования кандидатов в эксперты и их последующего ранжирования. При этом высший ранг получает специалист, результаты тестирования которого в наибольшей степени совпадают со средним результатом по группе протестированных экспертов.

Метод голосования как способ отбора экспертов имеет несколько вариантов: «исключение», «балльная оценка», «попарное сравнение», «снежный ком».

Вариант «исключение» состоит в вычеркивании кандидатами в эксперты тех, кто, по их мнению, в меньшей степени подходит для осуществления конкретной экспертной деятельности. К следующему этапу переходят те, кто набрал меньше голосов «против».

Вариант «балльная оценка» имеет обратную схему. Предпочтение отдается тем специалистам, которые были выше оценены в балльном исчислении своими коллегами.

Вариант «попарное сравнение» заключается в выборе большинством голосов одного из пары экспертов, случайным образом выделенных из группы. Затем происходит выбор из пары, в которой один из кандидатов уже получил предпочтение на предыдущем этапе, а другой – выделен случайным образом и т.д.

Вариант «снежный ком» реализуется в несколько туров. В первом туре выделяется несколько десятков специалистов, которым предлагается назвать своих кандидатов. В результате проведения таких подобных туров формируется предварительный список, из которого отбираются эксперты, наиболее часто упоминаемые коллегами.

Методы голосования, имея явные плюсы (возможность оценить большое количество кандидатов в относительно короткое время), содержат и минусы (влияние субъективизма в оценках участников отборочной процедуры).

Метод самооценки основывается на репрезентации кандидатом самого себя как будущего эксперта. Мировой и отечественный опыт свидетельствуе о том, что чем выше уровень ценности специалиста как эксперта, особенно в узко специальных отраслях знания, тем более адекватной является его самооценка.

На третьем этапе осуществляются практические процедуры оценки экспертами тех или иных сторон профессиональной деятельности (специальности).

На четвертом этапе проводится первичная обработка, а при необходимости и многомерный анализ результатов работы экспертов. При этом учитываются не только средние показатели оценок, но и их разброс.