Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее, мы, менеджеры, экономисты, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?
Бесспорно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"
Другой простейший пример экспертных оценок - оценка номеров в КВН.
Задавайте вопросы нашему консультанту, он ждет вас внизу экрана и всегда онлайн специально для Вас. Не стесняемся, мы работаем совершенно бесплатно!!!
Также оказываем консультации по телефону: 8 (800) 600-76-83, звонок по России бесплатный!
Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).
В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.
Экспертные оценки часто используются при выборе, например:
- одного варианта технического устройства для запуска в серию из нескольких образцов,
- группы космонавтов из многих претендентов,
- набора проектов научно-исследовательских работ для финансирования из массы заявок,
- получателей экологических кредитов из многих желающих,
- при выборе инвестиционных проектов для реализации среди представленных, и т.д.
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).
Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики.
Один из наиболее известных методов экспертных оценок - это метод "Дельфи". Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.
В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.
Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.
Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый, прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.
Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.
Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.
Возможность подобной декомпозиции не очевидна.
При применении метода сценариев необходимо осуществить два этапа исследования:
- построение исчерпывающего, но обозримого набора сценариев;
- прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.
Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.
Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.
Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.
Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.
Еще один вариант экспертного оценивания - мозговой штурм. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.
Основные стадии экспертного опроса. Более подробно рассмотрим отдельные этапы экспертного исследования.
Как показывает опыт, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса:
1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР.
2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.
3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.
4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя, прежде всего конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1-2%.
5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования.
6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.
7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.
8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.
9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.
10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.
11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.
Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты - таково и качество заключения экспертной комиссии.
Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем обсуждать проблему существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.
В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.
Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, лиц из этого же "клана". Мнения и аргументы других "кланов" будут упущены. (Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше "кланами", и общение идет в основном внутри "кланов". Неформальная структура науки, к которой относятся "кланы", достаточно сложна для изучения. Отметим здесь, что "кланы" обычно образуются на основе крупных формальных центров (вузов, научных институтов), научных школ.)
Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.
Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.
Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Необходимо подчеркнуть, что подбор экспертов – одна из основных функций Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может, как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.
В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред.
Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.
Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.
ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР. Тогда Рабочая группа должна собрать, возможно, больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.
ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства.
При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.
Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в академическом Институте проблем управления (автоматики и телемеханики)).
Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).
Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных). Группы экспертов с близкими методами можно выделить эконометрическими методами кластер-анализа.
МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.
ДОГМА ОДНОМЕРНОСТИ. В устаревшей, а иногда и в современной научно-технической литературе распространен довольно спорный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом. Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости". Практически все реальные объекты достаточно сложны, а потому сколько-нибудь точно описать их можно лишь с помощью многих и многих чисел, а также математических объектов нечисловой природы.
Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных. Так, каждый объект можно оценивать по многим показателям качества.
Например, легковой автомобиль можно оценивать по таким показателям:
- расход бензина на 100 км пути (в среднем);
- надежность (в том числе средняя стоимость ремонта за год);
- экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;
- маневренность (в том числе радиус поворота);
- быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;
- длительность сохранения в салоне положительной температуры при низкой наружной температуре (например, минус пятьдесят градусов по Цельсию) и выключенном двигателе;
- дизайн (привлекательность и "модность" внешнего вида и отделки салона);
- вес, и т.д.
Можно ли свести оценки по этим показателям вместе? Ясно, что определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных служб государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.
Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.
В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.
Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...
ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три...) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.
Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.
ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе. Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то, или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место.
При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут беседовать, а лейтенанты - помалкивать. При этом вполне очевидно, что лейтенанты получили образование позже генералов, а потому обладают полезной информацией, которой нет у генералов.
КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов ГАК - государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК - с весом 1, мнения всех остальных - с весом 0 (совещательный голос). Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.
Анализ метода экспертных оценок
Задачи прогнозирования, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возможных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.
Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проблемной ситуации. Наличие обратной связи позволяет концентрировать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, искусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оценку вариантов, не ограничивая при этом их числа.
Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей.
Работа с методом «мозговой атаки» предполагает реализацию следующих шести этапов:
Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная численность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников присвоением ему номера с последующим обращением к участнику по номеру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обязательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладающие высоким уровнем общей эрудиции и понимающие смысл проблемной ситуации.
Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проблемной ситуации и включает описание этого метода и описание проблемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причины возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гиперболизировать последствия, с тем, чтобы острее ощущалась необходимость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуации, формулировку проблемной ситуации в виде центрального вопроса с иерархией подвопросов.
Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки.
Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки:
1) высказывания участников должны быть четкими и сжатыми;
2) скептические замечания и критика предыдущих выступлений не допускаются;
3) каждый из участников имеет право выступать много раз, но не подряд;
4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее.
Пересказывая содержание проблемной ситуации, ведущий концентрирует внимание участников на основном вопросе. Свое выступление ведущий должен строить таким образом, чтобы пробудить психологическую восприимчивость участников, заставить их почувствовать потребность сделать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблемной ситуации.
Активная деятельность ведущего предполагается только в начале «мозговой атаки». После того как участники достаточно возбудились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глубже охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний.
Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:
- сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;
- не объявлять ложной, не осуждать и не прекращать исследование ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;
- приветствовать усовершенствование или комбинацию идей, предоставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;
- оказывать поддержку и поощрение участникам, столь необходимые для того, чтобы освободить их от скованности;
- создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.
Продолжительность мозгового штурма рекомендуется не менее 20 минут и не более 1 часа в зависимости от активности участников. Целесообразно вести запись высказываемых идей.
Четвертый этап - систематизация идей, высказанных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комплексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным признакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к частным, дополняющим или развивающим более общие идеи).
Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каждая из них подвергается всесторонней критике со стороны участников мозговой атаки).
Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают доводы, опровергающие систематизированную идею. Особенно ценным является то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая предложение о возможности снятия этих ограничений.
Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, численность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магнитофон.
Шестой этап - оценка критических замечаний и составление списка практически применимых идей.
Реализацию этапа осуществляет группа анализа проблемной ситуации:
1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.
2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья – показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.
3. Оценивается каждое критическое замечание и контридея:
а) вычеркивается из таблицы, если опровергается, хотя бы одним показателем практической применимости;
б) не вычеркивается, если оно не опровергается ни одним показателем.
4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.
Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь компромиссов, когда единое мнение нельзя считать результатом беспристрастного анализа проблемы.
Дельфийский метод. В последние два десятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мнения. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.
Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.
Метод «Дельфи» позволяет обобщать мнения отдельных экспертов в согласованное групповое мнение. Ему присущи все недостатки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность прогнозирования.
Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экспертов.
К таким особенностям относятся:
а) анонимность экспертов;
б) использование результатов предыдущего тура опроса;
в) статистическая характеристика группового ответа.
Анонимность заключается в том, что в ходе проведения процедуры экспертной оценки прогнозируемого явления, объекта участники экспертной группы неизвестны друг другу. При этом взаимодействие членов группы при заполнении анкет, полностью устраняется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.
Использование результатов предыдущего тура опроса заключается в следующем: поскольку групповое взаимодействие осуществляется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извлекает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функционирования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возможность группе специалистов концентрировать свои усилия на первоначальных задачах, а не предполагать каждый раз что-то новое.
Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зрения, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени различия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характеристики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квартилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оценки которого одной половиной членов группы были больше этого числа, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.
Метод «Дельфи» осуществим и эффективен при получении преимуществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство трудностей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.
В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество связанных и переходящих друг в друга путей развития.
Представив прогноз научно-технических сдвигов как Д1, Д2, …, Дn, а соответствующие им вероятности как Р1, Р2, …, Рn и полагая Р1=100% , находят изменения значений Р2, …, Рi, …, Рn.
При введении перекрестной корреляции значения каждого события за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего соответствия модели реальным условиям в модель могут быть введены элементы случайности.
Сущность методов экспертных оценок для разработки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).
Содержание методов экспертных оценок заключается в следующем:
I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данной отрасли. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек, в зависимости от сложности объекта.
II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, необходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и средства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели. При этом направления научных исследований и разработок не должны пересекаться друг с другом.
III. Разработка анкеты. Заключается в разработке вопросов, которые будут предложены экспертам. Форма вопроса может быть разработана в виде таблиц, но содержание их должно определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структурно-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.
При проведении опроса экспертов необходимо обеспечить однозначность понимания отдельных вопросов, а также независимость суждений экспертов.
IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экспертных оценок, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.
Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:
1) метод простой ранжировки (или метод предпочтения);
2) метод задания весовых коэффициентов;
3) метод парных сравнений;
4) метод последовательных сравнений.
Экспертный метод оценки рисков
При данном методе предполагаются сбор и изучение оценок, сделанных различными специалистами (данного предприятия или внешними экспертами), касающихся вероятности возникновения различных уровней потерь. Оценки базируются на учете всех факторов финансового риска, а также на статистических данных. Реализация способа экспертных оценок значительно осложняется, если количество показателей оценки невелико.
Вариантный и вероятный характер многих процессов проектов повышает роль экспертных оценок при определении экономических и финансовых показателей. Такие оценки употребляются достаточно регулярно как в отечественной, так и в зарубежной практике. В переходный период роль экспертных заключений при определении соответствующих показателей существенно возрастает, поскольку используемые для расчета показатели не являются директивными. Соответствующая экспертная оценка может быть получена как после проведения специальных исследований, так и при использовании накопленного опыта ведущих специалистов. Возрастание риска при осуществлении проекта требует более тщательной оценки критических моментов его реализации. Множество исходных показателей, часто конкурирующих между собой, предполагает использование экспертных оценок для конструирования критерия качества проекта. Поэтому система оценки инвестиций в современных условиях в силу необходимости становится «человеко-алгоритмической», причем роль человека-эксперта является определяющей. Экспертная оценка — это выявленное по специальной методике мнение экспертов по определенному вопросу. Экспертная оценка необходима для принятия решения на этапе подготовки ПТЭО. Но уже в ТЭО количество экспертных оценок должно быть минимальным. Постадийная оценка рисков основана на том, что риски определяются для каждой стадии проекта отдельно, а затем находится суммарный результат по всему проекту.
Обычно в каждом проекте выделяются стадии:
- подготовительная (выполнение всего комплекса работ, необходимых для начала реализации проекта);
- строительная (возведение необходимых зданий и сооружений, закупка и монтаж оборудования);
- функционирования (вывод проекта на полную мощность и получение прибыли).
Характер инвестиционного проекта как чего-то совершаемого в индивидуальном порядке по существу оставляет единственную возможность для оценки значений рисков — использование мнений экспертов. Каждому эксперту, работающему отдельно, представляется перечень первичных рисков по всем стадиям проекта и предлагается оценить вероятность наступления рисков в соответствии со следующей системой оценок:
0 — риск рассматривается как несущественный;
25 — риск скорее всего не реализуется;
50 — о наступлении события ничего определенного сказать нельзя;
75 — риск вероятнее всего проявится;
100 — риск реализуется.
Оценки экспертов подвергаются анализу на непротиворечивость, который выполняется по определенным правилам. Во-первых, максимально допустимая разница между оценками двух экспертов по любому фактору не должна превышать 50. Сравнения проводятся по модулю (знак плюс или минус не учитывается), что позволяет устранить недопустимые различия в оценках экспертами вероятности наступления отдельного риска. Если количество экспертов больше трех, то оценкам подвергаются попарно сравнимые мнения. Во-вторых, для оценки согласованности мнений экспертов по всему набору рисков выявляется пара экспертов, мнения которых наиболее сильно расходятся. Для расчетов расхождения оценки суммируются по модулю и результат делится на число простых рисков. Частное от деления не должно превышать 25. В случае обнаружения между мнениями экспертов противоречий (не выполняется хотя бы одно из приведенных правил) они обсуждаются на совещаниях с экспертами. При отсутствии противоречий все оценки экспертов сводятся в среднюю (среднеарифметическую), которая используется в дальнейших расчетах. Отдельную проблему представляют обоснование и оценки приоритетов. Суть ее состоит в необходимости освободить экспертов, дающих оценку вероятности риска, от оценки важности каждого отдельного события для всего проекта. Эту работу должны выполнять разработчики проекта, а именно та команда, которая готовит перечень рисков, подлежащих оценке. Задача экспертов состоит в том, чтобы дать оценку рисков. После определения вероятностей по простым рискам (получения средней экспертной оценки) необходимо получение интегральной оценки риска всего проекта. Для этого сначала рассчитываются риски каждой подстадии или композиции стадий: функционирования, финансово-экономической, технологической, социальной и экологической. Затем рассчитываются риски каждой стадии — подготовительной, строительной, функционирования.
Еще один важный метод исследования риска — моделирование задачи выбора с помощью «дерева решений». Данный метод предполагает графическое построение вариантов решений, которые могут быть приняты. По ветвям «дерева» соотносят субъективные и объективные оценки возможных событий. Следуя вдоль построенных ветвей и используя специальные методики расчета вероятностей, оценивают каждый путь и затем выбирают менее рискованный.
Экспертные методы оценки качества
"Эксперт" — это специалист, компетентный в решении данной задачи (от латинского слава "expertus" — опытный). Компетентность эксперта в отношении объекта исследования — профессиональная компетентность, а в отношении методологии принятия экспертного решения исследуемой задачи — это экспертная компетентность. Эксперт должен быть беспристрастным и объективным при оценке объекта исследования.
Экспертный метод решения задач основан на использовании обобщенного опыта и интуиции специалистов-экспертов. Экспертный метод оценки уровня качества технической продукции используется в тех случаях, когда невозможно или очень затруднительно применить методы объективного определения значений единичных или комплексных показателей качества такими методами как инструментальный, эмпирический или расчетный.
Экспертный метод (или экспертный способ, т.е. метод экспертных оценок) является совокупностью нескольких различных методов, которые представляют собой разновидности, модификации метода экспертиз. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. — все это решения, принимаемые экспертными методами.
Экспертные методы оценки качества продукции могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества чего-либо.
Следовательно, экспертные методы применяются:
- при общей (обобщенной) оценки качества продукции;
- при классификации оцениваемой продукции;
- при определении номенклатуры показателей качества оцениваемой продукции;
- при определении коэффициентов весомости показателей качества продукции;
- при оценки показателей качества продукции органолептическим методом;
- при выборе базовых образцов и безразмерных значений базовых показателей качества;
- при определении итогового комплексного показателя качества на основе совокупности единичных и комплексных (обобщенных и групповых) показателей;
- при аттестации продукции и сертификации.
Экспертный метод оценки уровня качества продукции не может быть использован, если качество можно оценить другими аналитическими или экспериментальными методами с большей точностью или с меньшими затратами.
Результаты общей экспертной оценки такого сложного комплекса свойств, каким является качество продукции, имеют элементы неопределенности и необоснованности. Поэтому экспертная оценка качества продукции в целом является предварительной, ненасыщенной информационно и только в первом приближении, ориентировочно характеризует качество оцениваемого изделия. На основе такой экспертной оценки качества, очевидно, нет возможности принимать какие-либо инженерно-технические решения. Этот метод может, например, использоваться при коммерческих сделках, когда нет конкретных (численно выраженных) сведений об уровне качества приобретаемой продукции и т.п.
Однако следует отметить, что экспертный метод для оценки многих показателей качества технической и другой продукции является единственно возможным, применяется достаточно широко и для этого разработаны соответствующие методики.
Объектом экспертизы (экспертных оценок) в нашем случае являются потребительские свойства в их совокупности, т.е. качество.
Критерии, по которым осуществляется экспертиза качества, подразделяются на общие и конкретные.
К общим критериям относятся сложившиеся в обществе ценностные ориентиры, представления и нормы. Конкретные критерии для эксперта — это реальные требования к качеству продукции данного вида, установленные в нормативно-технических и других обязательных для исполнения документах. В форме конкретных критериев выступает также комплекс базовых значений показателей качества, характеризующих планируемую или проектируемую продукцию. Характеристики реально существующих высококачественных изделий, изготавливаемых в стране или за рубежом, тоже являются конкретными критериями для экспертов.
С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертизу осуществляют путем принятия группового решения компетентными людьми. Для оценки уровня качества продукции создается экспертная комиссия, состоящая из экспертной и рабочей групп.
В экспертную группу включаются высококвалифицированные и специально подготовленные работники в области создания и функционирования оцениваемой продукции: исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от семи до двадцати человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.
Экспертная группа (комиссия) пользуется экспертным способом получения информации о показателях качества оцениваемой продукции. При этом экспертная группа может принимать решения на основе усреднения оценок экспертов или проводя голосования экспертов (метод "комиссий"). С целью уменьшения субъективности в экспертном методе рекомендуется проводить несколько туров опросов экспериментов.
Экспертный метод "комиссий" заключается в том, что в нем используется как бы голосование. Сначала эксперты выставляют оценки независимо друг от друга. Потом, после открытого обсуждения выставленных оценок, эксперты вновь независимо друг от друга дают оценки каждому параметру качества. Впоследствии по скорректированным индивидуальным оценкам рассчитывают экспертную оценку. Эту работу проводит рабочая группа экспертной комиссии. Кроме того, рабочая группа организует процедуру опроса экспертов, анализирует полученные результаты и составляет заключение экспертной комиссии.
Желательно, чтобы для оценок однотипной продукции экспертная комиссия формировалась из постоянных экспертов и членов рабочей группы. Это связано с тем, что в процессе работы относительно постоянной комиссии накапливается опыт работы, происходит обучение ее членов, вырабатываются общие подходы и принципы, а это повышает эффективность работы экспертной комиссии.
Перечень и последовательность основных этапов работы экспертной комиссии состоит в следующем:
- назначение лиц, ответственных за организацию и проведение работ по экспертной оценке качества продукции;
- формирование экспертной и рабочей групп;
- разработка классификации и определение номенклатуры показателей качества оцениваемой продукции;
- подготовка анкет и пояснительных записок для опроса экспертов;
- оценка и опрос экспертов;
- обработка экспертных оценок;
- анализ и оформление результатов экспертной оценки качества (или показателей качества) продукции.
В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы.
Комплексная экспертиза проводится для всестороннего изучения и оценки качества групп однородных изделий, выпускаемых промышленностью серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке продукции. При комплексной экспертизе получают не только более полную характеристику оцениваемого объекта, но и определенный научный, методический и нормативный материал, используемый при проведении других видов экспертизы.
Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.
При экспертном методе оценку уровня качества или показателя того или иного свойства продукции определяют в безразмерных единицах.
В случае, если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем:
Все объекты оценки (изделия, свойства) нумеруются произвольно.
Эксперты ранжируют объекты по шкале порядка.
Ранжированные ряды объектов, составленные экспертами, сопоставляются.
Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до т (т — количество оцениваемых объектов).
Определяются суммы рангов каждого из объектов экспертной оценки.
На основании полученных сумм рангов строят обобщенный ранжированный ряд.
Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е. коэффициенты их весомости, рассчитываются по формуле по специальной формуле.
Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.
Если же ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.
Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый j-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении j-й объект признается качественнее j-го, то это обозначается цифрой 1, противоположная оценка обозначается —1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).
Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних объектов над другими, т.е. рассчитывается экспертный показатель качества объекта в виде его частоты предпочтений.
При этом показатели качества объектов, оцененные экспертным методом, выражены в количественной форме. По усредненным значениям показателей весомости можно судить, на сколько один объект качественнее другого. Повысить точность экспертных оценок (измерений) показателей качества можно, если произвести двукратное сопоставление и оценку объектов, т.е. сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С = т{т—1). В остальном методика расчетов показателей качества не изменяется.
При экспертизе качества продукции наиболее часто используют балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.
Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества обычно используют пяти-, семи- или десятибалльную шкалы.
Обобщенный показатель качества, определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами.
Если при экспертизе качества оценку (опрос) проводят в несколько туров, то в этом случае значение показателя качества определяют как среднеарифметическое значение оценок, полученных в каждом туре опроса экспертов по выражению:
Экспертным методом часто пользуются при выборе техники, представленной несколькими предприятиями на тендерные конкурсы (торги).
Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается (пишется) математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений.
При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации.
Существует так называемый социологический метод оценки качества продукции. Этот метод, как и экспертный, основан на опросах, на мнениях, но не специальных экспертов, а различных потребителей оцениваемой продукции. Поэтому социологический метод считается разновидностью экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей продукции. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т.п.
Методы коллективных экспертных оценок
Методы коллективных экспертных оценок включают: метод коллективной генерации идей, метод Дельфи, метод экспертных комиссий и др.
Метод коллективной генерации идей («мозговой атаки», «мозгового штурма») представляет собой способ получения прогнозных оценок в ходе совместного обсуждения как результата коллективного творчества людей. Он включает два элемента: выявление вероятностных вариантов развития объекта прогнозирования и их оценку.
Следует выделить шесть главных правил проведения «мозговой атаки»:
1. Запрещается всякая критика предлагаемых идей на начальных этапах.
2. Время одного выступления ограничено (1-2 минуты).
3. Допустимы многократные выступления одного и того же участника.
4. Приоритет выступления имеет эксперт, развивающий мысль предыдущего высказывающего.
5. Обязательная фиксация всех высказанных идей.
6. Оценка идей, выдвинутых на предыдущих этапах.
Метода «мозговой атаки» реализуется шесть этапов:
1 этап - формирование группы участников «мозговой атаки» (по численности и составу). Число участников может быть различным в зависимости от сложности объекта прогнозирования. Опыт показывает, что наиболее продуктивны группы в 10-15 человек. Группа участников может состоять из лиц одного ранга, если участники знают друг друга, и из лиц разного ранга, если участники не знакомы. Специализация участников в области объекта прогнозирования необязательна, даже рекомендуется на первом этапе привлекать специалистов из разных областей знаний, разбирающихся в вопросах объекта прогнозирования.
2 этап - составление проблемной записки. Проблемная записка составляется рабочей группой (организаторами опроса) и содержит два описания: описание самого метода «мозговой атаки», его правил, приемов; описание проблемной ситуации, которое содержит раскрытие причин возникновения проблемы, их анализ, возможные последствия проблемной ситуации, анализ мирового опыта решения проблемы (если он имеется), некоторые статистические показатели, характеризующие объект прогнозирования, раскрытие целей, которые преследуют организаторы опроса.
3 этап – генерация идей или непосредственно опрос экспертов. Этот этап начинается с того, что ведущий раскрывает содержание проблемной записки, концентрирует внимание экспертов на решаемых вопросах, на правилах проведения метода. Активная роль ведущего предполагается только в начале 3 этапа. После подъема активности участников процесс выдвижения идей идет спонтанно. Третий тур по времени должен занимать от 20 минут до 1 часа в зависимости от активности экспертов. Целесообразно записывать все высказывания.
4 этап - систематизация идей, высказанных на третьем этапе.
Последовательность:
а) составляется номенклатурный перечень всех высказанных идей;
б) определяются дублирующие и дополняющие идеи, которые объединяются и формулируются в виде одной комплексной идеи;
в) составляется перечень идей по группам.
В каждой группе идеи располагаются от более общих к частным. Это делается рабочей группой (организатором опроса).
5 этап - деструирование (разрушение, критика) систематизированных идей. На этом этапе состав экспертов меняется, рекомендуется оставить небольшое число лиц (5-8 человек), наиболее высококвалифицированных в рассматриваемой области. Экспертам сообщаются результаты четвертого этапа и предлагается высказаться с критическими замечаниями по вопросу практической реализации высказанных идей. Наиболее ценными на данном этапе являются контридеи, высказанные вслед за проведенной критикой. Рекомендации по продолжительности пятого тура - не более 1,5 часов. Данный этап продолжается, пока каждая из систематизированных групп идей не подвергнется критике.
6 этап – оценка критических замечаний и составление списка практически приемлемых идей. Рабочая группа отбирает те идеи, которые не подверглись критике на пятом этапе, или наиболее интересные контридеи, которые и закладываются в основу разработки прогноза.
Достоинствами этого метода являются возможность получения результата за короткий промежуток времени и возможность вовлечения в творческий процесс одновременно большого количества экспертов.
Метод Дельфи - один из наиболее распространенных интуитивных методов прогнозирования. Он был разработан в 1963 г. американской корпорацией «Рэнд» и использован впервые для построения прогноза числа изобретений в различных отраслях науки к 2010 г. В России он начал применятся с 70-х годов.
Метод Дельфи позволяет обобщить мнения экспертов и сформулировать единое групповое мнение. Оценка будущего развития получается в форме ответов на вопросы, задаваемые участникам по несколько раз.
Этот метод имеет три особенности:
а) анонимность экспертов, т.е. участники не знакомы, а если знакомы, то не знают, что они участники;
б) многотуровая процедура опроса экспертов посредством их анкетирования;
в) использование результатов предыдущего тура.
В результате обработки анкет экспертов организаторами формулируется коллективное мнение. Эта информация сообщается экспертам, их просят переосмыслить свои высказывания и в случае несогласия объяснить причины этого. Данная процедура повторяется 3-4 раза, в результате чего организаторы добиваются сужения диапазона экспертных заключений. Статистическая характеристика группового ответа заключается в том, что организаторы составляют прогноз, содержащий точку зрения большинства экспертов.
Американская практика показала, что организация и процедура проведения прогнозов с помощью МД обходится инициаторам в 50% случаев до 5000 долларов, известны случаи и до 100000 долларов. Общее время реализации процедуры составило в 75% случае от 6 до 8 месяцев.
Этапы (туры) метода Дельфи:
1) определяется коллектив экспертов, им рассылается первый вариант вопросов в специально составленных анкетах;
2) после сбора и получения анкет выделяются те варианты, за которые высказалось большинство. Организаторы оценивают в балльной системе варианты по определенной схеме;
3) все участники получают результаты второго тура, и их просят подумать над вопросом и, если сочтут нужным, поменять свое мнение (выдается анкета другого вида);
4) организаторы собирают анкеты и обрабатывают их. Экспертам вновь выдаются анкеты с тем же вопросом по форме 3-го тура. Задача организаторов - добиться сужения диапазона высказываний экспертов, чтобы четко выделить одно, за которое проголосует большинство. Количество туров может быть 5-6, если оценки экспертов не меняются, то опрос прекращается.
Данный метод имеет следующие недостатки: невозможно учесть влияние, оказываемое организаторами на экспертов при составлении анкет; велики затраты времени и средств.
Метод экспертных комиссий основан на открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Дискуссия происходит за круглым столом, рекомендуемое число участников 15-20 человек. Для получения оценки данным методом создается рабочая группа, которая осуществляет назначение экспертов, проведение опроса, обработку материалов, анализ результатов коллективной экспертной оценки.
В процессе работы уточняются основные направления развития объекта, составляется матрица, отражающая генеральную цель, подцели и средства их достижения, т.е. направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели.
Далее разрабатываются вопросы для экспертов, содержание которых определяется спецификой прогнозируемого объекта. Опрос экспертов и статистическая обработка материалов характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Полученные данные служат исходной базой для синтеза прогнозных гипотез и вариантов развития исследуемого явления или процесса. Результат представляет собой совокупность оценок относительной важности, назначенных экспертами для каждого из оцениваемых направлений исследования, и разработок, выражающихся в баллах и принимающих значения от 0 до 1, от 0 до 10, от 0 до 100 и т.д. Эти оценки по определенному вопросу сводятся в таблицы, строки которой соответствуют направлениям исследования, а столбцы – порядковым номерам экспертов.
Достоинство метода экспертных комиссий заключается в возможности роста информированности экспертов, так как при обсуждении они обмениваются точками зрения, что благоприятно влияет на точность прогноза.
К недостаткам можно отнести следующие факторы:
1) группа экспертов в своих суждениях руководствуется логикой компромисса;
2) отсутствие анонимности может привести к тому, что эксперты присоединят свои голоса к более компетентным, авторитетным лицам при своем отличном мнении и в итоге дискуссия может свестись к полемике авторитетов;
3) существенным фактором при выработке коллективного мнения может стать активность некоторых экспертов, которые не являются наиболее компетентными;
4) в результате отсутствия анонимности некоторые эксперты могут не пожелать изменять свое мнение в результате того, что они его уже высказали публично, хотя большинству удалось их переубедить.
Группа методов коллективных экспертных оценок основана на том, что при коллективном мышлении, во-первых, выше точность результата и, во-вторых, при обработке индивидуальных независимых оценок, выносимых экспертами, могут возникнуть продуктивные идеи.
Применение методов экспертных оценок
Область применения метода экспертных оценок весьма широка.
Перечислим типовые задачи, решаемые методом экспертных оценок:
1) составление перечня возможных событий в различных областях за определенный промежуток времени;
2) определение наиболее вероятных интервалов времени свершения совокупности событий;
3) определение целей и задач управления с упорядочением их по степени важности;
4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;
5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;
6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.
Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.
Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.
Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.
При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.
Достоинства метода экспертных оценок
Современная экономическая система предъявляет все более новые и более высокие требования к управлению. Совершенствование методов управления имеет большое значение для роста эффективности народного хозяйства.
Важным фактором повышения уровня управления является использование при подготовке решений математических методов и моделей. Однако использование данных методов при решении экономических задач часто является невозможным вследствие их сложности и качественной новизны. Поэтому более широкое распространение получил метод экспертных оценок.
Метод экспертных оценок – это сбор информации, ее анализ на основе логических и математико-статистических методов и приемов с целью получения необходимой информации для подготовки и выбора рациональных решений.
Этот метод применяют тогда, когда необходимо выбрать решение, которое не может быть определено на основе точных расчетов. Такие ситуации часто возникают в разработках современных проблем управления производством и, главное, при прогнозировании и долгосрочном планировании.
Метод экспертных оценок используют в:
а) социально-политическом прогнозировании;
б) научно-техническом прогнозировании;
в) планировании народного хозяйства;
г) разработке крупных экономических, политических и социальных программ.
В современном обществе к процессу управления предъявляется требование качества принимаемых решений. А данный метод обеспечивает активное и целенаправленное участие специалистов на каждом этапе принятия решений, что позволяет повысить их качество и эффективность.
Для получения конечного результата (экспертных оценок) используют анкетные методы и методы групповой экспертизы.
Достоинствами этих методов являются:
1) простота организации;
2) использование статистической обработки;
3) возможность охвата больших групп.
Основные методы экспертных оценок
Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов.
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.
Индивидуальные экспертные оценки основаны на использовании мнений экспертов-специалистов соответствующего профиля. Среди индивидуальных экспертных оценок наиболее широкое распространение получили методы интервью, аналитический, написания сценария.
Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос—ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.
Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода — возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.
Метод написания сценария следует отнести как к индивидуальным, так и к коллективным экспертным оценкам. Его сущность и основные характеристики будут раскрыты ниже.
Наиболее достоверными являются коллективные экспертные оценки. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами. В современных условиях используется математико-статистический инструментарий для обработки результатов опроса экспертов. Например, для оценки степени согласованности мнений экспертов по решению той или иной исследуемой проблемы исчисляются: дисперсия оценок, среднеквадратическое отклонение оценок и на этой основе — коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.
Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек в зависимости от сложности объекта. Определяется цель прогноза, разрабатываются вопросы для экспертов. При проведении опроса необходимо обеспечить однозначность понимания отдельных вопросов и независимость суждений экспертов. После опроса осуществляется обработка материалов, полученных в результате коллективной экспертной оценки. Окончательная оценка может определяться как среднее суждение или как среднее арифметическое значение оценок всех экспертов.
Также могут использоваться и другие подходы. При разработке, научно-технических прогнозов методика статистической обработки материалов предусматривает использование совокупности оценок относительной важности, сделанных экспертами по каждому из оцениваемых направлений научных исследований. Оценки важности выражается в баллах и могут принимать значения от 0 до 1, от 0 о 10, от 0 до 100 и т.д.
В мировой практике широкое применение нашли такие методы коллективных экспертных оценок, как метод коллективной генерации идей, метод 635, метод Дельфи, метод "комиссий", метод написания сценария. Рассмотрим сущность перечисленных методов.
Суть метода коллективной генерации идей («мозговой атаки») состоит в использовании творческого потенциала специалистов при "мозговой атаке" проблемной ситуации, реализующей вначале генерацию идей, а затем их деструктурирование (разрушение, критику) с выдвижением контр-идей и выработкой согласованной точки зрения. Этот метод был разработан американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера Хинду во время своих собраний: запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже.
Метод коллективной генерации идей предполагает реализацию следующих этапов. Первый этап связан с формированием группы участников мозговой атаки по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек. На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. Третий этап — этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, тем самым освобождая участников от скованности. Продолжительность «мозговой атаки" — не менее 20 мин и не более 1 ч в зависимости от активности участников. Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. Группа состоит из 20—25 человек. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования.
Метод «635» — одна из разновидностей мозговой атаки. Цифры б, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.
Метод Делъфи — одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании, предпринятая Т. Гордоном и О. Хелмером — сотрудниками одной из корпораций США, которые в 1964 г. опубликовали результаты обобщения и статистической обработки мнений специалистов относительно перспектив развития в ряде областей науки. Он используется при прогнозировании развития науки и техники, инвестиций и других аспектов.
Цель метода Дельфи — разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3—4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.
Особенности метода Дельфи:
а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы;
при заполнении анкет полностью исключается);
б) возможность использования результатов предыдущего
тура опроса;
в) статистическая характеристика группового мнения.
Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.
Метод комиссий — один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.
Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы: от каких простейших форм к более сложным должен пройти этот процесс; как он повлияет на национальное хозяйство и экономические связи стран; каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.
Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.
Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период. Он обычно носит многовариантный характер и освещает три линии поведения: оптимистическую — развитие системы в наиболее благоприятной ситуации; пессимистическую — развитие системы в наименее благоприятной ситуации; рабочую — развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.
Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.
При анализе и прогнозе систем широко используются прогнозный граф и дерево целей. Графом называют фигуру, состоящую из точек-вершин, соединенных отрезками-ребрами. Дерево целей — это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей.
Дерево целей предполагает выделение нескольких структурных или иерархических уровней. Каждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.
Построение дерева целей требует решения многих прогнозных задач: прогноза развития объекта в целом; формулировки сценария прогнозируемой цели, уровней и вершин "дерева целей"; критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.
Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод морфологического анализа включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу «морфологического ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике», взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.
Метод Дельфи метод экспертных оценок
Другие названия метода: "Дельфийский метод", "Метод дельфийского оракула".
Авторы метода: О. Холмер, Т. Гордон и др. (США), 50-е годы XX в.
Назначение метода:
Применяется на этапах формулирования проблемы и оценки различных способов ее решения. Метод Дельфи - один из инструментов выбора и оценки решения.
Цель метода:
Получение согласованной информации высокой степени достоверности в процессе анонимного обмена мнениями между участниками группы экспертов для принятия решения.
Суть метода:
Метод Дельфи - инструмент, позволяющий учесть независимое мнение всех участников группы экспертов по обсуждаемому вопросу путем последовательного объединения идей, выводов и предложений и прийти к согласию. Метод основан на многократных анонимных групповых интервью.
План действий:
1. Сформировать рабочую группу для сбора и обобщения мнений экспертов.
2. Сформировать экспертную группу из специалистов, владеющих вопросами по обсуждаемой теме.
3. Подготовить анкету, указав в ней поставленную проблему, уточняющие вопросы. Формулировки должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.
4. Провести опрос экспертов в соответствии с методикой, предполагающей при необходимости повторение процедуры. Полученные ответы служат основой для формулирования вопросов для следующего этапа.
5. Обобщить экспертные заключения и выдать рекомендации по поставленной проблеме.
Особенности метода:
Дельфи", "дельфийский метод", "метод дельфийского оракула" происходят от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона (Древняя Греция).
Слово главного оракула принималось за истину в последней инстанции.
Известно, что использование коллективных знаний ведет к возможности нахождения сильных решений, однако в процессе обмена мнениями между участниками может сказаться влияние авторитета коллег и все сведется к появлению популярных ответов.
Метод Дельфи позволяет разрешить это диалектическое противоречие. Для этого прямые дискуссии экспертов заменяются индивидуальными опросами. Собранные варианты ответов подвергаются статистической обработке. Полученные обобщенные ответы передаются каждому эксперту путем личного общения, либо по обычной или электронной почте с просьбой пересмотреть и уточнить свое мнение, если он сочтет необходимым. Эта процедура может повторяться несколько раз.
Проведение экспертизы по методу Дельфи:
Дополнительная информация:
1. Метод Дельфи - это систематический способ обобщения оценок экспертов.
2. Считается, что метод Дельфи наиболее применим, если к работе привлекаются эксперты, компетентные не по всей проблеме, а по ее различным составляющим.
3. Чтобы решить, следует ли использовать метод Дельфи, очень важно тщательно рассмотреть ситуацию, к которой будет применен метод. И прежде чем принимать решение, необходимо задать ряд вопросов:
• кто будет проводить экспертизу, и где будут находиться ее участники;
• какая должна поддерживаться связь с ними в процессе рассмотрения существующей проблемы;
• какие существуют в наличии альтернативные методики, и какие результаты реально можно ожидать от их применения?
Достоинства метода:
• Метод Дельфи способствует выработке независимости мышления членов группы.
• Обеспечивает спокойное и объективное изучение проблем, которые требуют оценки.
Недостатки метода:
• Чрезмерная субъективность оценок.
• Требует достаточно много времени и организационных усилий.
Ожидаемый результат:
Согласованный список идей с их сопутствующими сильными и слабыми сторонами.
Сущность метода экспертных оценок
Сущность экспертных методов прогнозирования заключается в выработке коллективного мнения группы специалистов в данной области. Поэтому существует несколько различных методов экспертной оценки развития объекта в будущем. Информация, полученная от экспертов, обрабатывается с помощью специальных логических и математических приемов и процедур, преобразовывается в форму, удобную для содержательного анализа и принятия решения.
В условиях переходной экономики этот вид прогнозирования приобретает гораздо большее значение, чем в условиях стабильной экономики. Экспертные методы могут применяться не только для прогнозирования полезного эффекта или элементов затрат по объекту, но и для оценки полезного эффекта (технического уровня) серийно выпускаемого объекта, характеризующегося несколькими основными функциями.
Эксперт - в дословном переводе с латинского языка означает «опытный». Поэтому значительное место занимает профессиональный опыт и развитая на его основе интуиция.
Этапы экспертного анализа
Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.
Технология проведения экспертного анализа предполагает прохождение ряда этапов:
1. На первом подготовительном этапе осуществляется формирование экспертных групп на выбранных уровнях управления и подготавливается вся документация, необходимая для проведения экспертизы целей.
Выбор группы экспертов производится с учетом их компетенции отдельно для каждого уровня. Именно в таком случае можно говорить и о достоверности экспертизы, и о минимальных затратах на ее проведение. Для подбора экспертов применяются следующие характеристики: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, самокритичность.
Компетентность эксперта - это степень его квалификации в определенной области знаний. Компетентность может быть определена на основе опыта эксперта в данной области его квалификации, степенью знакомства с научными достижениями в исследуемой области и т.д. Одна из наиболее важных указанных характеристик, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.
Отношение к экспертизе является важной характеристикой эксперта, определяющей его желание (активность или пассивность) участия в экспертизе.
Конформизм - подверженность влиянию авторитетов. Эта характеристика необходима для выбора способа проведения экспертизы.
Самокритичность эксперта - самооценка своей компетентности.
Аналитичность, широта мышления, конструктивность мышления - свойство коллективизма - также важные характеристики эксперта.
Даже неполные определения характеристик экспертов, приведенные выше, показывают, что численные оценки этих характеристик значительно затруднены и в ряде случаев совсем невозможны.
Наиболее важной из указанных характеристик является характеристика компетентности экспертов, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.
2. На втором организационном этапе осуществляется отработка результатов экспертизы. На этом этапе выполняются все необходимые расчеты для сопоставления качественных целей на каждом уровне управления с целями, выбранными, по мнению экспертов, с точки зрения их количества и важности (приоритетности).
Процесс обсуждения выбранных целей происходит до тех пор, пока не совпадут мнения большинства экспертов.
Сформулируем требования, которым должна удовлетворять методика оценки целей функционирования с помощью экспертов:
• Оценка целей функционирования должна проводиться в благоприятной психологической обстановке.
• Трудоемкость опроса должна быть в допустимых пределах.
• Экспертная документация не должна допускать двоякого понимания вопросов.
• Экспертная документация должна быть, по возможности, однородной и полной.
• Выбранная система шкал экспертной оценки должна быть обоснована и доведена до сведения эксперта.
• Цели проведения экспертизы должны быть известны всем экспертам. Наиболее приемлемым с практической точки зрения является анкетирование.
3. На третьем этапе осуществляется построение дерева целей. Количество и разнообразие целей задач менеджмента настолько велики, что без комплексного, системного подхода к определению их состава не может обойтись ни одна организация, независимо от ее размеров, специализации, вида, формы собственности.
В качестве удобного и апробированного на практике инструмента исследования целей можно использовать построение модели в виде дерева целей:
Построение дерева целей осуществляется для формализованного отображения процесса распределения целей по уровням управления. Посредством дерева целей описывается их состав, взаимосвязь, упорядоченная иерархия.
Для этого осуществляется последовательная декомпозиция равной цели на подцели по следующим правилам:
• общая цель, находящаяся в вершине графа, должна содержать описание конечного результата;
• при развертывании общей цели в иерархическую структуру целей исходят из условия: реализация подцелей каждого последующего уровня является необходимым и достаточным условием достижения цели предыдущего уровня;
• при формулировке целей разных уровней необходимо описывать желаемые результаты, но не способы их получения;
• подцели каждого уровня должны быть независимы друг от друга и не выводимые друг из друга;
• фундамент дерева целей должны составлять задачи, представляющие собой формулировку работ, которые могут быть выполнены определенным способом и в заранее установленные сроки.
4. Исследование и формирование количественных целей выполняется на четвертом этапе и является наиболее важным для управления организацией, так как количественные цели определяют выбор методов управления организацией, применение компьютерной техники в управлении. Количественные характеристики целей фиксируются в стратегических и годовых планах организации. Количественные цели ориентируют организацию на достижение определенных показателей и конкретизируют выбранные качественные цели.
5. Оценка степени достижения целей производится на пятом этапе. Выбирается «эталон» управления, которое необходимо расценивать как практическое и при котором необходимо срочно принимать управленческие решения, чтобы приблизить организацию к достижению выбранных целей. Количество таких решений зависит от типа и класса сложности организации.
Метод экспертных оценок в прогнозировании
Существует множество процессов и явлений, количественная информация для характеристики которых отсутствует или очень быстро изменяется. В этом случае используются методы экспертных оценок, сущность которых заключается в том, что в основу прогноза закладывается мнение специалиста, основанное на профессиональном, научном и практическом опыте. Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов.
Примерами традиционных эвристических процедур являются консилиумы, совещания, заседания, поскольку порядок их проведения регламентируется традициями. Постепенно в эту область начинают проникать математические методы планирования и обработки результатов эвристической деятельности.
Выделяют два уровня экспертных оценок: количественный и качественный. Применение экспертных оценок на качественном уровне, например для возможных направлений деятельности, как правило, оправдано. Применение экспертных оценок в тех случаях, когда могут быть использованы математические методы, нередко обусловлено неумением использовать математические методы.
1) по количеству экспертов: индивидуальные и коллективные;
2) по технологии обработки информации: прямые и экспертные методы с обратной связью;
3) по технологии получения прогнозной оценки.
Среди индивидуальных оценок используют метод «интервью» и аналитический метод, который предусматривает тщательную и самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Достоинством методов можно считать возможность максимального использования индивидуальных способностей эксперта, недостатками – субъективность и ограниченность знаний.
Среди коллективных экспертных методов выделяются:
1. Метод коллективной генерации идей (мозговой атаки).
2. Метод «635».
3. Метод «Дельфи.
4. Метод «комиссий».
5. Метод написания сценария.
6. Метод морфологического анализа.
Этапы применения метода коллективных экспертных оценок:
- формирование экспертной группы (отбор экспертов производится с использованием методов самооценки, методы взаимной оценки, по прошлому опыту);
- определение компетентности экспертов;
- оценка представительности или репрезентативности группы;
- получение индивидуальных суждений экспертов по заданной проблеме;
- обобщение мнений об относительной важности заданной проблемы группой экспертов;
- оценка степени согласованности экспертов с учетом коэффициента вариации;
- построение гистограммы распределения мнений экспертов;
- формулирование плана прогноза.
Технология обобщения оценок зависит от вида оценок, количества данных оценок. Если прогнозом (планом) является число, то может использоваться среднее значение. Если ответы экспертов различны, то используется теория игр. Если оценка экспертов давалась в виде рангов, то в процессе обобщения определяется сумма рангов и согласованность оценок с помощью коэффициента конкордации; Спирмана или Кендела.
О достоверности групповых экспертных оценок обычно судят по их согласованности. При проведении экспертных опросов, как правило, получают оценки нескольких объекте. Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа. При выполнении анализа в качестве первого фактора рассматриваются эксперты, в качестве второго фактора — объекты, оцениваемые экспертами. Уровни первого фактора — это разные эксперты, а уровни второго фактора – разные объекты.
Согласованность оценок экспертов определяется при отсутствии влияния фактора, связанного с экспертами. В распространенных статистических пакетах для этого используют критерий Фридмана (Friedman) и, если есть возможность ранжировать экспертов по величине оценок, – критерий Пейджа (Page). Обычно тестируется гипотеза «есть различия между средними значениями оценок некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов согласованы и достоверны.
Коллективное мнение экспертной группы может быть выражено в формах:
• количественных оценок в физических единицах измерения или в виде отношения;
• балльных оценок;
• попарных сравнений;
• группировок (сортировки);
• ранжирования.
Фактографические методы базируются на фактически имеющемся информационном материале об объекте прогнозирования и его прошлом развитии.
1. Экономико-математические и экономико-статистические методы и модели (корреляционно-регрессионный анализ, экстраполяция, методы принятия решений в условиях риска и неопределенности, игровые модели, методы оптимального планирования, имитационное моделирование и др.).
Сущность экстраполяции заключается в изучении сложившихся в прошлом и настоящем устойчивых тенденций развития объекта прогноза и переносе их на будущее.
Различают формальную и прогнозную экстраполяцию. Формальная базируется на предположении о сохранении в будущем прошлых и настоящих тенденций развития объекта прогноза. При прогнозной экстраполяции фактическое развитие увязывается с гипотезами о динамике исследуемого процесса с учетом изменения влияния различных факторов в перспективе.
Различают методы прямой экстраполяции и адаптивные методы экстраполяции. При использовании прямых методов расчет ведут на основе моделей, построенных для выбранного периода предыстории. В адаптивных существует механизм подстройки моделей прогнозирования к изменению уровней ряда. Здесь чаще всего уровням ряда предыстории задаются разные веса: чем ближе к концу предыстории, тем больший удельный вес они получают. При этом предполагается, что в периоде упреждения прогноза получит развитие та тенденция, которая имела место в последней части предыстории.
Методы экстраполяции:
1. Прогнозирование по средним характеристикам ряда (интервал, по приросту).
Прогнозирование методом подбора функций. Условия для применения этого метода:
- период предыстории должен быть достаточным для выявления тенденции изменения показателя;
- анализируемый процесс является устойчивым и обладает инерционностью, т.е. для значительных изменений требуется достаточно длительный период;
- не ожидается никаких сильных внешних воздействий на изучаемый процесс, которые приведут к серьезным изменениям в развитии показателя.
2. Сущность балансового метода предполагает разработку балансов, представляющих собой систему показателей, в которой одна часть, характеризующая ресурсы по источникам поступления, равна другой части, показывающей распределение (использование) по всем направлениям их расхода (материальные, трудовые и финансовые).
3. Нормативный метод. Сущность заключается в технико-экономическом обосновании прогнозов и планов с использованием норм и нормативов. Нормы и нормативы применяются для расчета потребности в ресурсах и показателей их использования, с их помощью обосновываются важнейшие пропорции, развитие материального производства и непроизводственной сферы, осуществляется регулирование экономики.
Норма характеризует научно обоснованную меру расхода ресурсов на единицу продукции в принятых единицах измерения. Нормативы представляются в относительном выражении и характеризуют либо степень использования ресурсов, либо расход ресурса на 1млн. руб.
В практике планирования и прогнозирования применяется система норм и нормативов, включающая:
- нормы расхода сырьевых и топливно-энергетических ресурсов;
- нормы затрат труда; нормы и нормативы использования ОПФ;
- нормативы капитальных вложений и капительного строительства;
- нормы и нормативы, характеризующие эффективность общественного производства;
- финансовые нормы и нормативы (амортизационные отчисления, нормативы рентабельности, ставки налогов и т.д.);
- социальные нормы и нормативы;
- экологические нормы и нормативы.
4. Метод экономического анализа — экономический процесс или явление расчленяется на составные части и выявляются взаимная связь и влияние этих частей друг на друга и на ход развития всего процесса. Анализ позволяет раскрыть сущность процесса, определить закономерности его изменения в прогнозируемом (плановом) периоде, всесторонне оценить возможности и пути достижения поставленных целей.
5. Программно-целевой метод — это способ формирования системы плановых решений, сущность которого заключается в отборе основных целей социального, экономического и научно-технического развития объекта управления, разработке взаимоувязанных мероприятий по их достижению в намеченные сроки при сбалансированном обеспечении ресурсами и эффективном развитии самого объекта.
Характеристика метода экспертных оценок
Несмотря на все большую роль математических методов при решении экономических задач, нельзя считать, что формальные методы современной математики окажутся универсальным средством решения всех проблем, возникающих в сферах деятельности общества. Методы, использующие результаты опыта и интуицию, безусловно, сохранят свое значение и в дальнейшем. Особенно это касается вопросов проведения маркетинговых исследований.
Можно выделить два уровня использования экспертных оценок: качественный и количественный. Если применение экспертных оценок на качественном уровне (определение возможных направлений развития рыночной деятельности, выбор мероприятий по продвижению продукта и т.п.) не вызывает сомнения, то возможность применения количественных балльных оценок нередко подвергается критике. При этом справедливо отмечают, что балльные оценки нередко скрывают неумение квалифицированно оценивать те или иные действия, явления, перспективы развития.
Кроме того, наиболее часто применяемый метод получения интегральных экспертных оценок на основе взвешенных сумм имеет ряд серьезных недостатков.
Однако в связи с ограниченными возможностями применения в управлении и маркетинге экономико-математических методов, отсутствием во многих случаях статистической и другой информации, а также надежных методов определения соответствия экономико-математических моделей реальным объектам экспертные оценки являются единственным средством решения многих задач. Для повышения достоверности и надежности, получаемых с помощью экспертных оценок результатов, надо владеть теоретическими и методическими основами использования данных методов, избегать иллюзии простоты их применения.
Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.
При проведении маркетинговых исследований широко применяются экспертные оценки, основанные на суждениях менеджеров фирм, для которых проводится данное маркетинговое исследование, торговых и иных посредников и потребителей (покупателей). Менеджера просят дать по возможности точную оценку исходя из имеющейся у него информации, с указанием, например в форме вероятностных показателей, степени точности или его уверенности в своих оценках. В качестве экспертов на фирме чаще всего используют менеджеров, сотрудников сбытовых служб.
В то же время экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой — имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение.
Единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов.
Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, то есть, что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.
Методы индивидуальных экспертных оценок
Индивидуальные экспертные оценки – частный случай метода экспертных оценок, когда используются оценки одного или нескольких экспертов без их усреднения.
Индивидуальные экспертные оценки применяются, прежде всего, при анализе проблем, для которых информационный потенциал недостаточен.
Основные этапы использования метода индивидуальных экспертных оценок - те же, что и в методе экспертных оценок, но большинство статистических методов заменяется методами качественного анализа. Генерация основного информационного массива в индивидуальных экспертных оценках осуществляется с помощью методов, связанных с индивидуальной работой экспертов: методов опроса (экспертные оценки), разработки "сценариев" и "докладных записок" и морфологического анализа систем. "Сценарии" обычно применяются при поиске узких мест производства, в критических ситуациях и т.п., которые в дальнейшем могут быть подвергнуты более детальному анализу. В изобретательском творчестве чаще используется морфологический анализ.
Методы обработки экспертных оценок
После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.
Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.
Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.
Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.
В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:
1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
3) определение относительных весов объектов;
4) определение согласованности мнений экспертов;
5) определение зависимостей между ранжировками;
6) оценка надежности результатов обработки.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.
При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.
Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.
Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.
Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.
Экспертный метод оценки конкурентоспособности
Экспертный метод определения показателей конкурентоспособности основан на учете мнений специалистов-экспертов. Эксперт – это специалист, компетентный в решении конкретной задачи. Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т.п.
Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Квалификация эксперта определяется не только знанием предмета обсуждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах, а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.
При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.
Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.
С помощью измеримых показателей существует общее правило оценки конкурентоспособности товара:
- выбор и анализ рынка для реализации товара;
- изучение конкурентов, производящих аналогичные товары;
- выбор и обоснование наиболее конкурентоспособного аналога-товара в качестве базы сравнения;
- определение необходимых групп параметров, подлежащих оценке;
- установление набора единичных показателей по соответствующим группам параметров;
- выбор методик расчёта, определение и анализ сводных показателей по товарным группам;
- расчет интегрированного показателя конкурентоспособности товара предприятия;
- разработка мероприятий по повышению конкурентоспособности продукции.
От выбора базы сравнения в значительной степени зависит правильность результата оценки конкурентоспособности и принимаемые в дальнейшем решения.
Базой сравнения могут выступать:
- потребность покупателей;
- величина необходимого полезного эффекта;
- конкурирующий товар;
- гипотетический образец;
- группа аналогов.
Если за базу сравнения принимаются потребности покупателей, то производится выбор номенклатуры и установление величин параметров потребностей покупателей, оцениваемой и конкурирующей продукции, которую потребитель пользуется при оценке продукции на рынке, а также весомости этих параметров в общем их наборе.
В том случае, когда базой сравнения является потребность покупателей, осуществляется выбор номенклатуры и установление величин параметров потребности покупателей, оцениваемой и конкурирующей продукции, которыми потребитель пользуется при оценке продукции на рынке, а также весомости этих параметров в общем их наборе.
Когда за базу сравнения принимается величина необходимого потребителю полезного эффекта продукции, а также сумма средств, которые потребитель готов израсходовать на приобретение, и потребление продукции, выделяются сам полезный эффект в качестве эталона или сумма средств.
Если оцениваемая продукция имеет конкурента, то товар - образец моделирует потребность и выступает в качестве материализованных требований, которым должна удовлетворять продукция, подлежащая оценке.
Иногда в качестве базы сравнения выступает гипотетический образец, который представляет собой среднее значение параметров группы изделий. Такая процедура используется в том случае, когда информации по конкретному образцу - аналогу недостаточно. Фактически речь идет об анализе потребности, которой может и не существовать, поэтому эта оценка должна рассматриваться как ориентировочная и подлежащая дальнейшему уточнению.
Значительно чаще за базу сравнения принимается группа аналогов, отобранных с точки зрения согласования классификационных параметров образца и оцениваемой продукции, из которых выбираются наиболее представительные, а затем прогрессивные изделия, имеющие наилучшую перспективу для дальнейшего расширения объема продаж.
Оценка конкурентоспособности товара производится путем сопоставления параметров анализируемой продукции с параметрами базы сравнения. Сравнение проводится по группам технических и экономических параметров. При оценке используются дифференциальный и комплексный методы оценки суть который вкратце изложена ниже.
Дифференциальный метод оценки конкурентоспособности, основанный на использовании единичных параметров анализируемой продукции и базы сравнения и их сопоставлении. Дифференциальный метод позволяет лишь констатировать факт конкурентоспособности анализируемой продукции или наличия у нее недостатков по сравнению с товаром - аналогом. Он, однако, не учитывает влияние на предпочтение потребителя при выборе товара весомости каждого параметра. Для устранения этого недостатка используется комплексный метод оценки конкурентоспособности. Он основывается на применении комплексных показателей или сопоставлении удельных полезных эффектов анализируемой продукции и образца. Смешанный метод оценки представляет собой сочетание дифференциального и комплексного методов. При смешанном методе оценки конкурентоспособности используется часть параметров рассчитанных дифференциальным методом и часть параметров рассчитанных комплексным методом.
Данный подход является общеупотребительным и повсеместно встречается, по крайней мере, в отечественной литературе. Следует заметить его существенный недостаток - потребительские свойства товара и их набор определяются без учета мнения потребителя.
Метод экспертных оценок в психологии
В психологии различают основные и вспомогательные методы. К основным методам относят метод наблюдения и метод эксперимента, к вспомогательным – все остальные (метод экспертных оценок, метод анкет, метод самонаблюдения, метод тестов и другие).
Эксперимент. Базовым отличием и преимуществом данного метода в том, что исследователь может по своему желанию вызвать какой-то психический процесс или свойство, проследить зависимость психического явления от внешних условий. Это преимущество экспериментального метода объясняет его очень широкое применение в психологии. Основная масса эмпирических факторов в психологии получена экспериментальным путем. Однако не всякая исследовательская задача может быть решена с помощью эксперимента. Так, если изучение психических процессов и функций ведется в основном с использованием экспериментов, исследование и анализ более простых свойств личности (темперамента, многих способностей) тоже доступно экспериментальному методу, то характер и сложные виды способностей экспериментально пока недоступны.
Наблюдение. Основным преимуществом данного метода состоит в том, что наблюдение проводят в естественной ситуации; оно не изменяет обычного поведения наблюдаемых лиц. Наблюдение можно вести как за одним человеком, так и за группой лиц. Этот метод удобен для изучения в группе детского сада или школьном классе. Недостатком метода наблюдения можно назвать значительную трудоемкость. Психолога-исследователя интересует не любое проявление поведения, а лишь то, которое связано с конкретной исследовательской задачей. Поэтому наблюдающий должен выжидать нужные ему проявления свойств личности или психических состояний. Кроме того, наблюдения и фиксации единичных психических свойств недостаточно. Исследователь обязан удостовериться в характерности, типичности того или иного свойства.
Метод интервью. Этот метод имеет отличие от анкетного метода, применяемого в социологии. Как и метод беседы, интервью относится к методам опроса. Часто вопросники для интервью строят по типу социологических анкет, преследующих цель получить много ответов по многим вопросам. Такой подход пригоден исключительно на первых стадиях исследования, для первичной ориентировки в проблеме. Но вопросники, составленные с учетом знания структуры изучаемых психических свойств, могут дать ценные результаты для дальнейшего уточнения структуры и уровня изучаемых свойств.
Метод беседы. Он используется на разных стадиях исследования, как для проведения первичной ориентировки, так и для уточнения выводов, полученных другими методами, особенно методами наблюдения. Умелое применение метода может дать крайне ценные результаты.
Метод экспертных оценок. Его широко применяют в психологии личности. Здесь компетентные лица, хорошо знающие испытуемых: воспитатели детских садов и школ-интернатов, классные руководители, мастера на производстве и прочие, могут выступать в качестве экспертов. Экспертные оценки наиболее целесообразно проводить не в виде описания качественных проявлений свойств (это гораздо эффективнее сделать в последующей беседе с экспертами), а в виде количественной оценки степени того или иного свойства или элемента поведения. Эксперты должны фиксировать выраженность более или менее дробных элементов поведения, не связанных с обобщениями. Обобщения – дело исследователя, а не эксперта.
Метод тестов. Тесты являются особыми методами психодиагностического обследования. Их использование позволяет получить точную качественную или количественную характеристику изучаемого явления. От других методов исследования тесты отличаются тем, что предполагают четкую процедуру сбора и обработки первичных данных, а также своеобразие их последующей интерпретации. С помощью тестов можно изучать и сравнивать между собой психологию разных людей, давать дифференцированные и сопоставимые оценки.
Метод самонаблюдения. Он не является основным методом исследования в психологии, но может использоваться самостоятельно. Основным его полезным свойством является возможность изучения с помощью данного метода различных психологических состояний: настроения бодрости, раздражительности, работоспособности, профессиональной продуктивности.
Помимо перечисленных методов, предназначенных для сбора первичной информации, в психологии широко используются различные способы и приемы обработки этих данных, их логического и математического анализа для получения вторичных результатов, то есть фактов и выводов, вытекающих из интерпретации переработанной первичной информации. Для этой цели применяются, в частности, разнообразные методы математической статистики, а также методы качественного анализа.
Методы качественных экспертных оценок
Методика качественной оценки рисков проекта должна привести аналитика исследователя к количественному результату, к стоимостной оценке выявленных рисков, их негативных последствий и “стабилизационных” мероприятий.
Качественный анализ проектных рисков проводится на стадии разработки бизнес-плана, а обязательная комплексная экспертиза инвестиционного проекта позволяет подготовить обширную информацию для анализа его рисков.
В качественной оценке можно выделить следующие методы:
- экспертный метод,
- метод анализа уместности затрат,
- метод аналогий.
Экспертный метод представляет собой обработку оценок экспертов по каждому виду рисков и определение интегрального уровня риска. Метод экспертных оценок состоит в возможности использования опыта экспертов в процессе анализа проекта и учета влияния разнообразных качественных факторов, это его основное преимущество. Формальная процедура экспертной оценки чаще всего сводится к следующему. Руководство проекта (фирмы) разрабатывает перечень критериев оценки в виде экспертных (опросных) листов, содержащих вопросы. Для каждого критерия назначают (реже – исчисляют) соответствующие весовые коэффициенты, значения которых не сообщают экспертам. Затем по каждому критерию составляют варианты ответов, веса которых также неизвестны экспертам. Эксперты должны обладать полной информацией об оцениваемом проекте и, проводя экспертизу, анализировать поставленные вопросы и отмечать выбранный вариант ответа. Далее заполненные экспертные листы обрабатывают соответствующим образом – на основании известных статистических (компьютерных) пакетов обработки информации – и выдают количественный результат или результаты проведенной экспертизы.
Его разновидностью является:
Метод Делфи – метод, при котором эксперты лишены возможности обсуждать ответы совместно, учитывать мнение лидера. Этот метод позволяет повышать уровень объективности экспертных оценок. Положительные стороны: простота расчётов, отсутствие необходимости в точной информации и в применении компьютеров. Отрицательные стороны: субъективность оценок, сложность в применении высококвалифицированных экспертов.
Метод анализа уместности затрат ориентирован на выявление потенциальных зон риска и используется лицом, принимающим решение об инвестировании средств, для минимизации риска, угрожающего капиталу.
Предполагается, что перерасход средств может быть вызван четырех основных факторов или их комбинациями:
• первоначальная недооценка стоимости проекта в целом или его отдельных фаз и составляющих;
• изменение границ проектирования, обусловленное непредвиденными обстоятельствами;
• различие в производительности (отличие производительности от предусмотренной проектом);
• увеличение стоимости проекта в сравнении с первоначальной вследствие инфляции или изменения налогового законодательства.
Эти факторы могут быть детализированы. На базе типового перечня можно составить подробный контрольный перечень возможного повышения затрат по статьям для каждого варианта проекта или его элементов. Процесс утверждения ассигнований разбивается на стадии. Стадии утверждения должны быть связаны с проектными фазами и основываться на дополнительной информации о проекте, поступающей по мере его разработки. На каждой стадии утверждения, получив информацию о высоком риске, назревшем для требуемых средств, инвестор может принять решение о прекращении инвестиций.
Поэтапное выделение средств позволяет инвестору при первых признаках того, что риск вложений растет, или прекратить финансирование проекта, или же начать поиск мер, обеспечивающих снижение затрат.
Метод аналогий – этот метод предполагает анализ аналитических проектов для выявления потенциального риска оцениваемого проекта. Наиболее применим при оценке риска повторяющихся проектов. Метод аналогий чаще всего используется в том случае, если другие методы оценки риска неприемлемы, и связан с использованием базы данных о рисках аналогичных проектов. Важным явлением при проведении анализа проектных рисков с помощью метода аналогий является оценка проектов после их завершения, практикуемая рядом известных банков, например Всемирным банком. Полученные в результате таких обследований данные обрабатываются для выявления зависимостей в законченных проектах, это позволяет выявлять потенциальный риск при реализации нового инвестиционного проекта. Метод аналогий состоит в анализе всех имеющихся данных, касающихся осуществления фирмой или банком аналогичных в прошлом с целью расчета вероятностей возникновения потерь. Колоссальную роль при этом играет банк накопленных данных о всех предпринятых ранее проектах, создаваемый на основе их оценки уже после завершения. Наибольшее применение метод аналогий находит при оценке риска часто повторяющихся проектах, например, в строительстве. Если строительная фирма предполагает реализовать проект, аналогичный уже завершенным проектам, то для расчета уровня риска предпринимаемого проекта можно построить так называемую кривую риска на основании имеющегося статистического материала. С этой целью устанавливаются области риска, ограниченные нижней и верхней границами общих потерь.
Особенность метода экспертных оценок заключается в научном понимании организации проведения всех этапов экспертизы, а также в применении количественных методов на каждом этапе.
Экспертные оценки – важный инструмент в повышении качества управления на всех уровнях.
Но при этом данный метод не может собой заменить ни административных, ни плановых решений, а способен предоставить лишь необходимую информацию.
Экспертные методы оценки персонала
Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев.
Например:
1. способность организовывать и планировать труд;
2. профессиональная компетентность;
3. сознание ответственности за выполняемую работу;
4. контактность и коммуникабельность;
5. способность к нововведениям;
6. трудолюбие и работоспособность.
По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной шкале, например, пятибалльной (отлично - 5; хорошо - 4; удовлетворительно - 3; неудовлетворительно - 2; плохо - 1).
Оценки по критериям обычно располагают по нарастающему количественному значению.
Например, при оценке по критерию "способность организовывать и планировать труд":
"1" - явно неорганизованный работник и руководитель;
"2" - не умеет организовывать и планировать свой труд и труд подчиненных;
"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;
"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;
"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.
По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Для определения общей оценки деловых и организаторских качеств кандидата составляется специальный оценочный лист.
Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат занять должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.
Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.
Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:
К = Оу.обр. (1 + С/4 + В/18), где
Оу.обр. - оценка уровня образования, которая обычно принимается:
0,15 для лиц, имеющих незаконченное среднее образование;
0,60 - для лиц со средним образованием;
0,75 - для лиц со среднетехническим и незаконченным высшим образованием;
1,00 - для лиц с высшим образованием по специальности;
С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);
В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18
(установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.
На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.
Сущность одного из наиболее используемых и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.
Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава.
Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными функциями.
Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.
Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.
Методы экспертных оценок в управлении
Наиболее широко в исследовании СУ, как правило, используются экспертные методы. Как научный способ экспертный метод был разработан сравнительно недавно и впервые он получил название "Дельфи". В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении.
Сущность экспертных методов, как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.
Наиболее распространенными экспертными методами при классификации по признаку оценки предпочтений в настоящее время при принятии решений по управлению являются следующие:
• метод рангов;
• метод непосредственного оценивания;
• метод сопоставлений.
В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.
Общность каждого из методов заключается в последовательности проведения процедур их использования.
К ним следует отнести:
• организацию экспертного оценивания;
• проведение сбора мнений экспертов;
• обработку результатов мнений экспертов.
Практика показывает, что уменьшение субъективности и соответственно повышение объективности результатов использования экспертных методов существенно зависит от соблюдения правил организации, подготовки и проведения экспертных работ. Особенно это зависит, в первую очередь, от организации экспертного оценивания, назначения ответственного за организацию и проведение работ по экспертной оценке, а также от формирования экспертных комиссий.
Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и экспертную.
Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, отработку результатов работы экспертов и т.п.
В экспертную группу входят эксперты - специалисты по решаемым проблемам.
Формирование экспертной осуществляет руководитель (организатор) рабочей группы.
При этом выполняется ряд последовательных мероприятий:
• постановку проблемы и определение области деятельности группы;
• составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;
• анализ качественного состава предварительного списка экспертов и уточнение списка;
• получение согласия эксперта для участия в работе;
• составление окончательного списка экспертной группы.
Количество экспертов в экспертной группе зависит от множества факторов и условий. В частности, от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа приглашаемых экспертов.
Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов.
Используются для этой цели разнообразные способы:
• оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
• коллективная оценка кандидата в эксперты как специалиста в данной области;
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.
Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако, следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.
Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям как:
• профессиональной компетентности в области проектирования организационных систем;
• креативности (умению решать творческие задачи);
• научной интуицией;
• заинтересованности в объективных результатах экспертной работы;
• деловитости (собранности, умению переключаться с одного вида деятельности на другой, коммуникативности, независимости суждений, мотивированности действий);
• объективности;
• нонконформизма.
Проведение сбора мнений экспертов предполагает решение следующих вопросов:
• определение места и времени сбора мнений;
• определение формы и методики сбора мнений;
• определение количества туров сбора мнений;
• определение состава и содержательной части документации;
• определение порядка занесения результатов мнений экспертов в документы.
Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные, т.е. указанные формы различаются, прежде всего, по фактору участия экспертов в работе (индивидуальное или коллективное).
Все они обладают своими достоинствами и недостатками. Во многих случаях оргпроектирования каждая их этих разновидностей используются совместно, что дает нередко большой эффект и объективность. Такой подход к сбору мнений экспертов, то есть когда используется смешанная форма, применяется в случаях некоторой неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.
Вместе с тем, наиболее часто в практике проектирования оргсистем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнение, но по времени сбор мнений при использовании этого вида более длительный.
Обычно процесс разработки анкеты включает:
• определение формы и содержания обращения к эксперту;
• выбор типа вопросов;
• формулировку вопросов;
• изложение необходимых для эксперта информации;
• разработку формы анкеты.
Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может быть дан в произвольно форме).
Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.
Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений).
По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.
Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов СУ. Достоинством метода рангов является его простота.
Недостатками являются:
• невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;
• не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.
Данный метод применяется в практике исследования СУ несмотря на свою простоту, довольно редко.
Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).
Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.
Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.
При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.
В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.
В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.
Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.
Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.
Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.
Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.
Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СУ) используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.
При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.
Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации - дисперсионный и энтропийный.
Дисперсионный коэффициент конкордации принимает значения от 0 до 1. При 0 - нет согласованности между мнениями экспертов, при 1 - согласованность полная. Если дисперсионный коэффициент конкордации больше 0,5, то обычно согласованность считается достаточной.
Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1 и также при большей величине коэффициента согласия - большая мера согласованности.
В случаях, когда мнения экспертов различаются незначительно, то указанные выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.
Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании СУ. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.
К разновидности экспертного метода можно отнести социологический, который основывается на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме - распространением анкет или устно (на конференциях, аукционах, выставках, в учебных заведениях и т.п.). При использовании этого метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.
Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому следует шире использовать при проведении сбора и обработке результатов экспертной и социологической информации компьютерную технику. Возможности для этого есть, так как автоматизация проведения и обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.
Метод экспертных оценок в социологии
Экспертный опрос наряду с традиционными методами сбора информации может широко применяться и в других областях социологических исследований. Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения.
Чем обусловлено обращение к экспертам? Заключения специалистов, связанных в силу своей повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.
Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме, постольку статусом эксперта могут быть (при известных ограничениях) наделены:
во-первых, специалисты, занимающиеся исследование различных аспектов этой проблемы;
во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества;
в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.
В основе изучения рациональной составляющей общественной мнения лежит идея сопоставления суждений профессионального, специализированного сознания и сознания массового. Поскольку первые выступают в качестве эталона рационалистического, научного отношения к проблеме, постольку степень близости ответов населения к реакциям экспертов служит индикатором компетентности, развитости общественного мнения.
Экспертные оценки были использованы в исследовании актуальных проблем внутритеатрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры РФ. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.
Поскольку социально-культурные цели театра достигаются при ограничениях, заданных финансовым планом, постольку существует два вида его деятельности: художественно-творческая и производственно-экономическая. Первой руководит главный режиссер, главный художник, режиссеры-постановщики, помощники главного режиссера по литературной части и по труппе, второй - директор, его заместители, заведующий художественно-постановочной частью. Первая группа именовалась "художественными", а вторая - административными руководителями.
В восемнадцати театрах Москвы было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. Группа «художественных» руководителей была представлена 48, а группа "административных" - 37 респондентами.
Эксперты - участники опроса - высказывали свое мнение относительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы создания театральных объединений и др.
На третьем этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение оптимальной стратегии обработки. Как проверить гипотезы, с помощью каких статистических методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, стратегия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, однако пока наша социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.
На этапе ручной обработки и кодирования возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирования или в спорных случаях, когда вероятна различная интерпретация записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях "обмен мнениями".
Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод "обмена мнениями" ("отнесенной оценки").
Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического следования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, что в этой модели соответствует эмпирической действительности, что - нет, в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: "мозговая атака" и "обмен мнениями".
Параллельно с интерпретацией результатов разрабатывается прогноз, даже если перед исследованием не стоят специально прогностические задачи. Роль экспертов в прогнозировании трудно переоценить. Причем на этом этапе могут быть использованы практически все экспертные методы. Наиболее подходящими для социологического прогнозирования являются "стимулирование наблюдения", формализованный опрос, шкалированные оценки, "метод Дельфи".
Анализ информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. Нужно определить, выполнены ли поставленные перед исследованием задачи и насколько полно, какие из них решены, а какие нет, рассмотреть причины, по которым некоторые задачи остались нерешенными. Необходимо показать, какой вклад исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения, сформулировать практические рекомендации по управлению изучавшимися социальными процессами.
На заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конкретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким путем рекомендаций может также использоваться опрос экспертов методом комиссии.
Итак, экспертный опрос наряду с массовым представляет собой важнейшее подразделение опросного метода. Его отличительные черты касаются задач, для решения которых он используется, функций выполняемых в социологическом исследовании, технических и методических приемов подготовки инструментария и проведения опроса, кодировки вопросов, включения получаемой информации в схему обработки и анализа, постановки проблемы достоверности и репрезентативности и т.п.
Функции экспертного метода в социологическом исследовании не сводятся лишь к получению первичной социологической информации. Как показывает теоретический анализ и практические результаты, эксперты могут использоваться практически на каждом этапе организации и проведения социологического исследования.
Метод экспертных оценок в педагогике
Экспертные методы широко используются при подготовке решений в военной, социально-политической и экономической областях как наиболее сложных и многоплановых. В последнее время экспертный метод становится одним из основных методов исследования в педагогике и психологии. Обоснованию этого метода посвящены работы ученых: Азгальдова Г.Г., Бешелева С.Д., Гурвича Ф.Г., Кендэла М., Сидельникова Ю.В. и др.
Данный метод использует эвристические возможности человека, позволяет выразить априорную информацию специалистов (экспертов) в численных величинах путем применения различного рода оценочных шкал. Источником априорной информации об изучаемом объекте являются, главным образом, знания, опыт и интуиция специалистов, работающих в данной области. Вся информация о факторах, влияющих на исследуемое явление, перерабатывается в его сознании, формируя определенное мнение о значимости каждого из существенных факторов. Значимость (ранг) фактора, определяемая одним экспертом, является случайной величиной. Однако общая закономерность распределения этих рангов практически не зависит от отдельных оценок, отражающих индивидуальные особенности мышления. Следовательно, полученные таким образом результаты обработки данных экспертного опроса можно считать близкими к объективным. Поэтому, чтобы повысить достоверность опроса, необходимо увеличивать количество экспертов, участвующих в оценке.
Рассматриваемый метод оценок особенно важен для психолого-педагогических исследований. Во-первых, метод позволяет получить первичную информацию о явлениях, процессах за относительно короткий период времени, что может составить основу для их более углубленного исследования. Во-вторых, в профессиональном отношении метод экспертных оценок более доступен для усвоения по сравнению с другими методами. В третьих, метод с одной стороны достаточно универсален и применим для оценки различных выборок, а с другой – предполагает свою конкретизацию применительно к отрасли, организации (за счет привлечения специалистов и отбора значимых критериев оценки). В четвертых, метод ориентирован на решение, прежде всего, практических задач. В пятых, метод нередко используется в тех условиях, когда имеются серьезные трудности в оценке явления, процесса с помощью других методов, и которые могут оказаться недостаточно надежными.
Таким образом, метод экспертных оценок является полноправным методом психолого-педагогических исследований.
Сценарий группового метода экспертных оценок
Данный класс методов групповой экспертизы требует более серьезной организационной подготовки, чем очные методы, однако позволяет участвовать в осуществлении аналитической деятельности значительному числу экспертов, что невозможно при очной дискуссии. Заочные методы также могут применяться для привлечения экспертов, не привыкших в силу своих психологических особенностей работать в незнакомых группах и предпочитающих шуму и многоголосице, обычно сопутствующим очным групповым дискуссиям, тишину собственного кабинета, знакомясь с мнениями коллег по поставленной проблематике и с их реакцией на собственные предложения в заочной форме. Кроме того, заочные методы позволяют избежать ряда недостатков, свойственных очным формам групповой работы, что будет подробно рассмотрено нами при непосредственном изучении наиболее продуктивных форм заочной экспертизы.
Одной из самых известных заочных методик является метод Дельфи, разработанный в 50-е годы «РЭНД Корпорейшн» для исследования военно-стратегических и военно-технических проблем. Авторы этого метода — О. Хелмер, Т. Гордон, Н. Долки. Проект Дельфи патронировался органами государственной власти и должен был стать основной формой участия экспертов в принятии государственных решений по самом широкому спектру проблем, но в первую очередь по военной проблематике. Не случайно первой задачей, поставленной перед разработчиками Дельфи, было определение методом экспертных оценок системы оптимальных целей на территории США для нанесения ядерного удара и необходимого количества ядерных зарядов для реализации подобного плана с точки зрения руководства СССР. Научной общественности данный метод стал известен только в середине 60-х годов после публикаций в открытой печати работ О. Хелмера и Т. Гордона, которые и попытались вывести метод Дельфи за рамки сугубо военных решений.
Название этого метода происходит от греческого города Дельфы, расположенного у подножия горы Парнас, где находился храм Аполлона, знаменитый своим оракулом, к которому обращались с просьбой решить те или иные проблемы не только простые жители, но и представители правящих политических элит. Подобное название как бы символизирует необходимость использования политическим руководством различных государств и другими субъектами политического процесса экспертного знания, которое, правда, в настоящее время генерируется в советы не с помощью интуитивных форм, а с использованием научных технологий.
Дельфи представляет собой такой метод экспертных оценок, при котором эксперты самостоятельно отвечают на предложенные вопросы, представляя свои ответы на бумаге. Кроме экспертов в Дельфи участвует специальная организационная группа, занимающаяся разработкой опросников, обработкой получаемых ответов, а также обеспечением экспертов необходимой информацией.
Первый этап Дельфи заключается в разработке опросника — эксперты высказывают свои соображения по поводу того, какие конкретно вопросы необходимо обсудить и как их сформулировать, запрашивают необходимую информацию, а также предоставляют имеющиеся у них самих сведения, которые было бы целесообразно использовать при обсуждении. Организационная группа анализирует и суммирует все предложения, составляет первый опросник и рассылает каждому эксперту. Вместе с опросником распространяется и информация, как имеющаяся в наличии у организационной группы, так и предоставленная экспертами. На последний момент следует обратить особое внимание — ведь таким способом осуществляется информационный обмен, что достаточно важно. Например, если в экспертизе участвуют столичные аналитики и представители региональных аналитических структур, то первые получат информацию из «первых рук», не посещая области, республики и края, а вторые смогут ознакомиться с видением проблемной ситуации из федерального центра.
Формирование опросника является достаточно важной частью Дельфи — он должен быть составлен. И так, чтобы были учтены все аспекты решаемой проблемы. Предположим, что исполнительная власть, осознавая необходимость проведения административной реформы, пытается разработать наиболее оптимальный ее вариант. В этом случае предложения экспертов должны учитывать самые различные последствия реализации их идей, и именно в опроснике следует показать, на чем заказчик пытается сконцентрировать основное внимание. Перед каждым экспертом надлежит поставить вопросы о том, почему его путь реформы способен повысить качество государственного управления; как будет строиться новая система принятия решений в органах государственной власти и в чем ее преимущества; способен ли предложенный вариант реформы оптимизировать информационные потоки от нижестоящих к вышестоящим ступеням административной системы; как в ней будут артикулироваться и агрегироваться различные предложения; какой должна быть система рекрутирования в органы административного управления; насколько эффективно можно контролировать ее функционирование; велико ли будет сопротивление чиновников предлагаемым нововведениям и путем каких затрат возможно его преодолеть; как прореагируют на реформу другие ветви власти; какой будет реакция избирателей на подобные изменения; какие ресурсы для проведения реформы потребуются — финансовые, организационные, временные и т.д.
Затем начинает действовать принцип обратной связи, который В этой ситуации следует понимать несколько в ином ключе, чем в схеме Д. Истона — эксперты возвращают опросники с готовыми ответами, отражающими их соображения по поводу возможных способов решения проблемы. Они также могут вносить предложения по изменению опросника: включению новых вопросов и исключению на их взгляд ненужных. Эксперты могут запросить дополнительные данные об объекте исследования. После этого в работу вновь вступает организационная группа — начинается второй этап. Организационная группа составляет второй вариант опросника, принципиально отличающийся от первого. Во-первых, исключаются все двусмысленные и не относящиеся к проблемной ситуации вопросы. Во-вторых, на основании мнений экспертов в опросник могут включаться новые вопросы, выпавшие из поля зрения при составлении первого варианта. В-третьих, и это является наиболее важным, в новый опросник включаются мнения всех участвующих в Дельфи экспертов, высказанные ими на первом этапе. При этом ни одного из экспертов нельзя проигнорировать — респонденты должны быть уверены в том, что каждый эксперт имеет равнозначное мнение и никому заранее не отдается предпочтения.
На следующем этапе экспертам предстоит высказать свое отношение к предложенным коллегами вариантам решения проблемы. Здесь лучше использовать специальные шкалы, что поможет организационной группе правильнее обработать опросники, точнее выявить предложения, которые эксперты сочли наилучшими, и отбросить идеи, не нашедшие у большинства из них одобрения. X. Линстон и М. Турофф рекомендуют четыре критерия оценок, для каждого из которых существуют приблизительные варианты оценок (табл. 3).
Таблица 3. Критерии оценок предложений экспертов (по Х. Линстону и М. Туроффу):
Критерий
Вариант оценки
Приблизительная характеристика предложения, содержащаяся в ответах
Эффективность
Очень
эффективно
Будет иметь позитивный результат при использовании его в качестве самостоятельного решения
Эффективно
Будет иметь позитивный результат при использовании в совокупности с другими предложениями
Неэффективно
Будет иметь негативный результат
Крайне неэффективно
Его реализация приведет к весьма опасным последствиям
Осуществимость
Полная осуществимость
Нет никаких препятствий для осуществления
Возможная
осществимость
Требует доработки и более тщательного прописывания деталей
Возможная неосуществимость
Ряд моментов не освещены, возможны определенные трудности при реализации
Полная неосуществимость
Предложение работать не будет
Степень отношения к стоящей проблеме
Очень высокая
Предложение решает многие поставленные задачи
Высокая
Предложение имеет отношение к проблеме, но его реализация носит второстепенный характер
Низкая
Предложение имеет слабое отношение к проблемной ситуации, приоритетность его реализации весьма низкая
Крайне низкая
Предложение вообще не имеет отношения к проблеме
Стпень доверия к предложению
Полная
Малый риск, что предложение неверно, все выводы, содержащиеся в нем, правильные Окончательное решение должно базироваться на его основе
Высокая
Есть некоторый риск, что предложение неверное. Хотелось бы, чтобы окончательное решение базировалось на данном предложении, но с некоторыми изменениями и доработками
Низкая
Предложение рискованное. Нежелательно чтобы окончательное решение строилось на его основе, но ряд идей из него можно позаимствовать
Крайне низкая
Огромная вероятность того, что предложение неверное, и поэтому оно должно быть решительно отклонено
При этом каждый эксперт, реагируя на предложенные коллегами варианты решения проблемы, должен обосновать, почему он оценил предложенные идеи именно так, выделить сильные и слабые стороны каждого предложения и высказать свое мнение, что конкретно в оцениваемом предложении стоит использовать в окончательном варианте решения, а от чего следует отказаться.
Предположим, что группе экспертов была поставлена задача разработать стратегию избирательной кампании какого-либо общественного объединения. Отвечая на вопрос «Как правильно организовать агитацию в СМИ?», один из экспертов, в частности, предложил использовать на общероссийских каналах только бесплатно предоставляемое эфирное время, а основные финансы пустить на покупку эфирного времени у региональных телесетей и студий кабельного телевидения для проката рекламных роликов, каждый из которых будет сделан для кого-то отдельного региона с учетом его специфики. Остальные участники Дельфи, использовавшие для оценки всех предложений описанную выше систему критериев, в большинстве своем оценили предложенную идею как эффективную, возможно осуществимую, решающую многие поставленные задачи, а также выразили высокое доверие данному предложению. При внимательном анализе опросников организационная группа обнаружила, что в разделе использования СМИ в предвыборной борьбе это предложение опередило остальные, получившие более низкие оценки. Однако ряд экспертов высказали свои замечания. Например, было рекомендовано не снимать специальных роликов для тех территорий, где популярность партии по имевшейся информации являлась весьма низкой, а освободившиеся финансы пустить на покупку небольшого количества времени на государственных каналах. Однако общая концепция использования телевидения в рекламных целях оказалась одобренной. Высказанные замечания были внесены в третий вариант опросника, вновь разосланный экспертам. Большинство экспертов согласились с замечаниями, что и нашло отражение в итоговом документе. Подобная процедура оценки происходит с каждым предложением.
Данный пример показывает, что Дельфи проводится в несколько однотипных этапов, повторяющихся до тех пор, пока эксперты не придут к согласию по всем пунктам опросника. Затем организационная группа собирает все высказанные предложения в единый документ, который также отправляется всем экспертам на окончательное утверждение, после чего составленный прогноз или решение попадает к заказчику. Нельзя при этом исключить вариант, когда отдельная группа экспертов не соглашается с большинством и отстаивает свою точку зрения по анализируемому вопросу. По нашему мнению, в этом случае их соображения целесообразно оформить как особое мнение и также включить в итоговую записку. Такая процедура напоминает решения, выносимые Конституционным Судом РФ — судья Конституционного Суда, не согласный с его решением, имеет право на особое мнение, которое приобщается к материалам дела и подлежит опубликованию вместе с решением Конституционного Суда. Но в методе Дельфи процесс учета мнения большинства может быть более значим, так как если Конституционный Суд непосредственно принимает решения, то проект группы политических экспертов часто является лишь их предложением для лица или группы лиц, которые и будут принимать окончательное решение. По этой причине вполне возможен вариант, когда последние сочтут более убедительными доводы меньшинства и именно они лягут в основу решения.
Несмотря на то, что метод Дельфи получил широкое распространение в процессе организации экспертного знания, у него достаточно много критиков, мнение которых также необходимо представить. Одно из основных обвинений касается сравнения качества групповых очных и заочных дискуссий — ряд ученых полагает, что качество первых заведомо выше, чем вторых. Например, такого мнения придерживается Дж. Фаркухар, проводивший сравнительные исследования процессов принятия решений в очных и заочных группах. Однако исследования других ученых в данной области дали прямо противоположные результаты — так, Н. Долки и Р. Кембелл обнаружили тенденцию к значительно более качественным решениям в случае заочного группового взаимодействия. В конечном итоге можно предположить наличие высокого уровня субъективности в подобных оценках, и, кроме того, нарушение чистоты эксперимента — важно, чтобы и очные, и заочные методы проходили с использованием психологических процедур и без возможных искажений. Только в этом случае мы можем говорить о преимуществе того или иного способа с точки зрения качества решений. Отметим, что о проведении подобных сравнительных исследований в сфере непосредственно политических решений автору не известно. Вторым обвинением в адрес Дельфи является повышенный уровень конформизма. Как, например, писал Х. Сакман, при методе Дельфи организационная группа возвращает экспертам решения, получившие наибольшее число позитивных оценок, заставляя всю группу соглашаться с ними. Итак, отмечает Х. Сакман, Дельфи является попыткой представить статистически победившее решение как общее мнение, в то время как подлинный консенсус экспертов — это решение, достигнутое как результат взаимообразования и повышения уровня информированности экспертов.
В своей критике Х. Сакман опирается на опыты М. Шерифа, который обнаружил, что люди, принимающие в простых ситуациях правильное решение самостоятельно, при ознакомлении с ошибочными результатами других людей склонны менять свою точку зрения даже без очного обсуждения. Однако распространение результатов данного опыта на все заочные обсуждения представляется некорректным. Во-первых, М. Шериф отбирал людей для эксперимента по принципу случайной выборки, предлагая им решать пусть и несложные задачи, но все же из тех областей знаний, в которых они не были специалистами, в то время как политические эксперты — лица с определенным уровнем знаний и квалификации, занимающиеся проблемами непосредственно из сферы своей компетенции.
Во-вторых, и это более важно, опыты М. Шерифа проводились также и в очных группах и показали еще более высокий уровень конформизма. Не отрицая в целом возможность конформистских решений в заочных экспертных группах, отметим, что они все же характеризуются менее высоким уровнем конформизма по сравнению с очными группами, что является важным преимуществом первых. Это объясняется в первую очередь тем обстоятельством, что при очных методиках эксперты открыто излагают свое мнение. А при методе Дельфи применяется принцип анонимности. При использовании заочных методик наиболее авторитетные эксперты, лидеры обсуждения при очных дискуссиях, лишены возможности прямо воздействовать на мнение других участников аналитических процедур, а, следовательно, отсекается одна из главных причин высокого уровня конформизма в группе. Ведь именно способность подобных экспертов навязать свое мнение всей очной группе лежит в основе описанного нами феномена группового мышления и порождает серьезные деформации качества принимаемых решений.
Кроме того, не следует забывать наше предложение об оформлении мнения экспертов, не согласных с позицией большинства, в качестве приложения к итоговому решению, что также способствует отстаиванию экспертами своих идей и снижению конформизма. Это позволяет опровергнуть и утверждение X.Сакмана о том, что Дельфи представляет собой попытку представить статистически победившее решение как общее мнение — ведь мнение меньшинства также прилагается к окончательному решению.
Другим аргументом противников Дельфи является предположение, что на практике итог работы в небольшой степени зависит от мнения экспертов, поскольку окончательное решение представляет организационная группа, обрабатывающая материал, а, значит, она может интерпретировать ответы экспертов в выгодном ей ключе. Не исключается и возможность манипулирования организационной группой мнениями экспертов на более ранних этапах процедуры. Действительно, роль организационной группы достаточно велика, и В связи с этим определенные деформации мнения экспертов вполне возможны. Но подобную проблему можно решить тщательным подбором организационной группы. В ней, в частности, должно быть не менее двух человек, которые контролировали бы друг друга. Кроме того, если организационная группа непосредственно заинтересована в конечном успехе дела и если в ней отсутствуют подкупленные конкурирующими политическими организациями люди (в политике нельзя исключать и такую ситуацию), то вряд ли она пойдет на подлог при представлении окончательного решения группы. Использование компьютера при обработке ответов также способно уменьшить риск фальсификаций или подлога со стороны организационной группы.
Еще одной распространенной заочной методикой является ПАТТЕРН (Planning Assistance Through Technical Relevance Number, что переводится как Помощь планированию посредством относительных показателей технической оценки). Данный метод был разработан в другом «резервуаре мысли» — фирме «Хондуелл Инкорпорейтид» — в конце 60-х годов. Как и в случае с методом Дельфи, его апробация прошла на заданиях Министерства обороны США — в первую очередь ПАТТЕРН также создавался для решения военно-политических задач.
Методика примечательна тем, что сочетает несколько методов политического анализа, которые могут быть использованы и сами по себе — речь идет о написании сценария и построении «дерева целей». Написание сценария — первый этап ПАТТЕРНа — представляет собой сочетание ситуационного анализа и нормативного прогноза. Сценарий предполагает подробное описание проблемной ситуации, после чего устанавливается логическая последовательность событий с целью показать, как, исходя из существующего положения вещей, будет постепенно развертываться будущее состояние объекта исследования.
Мы уже рассматривали проблемы ситуационного анализа и прогнозирования, поэтому более подробно изучим вторую часть ПАТТЕРНа — построения «дерева целей». Основной принцип составления «дерева целей» состоит в преобразовании любой цели более высокого иерархического уровня в совокупность подцелей более низкого уровня. Итак, все цели выстраиваются в строгой логической последовательности, причем каждая большая цель разбивается на более мелкие подцели. Процесс вычленения подцелей продолжается до тех пор, пока все они не совпадут с названиями средств своей реализации.
В качестве примера рассмотрим разработку стратегии предвыборной борьбы какого-либо кандидата в депутаты в мажоритарном округе, находящемся в городе N. Предположим, что анализ округа показал, что в нем нет крупных фабрик, зато имеется два вуза и ряд академических институтов. Основной электорат округа составляют представители непроизводственной сферы — врачи, учителя, научные сотрудники. В округе проживает большое число пенсионеров, однако митинги, которые пытались организовать на территории округа представители коммунистических организаций (как известно, на митинги в основном ходят люди старшего поколения), не состоялись из-за неявки на них населения. Социологические опросы показали, что жители округа политикой интересуются, однако не будут посещать различные предвыборные собрания и читать развешиваемые листовки, поскольку предпочитают проводить свободное время дома и получать информацию из газет и программ телевидения. Эта информация частично подтвердилась и данными о большом количестве выписываемых и покупаемых в розничной торговле печатных изданий.
Изучение статистики также показало, что в данном округе практически не зафиксировано ограблений квартир, совершенных псевдополицейскими и лжесантехниками. (Последняя информация позволяет сделать вывод о возможности использования способа завоевания симпатий электората с помощью агитации «от двери к двери», суть которого заключается в том, что помощники кандидата, а лучше и он сам, ходят по квартирам и общаются с избирателями. Вполне понятно, что если в округе достаточно часто происходят ограбления квартир и преступники проникают в жилища людей под видом милиционеров, почтальонов или сантехников, вряд ли дверь будет открыта человеку, представившемуся кандидатом в депутаты, даже если он предупредит о своем приходе заранее).
После анализа полученной информации эксперты построили «дерево решений», часть которого приведена на рис. 6. Первое деление на основные направления избирательной кампании (они же являются основными способами решения задачи победы кандидата на выборах) показано полностью, а далее изображено лишь «ветвление» одного основного направления — использования СМИ. Это сделано из-за того, что все «дерево решений» выглядело бы слишком объемным, однако принцип его построения отображен достаточно ясно.
Мы видим, что использование СМИ — одного из шести основных решений — делится на четыре подрешения второго уровня, разбивающихся далее на подрешения третьего уровня, каждое из которых является конкретным мероприятием.
Затем эксперты проводят тщательный анализ всех уровней построенного «дерева решений». Это делается для определения степени важности любого из возможных решений стоящей задачи. Каждому решению присваивается коэффициент значимости. Теперь со всей определенностью видно, какие решения следует реализовать в первую очередь и как оптимально распределить имеющиеся в наличии ресурсы. Присвоение коэффициентов обычно осуществляется методом анкетирования: экспертам раздаются бланки, в которых они проставляют оценки всем предложенным действиям.
Для анализа решений и присвоения им коэффициентов существует определенный набор показателей, по которым и оценивается каждая цель или подцель. Среди них можно выделить следующие рубрикаторы: степень эффективности, взаимополезность (показывает степень снижения расходов на выполнение остальных решений при реализации решения оцениваемого), временные и финансовые затраты, возможность использования партийных ресурсов, а также активистов и добровольцев. При составлении анкет следует учитывать, что значимость самих рубрикаторов различна — скажем, финансовые затраты будут гораздо более важным показателем, чем возможность использования добровольцев. Поэтому необходимо присваивать веса и самим критериям, что осуществляется на основе мнений экспертов относительно каждого критерия, которые выясняются до проведения анкетирования.
Метод экспертных оценок в логистике
Описанные принципы и методы моделирования логистических систем нацелены на то, чтобы исключить интуитивный подход к выработке управленческих решений и сделать их более объективными.
Однако многолетняя практика создания и успешная эксплуатация логистических систем показывает, что именно в результате творческой интуитивной деятельности отдельных лиц и коллективов задача построения полной и адекватной модели логистической системы решается наиболее эффективно.
Вследствие этого в логистике широкое применение нашли методы, основанные на использовании опыта, квалификации и творческого потенциала специалистов по управлению и различным производственным процессам. Все эти методы носят общее название экспертных.
Для реализации таких методов проводятся экспертизы соответствующим образом подобранными специалистами. Специалисты, которым доверяется проведение экспертизы, должны обладать необходимой профессиональной квалификацией и формировать свои оценки независимо друг от друга и от внешних влияний.
Экспертизы могут быть индивидуальными и групповыми, а также проводиться очно либо заочно.
Ключевым является вопрос о числе привлекаемых экспертов и уровне квалификации специалистов, входящих в эту группу. Очевидно, что большим количеством привлекаемых недостаточно компетентных людей нельзя компенсировать отсутствие у них требуемой квалификации. С другой стороны, снижение численности группы экспертов (в пределе экспертное суждение может выносить один человек) приводит к повышению роли случайных факторов, субъективизму и предвзятости. Поэтому отбор экспертов и образование из них групп целесообразно осуществлять не индивидуальным волевым решением, а в результате работы специальных групп по руководству экспертизой.
Деятельность по формированию групп экспертов также может быть отнесена к экспертным методам.
Для подбора экспертов используются следующие методы:
• документальный - на основе анализа анкет и других видов документов, содержащих более или менее объективную информацию о людях, к которым они относятся;
• экспериментальный - на основе анализа опыта работы экспертов при проведении предыдущих экспертиз;
• голосования экспертов, составляющих группу по отбору и формированию экспертной группы;
• самооценки, которую осуществляют применительно к поставленной задаче экспертизы кандидаты в создаваемую группу.
Сформированные таким образом экспертные группы должны быть проверены на способность выносить компетентные и независимые суждения. После формирования, проверки и утверждения групп экспертов их привлекают к работе по оценке ситуаций, складывающихся в реальной логистической системе. При этом необходимо выбрать и предложить экспертам метод оценки факторов, характерных для анализируемой ситуации. Известны и применяются следующие методы: непосредственной оценки, в том числе: балльной; парного сравнения; последовательного сравнения; ранжирования.
Далее определяются процедуры выявления и регистрации мнений экспертов, входящих в экспертную группу.
В том или ином конкретном случае могут быть использованы процедуры проведения:
Затем устанавливается метод обработки результатов выражения экспертами своих мнений по существу оцениваемой ситуации. Для подобной ситуации применяются методы обработки случайных величин, принятые в математической статистике. В случае расхождения значений оценок, полученных в результате статистической обработки, решение обычно принимается "голосованием". Однако следует помнить: большинство не всегда право. Поэтому полученные на основании такого "голосования" выводы должны обязательно соотноситься со здравым смыслом.
Для экспертных методов в логистике существует более широкое поле применения, чем оценка текущей ситуации в тех или иных компонентах логистической системы. Речь идет об экспертных методах формирования эвристических стратегий принятия управленческих решений, т. е. системы эвристических правил выработки подобных решений.
Согласно этим правилам необходимо представить исходную и прогнозную ситуации в виде набора некоторых показателей, доступных к осознанию и анализу (факторное представление ситуации). Такими факторами принято считать вероятность выигрыша, размер выигрыша, вероятность проигрыша, размер проигрыша, а также величину риска. Данные вопросы должны быть решены экспертными группами.
Оперировать факторами ситуации можно по-разному. В зависимости от этого различают внутреннюю и внешнюю эвристические стратегии.
Внутренняя эвристическая стратегия заключается в том, что производится рассмотрение каждой ситуации как единого целого путем анализа значений интенсивности факторов, которые они приобретают в данной конкретной ситуации. Стратегия может быть реализована в двух вариантах.
Первый вариант заключается в сравнении потенциальных значений факторов, определяющих ситуацию, - величин выигрыша и проигрыша, величин вероятностей выигрыша и проигрыша и возможного риска.
Второй вариант внутренней эвристической стратегии заключается в том, что внутренние значения названных факторов сравниваются с ранее назначенными предельными или нормативными величинами. Например, стратегия управления должна быть такова, чтобы величина риска не превышала заданного предела, а потенциальный выигрыш при этом не опускался ниже заранее заданной величины.
Результаты таких сравнений, установленные значения пределов, а также выводы из этих сравнений и решения о действиях, принимаемых на основе этих выводов, вырабатываются на основании экспертных оценок лицом или группами лиц, принимающих решения.
Внешняя эвристическая стратегия состоит в том, что производится сравнение одних и тех же показателей у двух потенциальных ситуаций. Это дает возможность сопоставить последствия двух возможных вариантов действий и выбрать более желательный. Однако данная стратегия приводит не только к упрощению самого процесса сравнения и выбора, но и к его формализации. Связано это с тем, что проводится сравнение однотипных показателей при прочих равных условиях. Например, объемы и сроки выплат сопоставляются с объемами и сроками выплат при другом варианте управления, величина риска - с величиной риска и т. д. Второстепенные детали, а также показатели, остающиеся без изменения для различных вариантов стратегии управления, заранее исключаются из процессов сравнения. Для достижения большей объективности такое сравнение и выбор целесообразно осуществлять экспертными методами.
Есть пять человек разных национальностей, которые проживают в 5 домах. Каждый дом имеет свой цвет, отличный от цвета других домов. Каждый из этих людей курит и предпочитает определенный сорт сигарет. У каждого из этих людей есть по одному домашнему животному. Каждый из этих людей пьет свой любимый вид напитка.
Статью подготовил ведущий маркетолог-аналитик Воронов Валерий Иванович. 
