При решении задач обеспечения экологической безопасности, управления природопользованием и охраны окружающей природной среды используют разнообразные методы экспертных оценок.
Примеры методов экспертных оценок. Что будет с окружающей природной средой через 10 лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эту постановку вопроса, проанализировать, как 10 или тем более 20 лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее, мы должны принимать решения, например об экологических и иных проектах и инвестициях, последствия которых скажутся через 10, 20 лет и т.д. Как быть? Остается обратиться к методам экспертных оценок.
Для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После Второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина — теория и практика экспертных оценок.
Методы экспертных оценок — это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР. Для проведения работы по методу экспертных оценок создают рабочую группу (РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки — это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач — диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению, например симпозиуму врачей или комиссии преподавателей.
Экспертные оценки часто используют при выборе: одного варианта технических устройств из нескольких, набора проектов научно-исследовательских работ для финансирования из массы заявок, получателей экологических кредитов из возможных претендентов, инвестиционных проектов для реализации из представленных и т.д.
Существует много методов получения экспертных оценок. В одних методах с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов; в других — экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему и неверные мнения отбрасываются. В одних методах число экспертов фиксировано таким образом, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения; в других — число экспертов растет в процессе проведения экспертизы, например при использовании метода «снежного кома».
Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики.
Одним из наиболее известных методов экспертных оценок является метод Дельфи. Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм.
В США методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих событий. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, то его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Однако сама методика оказалась популярной, за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи составляет 5 тыс. долл.
США, но в ряде случаев приходилось расходовать и более крупные суммы — до 130 тыс. долл. СИТА.
Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый, прежде всего, для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов масти, отдельных лиц и другие события меняют условия, и события развиваются по-иному, чем ранее предполагалось.
Задавайте вопросы нашему консультанту, он ждет вас внизу экрана и всегда онлайн специально для Вас. Не стесняемся, мы работаем совершенно бесплатно!!!
Также оказываем консультации по телефону: 8 (800) 600-76-83, звонок по России бесплатный!
Метод сценариев необходим не только в экологической или социально-экономической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения. Таким образом, метод сценариев — это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.
Возможность подобной декомпозиции не очевидна.
При использовании метода сценариев необходимо осуществить два этапа исследования:
построение исчерпывающего, но обозримого набора сценариев;
прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.
Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.
Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события (падение астероида, массовые эпидемии ранее неизвестных болезней и т.д.). Само по себе создание набора сценариев является предметом экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.
Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с привлечением экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.
При принятии решений на основе анализа ситуации (ситуационном анализе), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, наилучшим, или средним образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.
При экспертном оценивании используют также метод «мозгового штурма». Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение — нельзя критиковать предложения других. Можно их развивать, высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, «заражаясь» друг от друга, высказывают все более оригинальные соображения. Через несколько часов записанное на магнитофон или видеокамеру заседание заканчивается и начинается второй этап мозгового штурма — анализ высказанных идей. Обычно из ста идей тридцать заслуживают дальнейшей проработки, пять из шести дают возможность сформулировать прикладные проекты, а две-три оказываются в итоге приносящими полезный эффект (прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п.).
Основные стадии экспертного опроса. Рассмотрим более подробно отдельные этапы экспертного исследования.
С точки зрения менеджера — организатора такого исследования — целесообразно выделять следующие стадии проведения экспертного опроса:
1. Принятие решения о необходимости проведения экспертного опроса и формулировка лицом, принимающим решение, его цели. Инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.
2. Подбор и назначение ЛПР основного состава рабочей группы (например, научного руководителя и секретаря). Научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Научный руководитель должен быть высококвалифицированным экспертом и признаваемым другими экспертами формальным и неформальным руководителем экспертной комиссии. Секретарь отвечает за ведение документации экспертного опроса и решение организационных задач.
3. Разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется рабочая группа, в которой выделяются различные подгруппы специалистов: аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.
4. Разработка аналитической группой РГ подробного сценария (регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (слова, условные градации, числа, аранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые число заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации, например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка — сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1 — 2 %.
5. Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования.
6. Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, а также получает их согласие на работу в экспертной комиссии. Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, неподходящие условия контракта и др.). Лицо, принимающее решение, утверждает состав экспертной комиссии, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.
7. Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров.
8. Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.
9. Повторение двух предыдущих этапов в случае проведения экспертного опроса в несколько туров.
10. Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.
11. Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.
Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты — таково и качество заключения экспертной комиссии.
Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. В качестве экспертов необходимо привлекать тех людей, чьи суждения в большей степени помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, обеспечивающих успех экспертизы.
В проблеме подбора экспертов можно выделить две составляющие:
составление списка возможных экспертов;
выбор из них членов экспертной комиссии в соответствии с компетентностью кандидатов.
Составить список возможных экспертов легче, если рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.
Если экспертизу проводят впервые, а составленные списки возможных экспертов отсутствуют, то каждый конкретный специалист имеет свое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка применяют метод «снежного кома», при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное число (например, 5—10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Возможно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые — нет. Каждого нового эксперта опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод «снежного кома» имеет и недостатки. Число туров до остановки процесса наращивания «снежного кома» нельзя заранее предсказать. Кроме того, если на первом этапе все эксперты были из одного «клана», придерживались в чем то близких взглядов или занимались сходной деятельностью, то и метод «снежного кома» даст, скорее всего, лиц из этого же «клана». Мнения и аргументы других «кланов» будут упущены. Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные ранее «кланами», и общение идет в основном внутри «кланов». Неформальная структура науки, к которой относятся «кланы», достаточно сложна для изучения. Отметим здесь, что «кланы» обычно образуются на основе крупных формальных центров, например вузов, научных институтов, научных школ.
Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в экспертизах является хорошим критерием для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в сериях однотипных экспертиз. Однако наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должностей, ученых степеней и званий, стажа, числа публикаций и т. п.) в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.
Часто предлагают использовать методы самооценки и взаимо оценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких — нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой — при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность, тем более что само понятие «компетентность» строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике и др.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с возможностями друг друга может быть лишь у специалистов, много лет (не менее трех-четырех) работающих совместно, над одной темой. Именно про такие пары можно сказать, что они вместе «пуд соли съели». Однако привлечение таких пар специалистов не всегда целесообразно, поскольку их взгляды слишком похожи.
Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный «говорун» может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии друг к другу, а также сильно различающийся научный и должностной статусы членов комиссии. В подобных случаях важно соблюдать регламент работы, разработанный РГ.
Необходимо подчеркнуть, что подбор экспертов — одна из основных функций рабочей группы, именно на ней лежит ответственность за компетентность экспертов. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может, как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них по собственным соображениям.
Федеральный закон «Об экологической экспертизе» М174ФЗ, регламентирует процедуру экспертизы «намечаемой хозяйственной или иной деятельности» с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
Разработка регламента проведения сбора и анализа экспертных мнений. В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более однозначных рекомендаций по их применению. Навязывание экспертам одной из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред. Для описания многообразия методов экспертных оценок необходима какая-либо их классификация. Одна из возможных классификаций рассмотрена далее.
Что именно должна представить экспертная комиссия в результате своей работы — информацию для принятия решения ЛПР или проект самого решения? От ответа на этот вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для распределения методов.
Пусть цель — сбор информации для ЛПР. Тогда рабочая группа должна собрать, возможно, больше относящейся к делу информации, аргументов «за» и «против» определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к третьему эксперту и т.д. Процедура заканчивается, когда иссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы «за» и «против», но не вырабатывают согласованного проекта решения. Нет необходимости стремиться к тому, чтобы экспертные мнения совпадали. Более того, наибольшую пользу приносят эксперты с мышлением, отличающимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.
Если же цель — подготовка проекта решения для ЛПР, то математические методы в экспертных оценках применяют для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности.
Эти догмы «кочуют» из одной публикации в другую, поэтому целесообразно их обсудить:
1. Догма согласованности. Часто без всяких оснований считают, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования точек зрения. Вместо этого их мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: теоретиков, явно предпочитающих НИР, в которых получены теоретические результаты, и практиков, выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления РАН). Иногда заявляют, что в случае получения несколькими группами экспертов разных точек зрения (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута — установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должно это учитывать. Стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее понравившейся рабочей группе (или даже «подсказанной» ЛПР). Часто не учитывают еще одного эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20—30, то формальная статистическая согласованность их мнений (установленная с помощью критериев проверки статистических гипотез) может сочетаться только с реально имеющимся разделением экспертов на группы, но делает дальнейшие расчеты ошибочными. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Согласно эконометрической теории положительный результат проверки согласованности таким способом означает отклонение гипотезы о независимости и равномерной распределённой мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы толкуется как согласованность ответов экспертов. Другими словами, мы становимся жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности — непараметрических методов, основанных на люсианах и входящих в статистику нечисловых данных.) Группы экспертов с близкими мнениями можно выделить эконометрическими методами кластеранализа.
2. Мнения диссидентов. Для того чтобы искусственно добиться согласованности, обычно стараются уменьшить влияние мнений экспертов-диссидентов, т.е. несогласных с мнением большинства. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т. е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка, резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов исключения выбросов по отношению к отклонениям от предпосылок модели. Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта — действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое число ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к негативным последствиям. С другой стороны, представление ЛПР при всем наборе мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает это на плечи ЛПР.
3. Догма одномерности. В устаревшей, а иногда и в современной научно-технической литературе распространен метод квалиметрии, согласно которому объект экспертизы всегда можно оценить одним числом. Однако вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа — ее рыночной стоимости. Практически все реальные объекты достаточно сложны, а потому сколько-нибудь точно описать их можно лишь с помощью чисел, а также математических объектов нечисловой природы. Вместе с тем, нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и др. Так, каждый объект можно оценивать по многим показателям качества.
Например, легковой автомобиль можно оценивать по следующим показателям:
расход бензина на 100 км пути (в среднем); надежность (в том числе средняя стоимость ремонта за год); экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;
маневренность (в том числе радиус поворота);
быстрота набора скорости 100 км/ч после начала движения;
максимальная достигаемая скорость;
длительность сохранения в салоне тепла при низкой температуре окружающей среды (например, —50 °С) и выключенном двигателе; дизайн;
масса автомобиля и т.д.
Можно ли свести оценки по этим показателям вместе? Ясно, что определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но не имеет большого практического значения для водителя частной машины, особенно в городе со строгим ограничением скоростного режима. Для такого водителя важнее расход бензина, маневренность и надежность. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов — нет. Таким образом, важна конкретная (узкая) постановка задачи перед экспертами, которой зачастую нет. При этом обобщенный показатель качества (например, в виде линейной функции от перечисленных переменных) не является объективным. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации (множества Парето и т.п.).
В некоторых случаях все-таки можно сравнить объекты, например с помощью тех же экспертов получить упорядочение рассматриваемых изделий или проектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). В подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии — указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут оценить значения отдельных факторов. Раз организаторы опроса спрашивают — эксперты отвечают, но эти ответы не несут в себе реальной информации.
Вторым основанием классификации экспертных процедур является число туров. Экспертизы могут проводить в один тур, некоторое фиксированное число туров (два, три и т.д.) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, рассматривая мнения экспертов не одновременно, а последовательно. Например, если цель состоит в сборе аргументов «за» и «против», то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы, и т.д. При этом добавляется по одному эксперту на каждый новый тур.
Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например «снежный ком». Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить максимальное число туров или достаточно ограничиться меньшим числом.
Третьим основанием классификации экспертных процедур является организация общения экспертов. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения — заочное анонимное общение — заочное общение без анонимности — очное общение с ограничениями — очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует одно-туровой экспертизе. Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное предположение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, находить для этого удобное время и место.
При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очное общение с ограничениями — это собрание, идущее по фиксированному регламенту, оно весьма распространено. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались по порядку: в начале младшие (по чину и должности), а затем — старшие. Наконец, очное общение без ограничений — это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе пять лейтенантов и три генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут беседовать, а лейтенанты — помалкивать. При этом вполне очевидно, что лейтенанты получили образование позже генералов, а потому обладают полезной информацией, которой нет у генералов.
Реальные экспертизы часто представляют собой комбинации различных типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет много туровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно — это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. У этих экспертов различные задачи и объем выполняемой ими работы — один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец, проводится очная экспертиза без ограничений для членов государственной аттестационной комиссии (ГАК). Дипломный проект оценивается коллегиально, по большинству голосов; при этом один из экспертов (научный руководитель) знает работу подробно, а остальные — в основном по докладу. Отметим, что мнения экспертов учитываются с весами, а именно, мнения членов ГАК — с весом 1, мнения всех остальных — с весом 0 (совещательный голос). Таким образом, возникает сочетание много туровой и одно туровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально приводящихся экспертиз.
Математические методы анализа экспертных оценок
Современная теория измерений и экспертные оценки. Для более глубокого изучения проблем экспертных оценок рассмотрим некоторые понятия репрезентативной теории измерений (РТИ), служащей основой теории экспертных оценок, прежде всего той ее части, которая связана с анализом заключений экспертов, выраженных в качественном (а не в количественном) виде, а также построением обобщенных показателей (рейтингов).
Репрезентативная (т.е. связанная с представлением отношений между реальными объектами в виде отношений между числами), теория измерений является одной из составных частей эконометрики и входит в состав статистики объектов нечисловой природы.
Мнения экспертов часто выражены в порядковой шкале, т.е. эксперт может сказать (и обосновать), что один показатель качества продукции более важен, чем другой, первый технологический объект более опасен, чем второй и т.д. Но он не в состоянии сказать, во сколько раз или на сколько более важен, а соответственно, более опасен. Экспертов часто просят дать ранжировку (упорядочение) объектов экспертизы, т.е. расположить их в порядке возрастания (или, точнее, не убывания) интенсивности, интересующей организаторов экспертизы характеристики. Ранг — это номер объекта экспертизы в упорядоченном ряду. Формально ранги выражаются числами 1,... и, но с этими числами нельзя проводить привычные арифметические операции. Например, хотя 1 + 2 = 3, но нельзя утверждать, что для объекта, стоящего на третьем месте в упорядочении (ранжировке), интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2. Например, одним из видов экспертного оценивания являются оценки учащихся. Вряд ли кто либо будет утверждать, что знания отличника равны сумме знаний двоечника и троечника (хотя 5 = 2 + 3), знания хорошиста соответствуют знаниям двух двоечников (2 + 2 = 4), а между знаниями отличника и троечника такая же разница, как между знаниями хорошиста и двоечника (5 — 3 = 4 — 2). Поэтому очевидно, что для анализа подобного рода качественных данных необходима не всем известная арифметика, а другая теория, дающая базу для разработки, изучения и применения конкретных методов расчета. Этой другой теорией и является репрезентативная теория измерений. Надо иметь в виду, что в настоящее время термин «теория измерений» применяется для обозначения целого ряда научных дисциплин: классической метрологии (она занимается в основном измерениями физических величин), РТИ, некоторых других направлений, например алгоритмической теории измерений.
Сначала РТИ развивалась как теория психофизических измерений. Основоположник современной РТИ американский психолог С. С. Стивенс в первой половине XX в. основное внимание уделял шкалам измерения. Характерен следующий этап развития РТИ. Выпущенная в США Энциклопедия психологических наук называлась «Психологические измерения», составители которой расширили сферу применения РТИ с психофизики на психологию в целом. В одной из статей под названием «Основы теории измерений» изложение шло на абстрактно-математическом уровне, без привязки к какой-либо конкретной области применения. В этой статье упор был сделан на «гомоморфизмах эмпирических систем с отношениями в числовые», и математическая сложность изложения возросла по сравнению с работами С. С. Стивенса. Уже в одной из первых отечественных статей по РТИ было установлено, что баллы, присваиваемые экспертами при оценке объектов экспертизы, как правило, измерены в порядковой шкале. Отечественные работы, появившиеся, привели к существенному расширению области использования РТИ. Ее применяли к педагогической квалиметрии (измерению качества знаний учащихся), в системных исследованиях, различных задачах теории экспертных оценок, для агрегирования показателей качества продукции, в социологических исследованиях и т. п.
Наряду с установлением типа шкалы был выдвинут поиск алгоритмов анализа данных, результат работы которых не меняется при любом допустимом преобразовании шкалы, т. е. является инвариантным относительно этого преобразования.
Основные шкалы измерения. В соответствии с РТИ при математическом моделировании реального явления или процесса следует, прежде всего, установить, в каких типах шкал измерены те или иные переменные. Тип шкалы задает группу допустимых преобразований шкалы. Верно и обратное — группа допустимых преобразований определяет тип шкалы. При этом термин «группа» понимают в том же смысле, что и в (высшей) алгебре.
Допустимые преобразования не меняют рассматриваемых в данной шкале соотношений между объектами измерения. Например, при измерении длины переход от аршинов к метрам не меняет соотношений между длинами рассматриваемых объектов: если первый объект длиннее второго, то это будет установлено и при измерении в аршинах, и при измерении в метрах.
Укажем основные виды шкал измерения и соответствующие группы допустимых преобразований. В шкале наименований (номинальной шкале) допустимыми являются все взаимно-однозначные преобразования. В этой шкале числа используют лишь как метки. Примерно так же, как при сдаче белья в прачечную, т. е. лишь для различения объектов. В шкале наименований измерены, например, номера телефонов, автомашин, паспортов, студенческих билетов. Пол людей тоже измерен в шкале наименований, а результат измерения принимает два значения — мужской и женский. Раса, национальность, цвет глаз и волос — это номинальные признаки. Последовательность букв в алфавите также измерена в шкале наименований. Никому не придет в голову складывать или умножать номера телефонов, такие операции не имеют смысла. Сравнивать буквы и говорить, например, что буква «П» лучше буквы «С», также никто не будет. Единственное, для чего годятся измерения в шкале наименований — это для различия объектов. Во многих случаях только это от них и требуется. Например, шкафчики в раздевалках для взрослых различают по номерам, т. е. числам, а в детских садах используют картинки, поскольку дети еще не знают чисел.
В порядковой шкале числа используют для установления порядка между объектами. Простейшим примером являются оценки знаний учащихся. В средней школе применяются оценки 2, 3, 4, 5, а в высших учебных заведениях — тот же смысл отражается словесно: неудовлетворительно, удовлетворительно, хорошо, отлично. Этим подчеркивается нечисловой характер оценок знаний учащихся. В порядковой шкале допустимыми являются все строго возрастающие преобразования.
Установление типа шкалы, т.е. задание группы допустимых преобразований шкалы измерения, является делом специалистов соответствующей прикладной области. Например, оценки привлекательности профессий социологи считают измеренными в порядковой шкале. Однако отдельные эксперты не соглашаются с ними, полагая, что выпускники школ пользуются шкалой с более узкой группой допустимых преобразований, например интервальной шкалой. Очевидно, эта проблема относится не к математике, а к наукам о человеке.
Оценки экспертов, как уже отмечалось, часто следует считать измеренными в порядковой шкале. Типичным примером являются задачи ранжирования и классификации промышленных объектов, подлежащих экологическому страхованию. Как показали многочисленные опыты, человек более правильно (и с меньшими затруднениями) отвечает на вопросы качественного, например сравнительного, характера, чем количественного. Так, ему легче сказать, какая из двух гирь тяжелее, чем указать их примерную массу в граммах.
Существует много других известных порядковых шкал. Например, в минералогии используют шкалу Мооса, по которой минералы классифицируются согласно критерию твердости, а именно: тальк имеет балл 1, гипс — 2, кальций — 3, флюорит — 4, апатит — 5, ортоклаз — 6, кварц — 7, топаз 8, корунд — 9, алмаз — 10. Порядковыми шкалами в географии являются: бофортова шкала ветров («штиль», «слабый ветер», «умеренный ветер» и т.д.), шкала силы землетрясений. В медицине порядковыми шкалами являются: шкала стадий гипертонической болезни (по Мясникову), шкала степеней сердечной недостаточности (по Стражеско — Василенко-Лангу), шкала степени выраженности коронарной недостаточности (по Фогельсону). Номера домов также измерены в порядковой шкале. При оценке качества продукции и услуг в квалиметрии единица продукции оценивается как годная или не годная. При более тщательном анализе используют шкалу с тремя градациями: есть значительные дефекты — присутствуют только незначительные дефекты — нет дефектов.
При оценке экологических воздействий первоначальная оценка обычно является порядковой: природная среда стабильна — природная среда угнетена (деградирует). Аналогично в эколого-медицинской шкале: нет выраженного воздействия на здоровье людей — отмечается отрицательное воздействие на здоровье. Порядковую шкалу используют и в иных областях.
Порядковая шкала и шкала наименований являются основными шкалами качественных признаков, поэтому во многих конкретных областях результаты качественного анализа можно рассматривать как измерения по этим шкалам.
К основным шкалам количественных признаков относятся шкалы интервалов, отношений, разностей, а также абсолютная шкала. По шкале интервалов измеряют величину потенциальной энергии или координату точки на прямой. В этих случаях на шкале нельзя отметить ни естественное начало отсчета, ни естественную единицу измерения. Допустимыми преобразованиями в шкале интервалов являются линейные возрастающие преобразования, т.е. линейные функции. Температурные шкалы Цельсия и Фаренгейта связаны именно такой зависимостью: °С = 5/9 (°F — 32), где °С — температура по шкале Цельсия, a °F — температура по шкале Фаренгейта.
Из количественных шкал наиболее распространенными в науке и практике являются шкалы отношений. В них есть естественное начало отсчета — нуль, т. е. отсутствие величины, но нет естественной единицы измерения. По шкале отношений измерены большинство физических единиц: масса тела, длина, заряд, а также цены в экономике. Допустимыми преобразованиями в шкале отношений являются подобные (изменяющие только масштаб), другими словами, линейные возрастающие преобразования без свободного члена.
Время измеряется по шкале разностей, если год принять в качестве естественной единицы измерения, и по шкале интервалов. Исходя из периодов обращения Земли вокруг Солнца и Луны вокруг Земли можно построить естественную единицу измерения времени, однако естественного начала отсчета указать на современном уровне знаний нельзя.
Только для абсолютной шкалы результатами измерений являются числа в обычном смысле слова. Примером является количество людей в комнате. Для абсолютной шкалы допустимым является только тождественное преобразование.
В процессе развития соответствующей области знания тип шкалы может меняться. Так, сначала температура измерялась по порядковой шкале (холоднее — теплее), затем по интервальной (шкалы Цельсия, Фаренгейта, Реомюра). Наконец, после открытия абсолютного нуля температур ее следует считать измеренной по шкале отношений (шкала Кельвина). Надо отметить, что среди специалистов иногда имеются разногласия по поводу того, по каким шкалам следует считать измеренными те или иные реальные величины. Другими словами, процесс измерения включает в себя и определение типа шкалы (вместе с обоснованием).
Инвариантные алгоритмы и средние величины. Репрезентативная теория измерений позволяет классифицировать алгоритмы анализа данных с помощью шкал измерения. Основное требование к алгоритмам анализа данных формулируется в РТИ так: выводы, сделанные на основе данных, измеренных в шкале определенного типа, не должны меняться при допустимом преобразовании шкалы измерения этих данных. Другими словами, выводы обязаны быть инвариантными по отношению к допустимым преобразованиям шкалы. Таким образом, одна из основных целей теории измерений заключается в борьбе с субъективизмом исследователя при приписывании численных значений реальным объектам. Так, расстояния можно измерять в аршинах, саженях, верстах, метрах, микронах, милях, и других единицах измерения. Массу (вес) — в пудах, килограммах, фунтах и др. Цены на товары и услуги можно указывать в юанях, тенге, гривнах, латах, кронах, тугриках, долларах США и других валютах. Подчеркнем очень важное, хотя и вполне очевидное обстоятельство: выбор единиц измерения зависит от исследователя, т. е. субъективен. Статистические выводы могут быть адекватны реальности только тогда, когда они не зависят от того, какую единицу измерения предпочтет исследователь, т.е. когда они инвариантны относительно допустимого преобразования шкалы.
С помощью математической теории, развитой А. И. Орловым, удается описать вид допустимых средних в основных шкалах:
в шкале наименований в качестве среднего годится только мода;
из всех средних по Коши в порядковой шкале в качестве средних можно использовать только члены вариационного ряда (порядковые статистики), в частности медиану (при нечетном объеме выборки; при четном же объеме следует применять один из двух центральных членов вариационного ряда — левую или правую медиану), но не среднее арифметическое, среднее геометрическое и т.д.;
в шкале интервалов из всех средних по Колмогорову можно применять только среднее арифметическое;
в шкале отношений из всех средних по Колмогорову устойчивыми относительно сравнения являются только степенные средние и среднее геометрическое.
Приведенные данные о средних величинах широко применяются, причем не только в теории экспертных оценок или социологии. Велико прикладное значение РТИ в задачах стандартизации и управления качеством, в частности в квалиметрии. Здесь есть и интересные теоретические результаты. Например, любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю (эта теорема доказана В. В. Подиновским).
Рассмотрим один из примеров, связанный с ранжировками и рейтингами.
Методы средних баллов. В настоящее время распространены экспертные, маркетинговые, квалиметрические, социологические и иные опросы, в которых опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п., а затем рассчитывают средние баллы и рассматривают их как интегральные (обобщенные, итоговые) оценки, выставленные коллективом опрошенных экспертов. Для вычисления средних величин обычно применяют среднее арифметическое. Специалисты по теории измерений уже более 25 лет знают, что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале. Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности. Поэтому представляется рациональным использовать одновременно оба метода — и метод средних арифметических рангов (баллов), и метод медианных рангов. Такая рекомендация находится в согласии с общенаучной концепцией устойчивости, рекомендующей применять различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.
Пример сравнения восьми проектов. Рассмотрим конкретный пример применения только что сформулированного подхода.
Рассмотренный пример демонстрирует сходство и различие ранжировок, полученных по методу средних арифметических рангов и методу медиан, а также пользу от их совместного применения.
Метод согласования кластеризованных ранжировок. Набор кластеризованных ранжировок (на статистическом языке — ранжировок со связями) может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами. Используют метод согласования кластеризованных ранжировок, позволяющий «загнать» противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочение кластеров соответствует одновременно всем исходным упорядочениям.
В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов. К таким областям относятся, прежде всего, экология, инженерный бизнес, менеджмент, экономика, социология, прогнозирование, научные и технические исследования и т.д., особенно те их разделы, которые связаны с экспертными оценками. В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Кластеризованные ранжировки могут быть получены как с помощью экспертов, так и путем сопоставления математических моделей с экспериментальными данными с помощью того или иного критерия качества.
Рассмотрим метод построения кластеризованной ранжировки, согласованной со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках.
В кластеры заключены объекты, но некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими (например, вычисление медианы Кемени, упорядочения по средним рангам или по медианам и т.п.), так и требовать привлечения новой информации из соответствующей прикладной области, проведения дополнительных научных или прикладных работ.
Введем необходимые понятия, затем сформулируем алгоритм согласования кластеризованных ранжировок в общем виде и рассмотрим его свойства.
Понятие противоречивости определяют для четверки математических объектов: двух кластеризованных ранжировок на одном и том же носителе и двух различных объектов — элементов того же носителя. При этом два элемента из одного кластера связывают символом равенства, как эквивалентные.
Предлагаемый алгоритм согласования некоторого числа (двух или более) кластеризованных ранжировок состоит из трех этапов. На первом этапе выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. На втором этапе формируются кластеры итоговой кластеризованной ранжировки, т. е. классы эквивалентности — связные компоненты графов, соответствующих объединению попарных ядер противоречий. На третьем этапе эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбираются по одному объекту из первого и второго кластеров; порядок между кластерами устанавливается такой же, какой существует между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок. Корректность подобного упорядочивания, т. е. его независимость от выбора той или иной пары объектов, вытекает из соответствующих теорем. Два объекта из разных кластеров согласующей кластеризованной ранжировки могут оказаться эквивалентными в одной из исходных кластеризованных ранжировок, т.е. находиться в одном кластере. В таком случае надо рассмотреть упорядоченность этих объектов в какой-либо другой из исходных кластеризованных ранжировок. Если же во всех исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к третьему этапу алгоритма), что они находятся в одном кластере и в согласующей кластеризованной ранжировке.
В случае ДА, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае ДА, С) кластер {5, 7} появился не потому, что относительно объектов 5 и 7 имеется противоречие, а потому, что в обеих исходных ранжировках эти объекты не различаются. В случае ДВ, С) объекты 1, 2, 3, 4 объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести достаточно полную декомпозицию задачи нахождения итогового мнения экспертов.
Основные математические задачи анализа экспертных оценок.
При анализе мнений экспертов можно применять самые разнообразные статистические методы, но описывать их — значит описывать практически всю прикладную статистику. Тем не менее, можно выделить следующие основные широко используемые в настоящее время методы математической обработки экспертных оценок: проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности); усреднение мнений экспертов внутри согласованной группы.
Поскольку ответы экспертов во многих процедурах экспертного опроса являются не числами, а объектами нечисловой природы (например, градациями качественных признаков, ранжировками, разбиениями, результатами парных сравнений, нечеткими предпочтениями и т.д.), то для их анализа оказываются полезными методы статистики объектов нечисловой природы.
Почему ответы экспертов часто носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека возникают образы, слова, но не числа, поэтому от эксперта не требуют ответ в форме чисел. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного, т.е. определяемого произвольно принятыми соглашениями, обычно оформленными в виде инструкций, характера балансовой прибыли, амортизационных отчислений и других экономических показателей. Поэтому, например, фраза «фирма стремится к максимизации прибыли» не может иметь строго определенного смысла. Достаточно спросить: «Максимизация прибыли, за какой период?» и сразу станет ясно, что степень оптимальности принимаемых решений зависит от горизонта планирования.
Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа «хороший», «приемлемый», «плохой», упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются «оцифровкой» их мнений, приписывая этим мнениям численные значения — баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности «оцифровки» выводы, полученные в результате обработки данных, могут не иметь отношения к реальности.
Проверка согласованности мнений экспертов и классификация экспертных мнений. Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало — усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико — усреднение является чисто формальной процедурой.
Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы — ранжировки или разбиения, и достаточно просты, если ответы — это результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но говорить о согласованности невозможно.
Эксперту гораздо легче сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т. е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластеранализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик нашла многочисленных продолжателей. Однако методы кластеранализа обычно являются эвристическими. В частности, невозможно с позиций статистической теории обосновать «законность» объединения двух кластеров в один. Имеется важное исключение: для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это — еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.
Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени, следует найти среднее мнение как решение оптимизационной задачи, называемое медианой Кемени.
Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в ряде работ, в частности показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который называют математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).
В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам.
Законы больших чисел показывают, во-первых, что медиана Кемени обладает устойчивостью по отношению к незначительному изменению состава экспертной комиссии; во-вторых, при увеличении числа экспертов она приближается к некоторому пределу. Его естественно рассматривать как истинное мнение экспертов, от которого каждый из них несколько отклонялся по случайным причинам.
Рассматриваемый здесь закон больших чисел является обобщением известного в статистике «классического» закона больших чисел. Он основан на иной математической базе — теории оптимизации, в то время как «классический» закон больших чисел использует суммирование. Упорядочения и другие бинарные отношения нельзя складывать, поэтому приходится применять иную математику.
Вычисление медианы Кемени является задачей целочисленного программирования. Для ее нахождения используют различные алгоритмы дискретной математики, в частности, основанные на методе ветвей и границ. Применяют также алгоритмы, основанные на идее случайного поиска, поскольку для каждого бинарного отношения нетрудно найти множество его соседей.
Экологические экспертизы
Хорошо известно, что в экологии активно используют методы экспертных оценок. Они позволяют решать многие проблемы управления охраной природы, обеспечивая при этом сочетание отраслевого и территориального принципов. Экологической экспертизе должны подвергаться все проекты хозяйственной и иной деятельности, оказывающей вредное воздействие на состояние окружающей среды. Заключения экспертов опираются на материалы по оценке воздействия на окружающую природную среду (ОВОС). Эта оценка проводится заказчиком проекта и включает в себя анализ, обобщение и распространение информации о таком воздействии, а также описание необходимых мер по охране окружающей природной среды. Оценка воздействия на окружающую природную среду производится с учетом экологической емкости и состояния окружающей среды в месте планируемого размещения объекта, перспектив социально-экономического развития региона, мощности и видов воздействия рассматриваемого объекта на окружающую природу, а также требований действующего природоохранного законодательства.
Задачами государственной экологической экспертизы являются определение уровня экологической опасности намечаемой или осуществляемой хозяйственной и иной деятельности, которая может в настоящем или будущем прямо или косвенно оказать воздействие на состояние окружающей среды и здоровье населения. Кроме того, проводится проверка соответствия проектируемой хозяйственной и иной деятельности требованиям природоохранного законодательства, а также определяется достаточность и обоснованность предусматриваемых проектом мер по охране природы. Государственная экологическая экспертиза организуется Министерством природных ресурсов Российской Федерации (МПР России) и его территориальными подразделениями. Государственная экологическая экспертиза проводится на основе принципов законности, научной обоснованности, комплексности, гласности и с учетом мнения общественности. В ней не должны участвовать лица, заинтересованные каким-либо образом в ее исходе. Для анализа правовых вопросов процедуры государственной экологической экспертизы и проверки законности составления проекта полезно участие квалифицированных юристов.
Перечень объектов государственной экологической экспертизы постоянно расширяется государственными органами. Ей подвергаются не только инвестиционные проекты в промышленности. Это и проекты различных государственных планов, программ, концепций, основных направлений и схем размещения производительных сил страны и отраслей народного хозяйства, другая предплановая, пред-проектная документация по развитию хозяйственной и иной деятельности, реализация которой может оказать воздействие на состояние окружающей среды. Это могут быть проекты инструктивно-методических и нормативно-технических документов, регламентирующих хозяйственную деятельность, документация по созданию новой техники, технологии, материалов и веществ, в том числе закупаемых за рубежом, ввозимая в Россию и вывозимая из России продукция. В последнее время экспертизе подвергается также экологическая ситуация в регионе в целом, а не только действующие предприятия и другие объекты, оказывающие влияние на состояние окружающей среды.
Важность государственной экологической экспертизы определяется тем, что реализация проекта, подлежащего экологической экспертизе, без положительного заключения государственной экологической экспертизы запрещается. Такой проект не подлежит финансированию. Последнее очень важно — иначе благие пожелания и призывы экологов могут «повиснуть в воздухе». Так уже произошло с сотнями объектов, строительство которых началось до окончательного утверждения проекта и получения комплексного заключения экспертизы. Отказ в открытии финансирования без заключения экспертизы является надежным барьером на пути любителей ставить общественность перед фактом — начатыми и проведенными работами. Не исключена возможность постановки вопроса о взыскании затраченных средств с виновных в незаконном строительстве (в судебном порядке) в случае признания его экологически вредным и небезопасным.
Установление и контроль экологических требований
Чтобы контролировать экологические требования, необходимо сначала их сформулировать, задать, описать. Необходимо сначала решить, «что такое хорошо и что такое плохо» с точки зрения экологии. Это не всегда просто. Начнем с обсуждения процедур установления экологических требований.
Установление экологических требований. Все нормативы качества окружающей природной среды принято подразделять на три группы.
Первую группу нормативов составляют санитарно-гигиенические нормативы, касающиеся вредных воздействий на организм человека. К ним относятся нормативы: предельно допустимых концентраций вредных химических веществ, биологических, физических и иных воздействий, санитарных зон, защитных зон, предельно допустимых уровней волнового или радиационного воздействия и т. п. Цель всех этих нормативов — задать показатели качества окружающей среды применительно к здоровью человека. Естественно, что главную роль в установлении ПДК играют врачи соответствующих специальностей. Каждый конкретный норматив ПДК, а их несколько тысяч, обосновывает соответствующий медицинский коллектив.
Основная идея в установлении ПДК состоит в том, что любой вид воздействия начинает отражаться на здоровье человека не сразу, а лишь достигнув некоторой границы. Более того, некоторые воздействия, например, радиационное или шумовое, имеются в виде фона, т.е. слабого воздействия, всегда. Если человека поместить в камеру, полностью поглощающую звуки, то в абсолютном безмолвии он будет чувствовать себя плохо. Некоторый уровень шума в окружающей среде необходим для нормальной жизнедеятельности человека. Но он не должен превышать ПДК.
Отметим, что ПДК фиксируется для определенных условий. Одно дело — единичное радиационное воздействие в течение нескольких секунд (например, рентгеновское обследование), и совсем другое — постоянное радиационное воздействие. В этих двух случаях ПДК различаются во много раз.
Вторую группу нормативов качества окружающей природной среды образуют экологические нормативы, касающиеся деятельности источников загрязнения, т.е. промышленных и сельскохозяйственных предприятий. Это нормативы на предельно допустимые выбросы и сбросы вредных веществ (ПДВ), предельно допустимые величины иных вредных воздействий (шумовых, вибрационных, волновых, радиационных и др.). Они устанавливают требования к источникам вредного воздействия, ограничивая его деятельность определенной предельной величиной (по каждому виду загрязнения). Нормативы ПДВ устанавливаются не по предприятиям и организациям, а по источникам выбросов и сбросов, поскольку на рассматриваемом объекте может быть несколько источников загрязнений. Нормативы второй группы проверяются при экологическом контроле и аудите, включаются в экологические паспорта предприятий, т.е. активно используются при конкретной работе государственных и общественных экологических организаций с источниками загрязнения окружающей природной среды.
В третью группу нормативов качества окружающей природной среды входят вспомогательные (по отношению к первым двум) нормы и правила, цель которых — обеспечить единство в употребляемой терминологии, проведении измерений, деятельности организационных структур и в правовом регулировании экологических отношений. Нормативы третьей группы дают организационно-правовое обеспечение нормативам первых двух групп. В то же время само по себе экологическое право является большой самостоятельной частью правовой науки и практики. К вспомогательным нормативам третьей группы можно отнести и те, которые относятся к вредному воздействию не на здоровье человека, а на жизнедеятельность различных представителей животного и растительного мира, в том числе на сельскохозяйственных животных и растения, леса, промысловых животных и водных обитателей.
В настоящее время система ПДК — наиболее разработанная часть системы нормативов качества окружающей природной среды.
Не всегда легко установить степень вредного воздействия того или иного технологического процесса, той или иной аварии. Например, в результате аварии произошла протечка вредного вещества на открытую площадку. Часть вредного вещества будет испаряться, и разноситься ветром. Часть будет просачиваться через почву и распространяться в ней, вплоть до водоносных слоев, а потом передвигаться вместе с подземными водами. Часть останется на месте пролива и может быть легко удалена при ликвидации протечки. Для оценки вредного воздействия нужно от качественных соображений переходить к численным результатам. Несколько лет назад выяснилось, что существует много математических моделей испарения жидкостей (не менее восьми), но все они дают различные результаты (иногда различающиеся на два порядка). Таким образом, необходимы дальнейшие исследования даже для только что рассмотренной ситуации, казалось бы простой.
Второй пример — выбросы из трубы заданной высоты при заданной скорости ветра. Для описания распространения выбросов существует целый ряд моделей, не согласующихся между собой, т.е. дающих разные численные значения.
Третий пример — оценка вредного воздействия в результате аварии, приведшей к выбросу в атмосферу опасных загрязнителей. Надо оценивать воздействие. Но на кого? На человека, находящегося в доме с закрытыми окнами и форточками? На человека в защитной или обычной одежде, или на человека, купающегося в реке рядом с предприятием? Ясно, что результаты будут совсем разными.
Понятно поэтому, что в настоящее время для установления ПДВ приходится прибегать к использованию различных методов экспертных оценок. Постепенно, с развитием математического и компьютерного моделирования распространения вредных веществ и воздействия иных загрязнителей, моделей возникновения и развития производственных аварий и анализа их последствий, установление ПДВ будет в большей степени опираться на расчетные методы. Однако нельзя не отметить, что научное изучение экологически опасных ситуаций зачастую приводит к возможности избежать таких ситуаций. Например, анализ причин аварий, очевидно, позволит сократить число аварий в будущем.
Создание системы оперативного оповещения о возможности аварий позволит в ситуации, описанной выше в третьем примере, существенно сократить потери. Люди зайдут в дома и закроют окна, чем во много раз сократят вредное воздействие. Те, кто по каким-то причинам не смогут это сделать, например работники завода, находящиеся на рабочих местах, наденут защитные плащи и противогазы (которые необходимо предварительно разместить в должном количестве там, где это необходимо).
Проблемы организации экологического контроля на предприятии. Установить экологические требования, т.е. нормировать экологическое поведение промышленных предприятий, других организаций и отдельных граждан — это еще не все. Необходимо добиться, чтобы эти требования соблюдались. А для этого необходимо знать, выполняются нормы или нет, т.е. нужен контроль экологических требований.
Как проводить контроль? Рассмотрим сначала простейший случай. Предположим, контролю подлежит одна сточная труба одной организации. По каким правилам контролировать эту трубу? Методика определения содержания экологически вредных веществ — это дело специалистов. Пусть такая методика заранее разработана, создана или закуплена необходимая аппаратура. Для принятия оперативных решений необходимо, чтобы результат анализа распечатывался в течение нескольких минут. А вот когда контролировать? Если каждый день забирать пробу в 12 ч 45 мин, то результат можно предсказать заранее — все показатели будут в норме. Зато по ночам через трубу будут сливать все накопившиеся за сутки сточные воды, даже не пытаясь их очистить. В реальной жизни довольно часто так и происходит. Без всякого контроля экологических служб предприятия сбрасывают в гидросферу и выбрасывают в атмосферу самые разные отходы, сколь бы опасны они ни были. Иногда эти экологические преступления могут быть обнаружены по оставленным следам, виновники найдены и наказаны, но в подавляющем большинстве случаев это не удается сделать. Почему? Ответ прост — единичный сброс или выброс экологически вредных веществ не меняет кардинально экологическую обстановку вокруг предприятия. Нанесенный вред проявляется лишь через некоторое время, после многократных нарушений установленных экологами норм (во многих промышленных городах уже трудно дышать; в реках нельзя купаться и тем более брать из них воду для питья, рыбы в них не осталось и т.д.). Как же быть? Очевидно, момент контроля не должен быть известен работникам предприятия. Им следует знать, что в любой момент времени могут войти экологи и взять пробу для анализа. И тогда им придется все время стремиться соблюдать нормы.
Итак, моменты контроля должны быть непредсказуемыми, случайными. Они могут определяться экологами на основе таблиц или датчиков (на ЭВМ) случайных чисел. Если контролируемых предприятий много, то математиками может быть составлена программа для компьютера, каждый день дающая экологам план взятия проб с тех или иных предприятий, причем не только работники этих предприятий, но и сами экологи не будут знать, кого им предстоит сегодня контролировать. Непредсказуемость моментов контроля обеспечит его объективность, и экологи будут знать реальное содержание экологически вредных веществ в сточных водах предприятия.
Исходя из общего принципа «загрязнитель платит» в случае постоянного экологического риска, когда используемая на предприятии технология с неизбежностью приводит к загрязнению окружающей природной среды, это предприятие должно возместить наносимый природе ущерб. Проблема обоснования величины сборов и штрафов ярко проявляется в тех нередких случаях, когда расчеты показывают, что экономически выгоднее не заниматься природоохранной деятельностью, а исправно платить сборы и штрафы. Подобная парадоксальная ситуация возможна лишь из-за явной заниженное экологических платежей. Ясно, что в перспективе такие платежи должны быть значительно повышены. Как считают многие специалисты, должны быть существенно повышены платежи за использование природных ресурсов, особенно при добыче полезных ископаемых. Такие платежи направлены не только на охрану природы. Они также играют роль ренты — важного инструмента перераспределения доходов хозяйствующих субъектов. Сверхприбыли нефтяных и газовых компаний должны в значительной части изыматься государством и использоваться на различные нужды, предусмотренные бюджетом страны.
Интегральные оценки экологической обстановки. Контроль за содержанием одного экологически вредного вещества состоит в сравнении измеренного значения с предельно допустимой концентрацией. Плохо, когда содержание вещества в пробе выше ПДК. Не допустимо, если ПДК превышена в десятки или сотни раз. Необходимо оценивать суммарный эффект большого числа вредных веществ.
Для вредных веществ со сходным действием на организм человека формула (2.3) используется постоянно, поскольку результаты воздействий таких веществ складываются. В общем случае формула (2.3) несколько завышает суммарный ущерб, поскольку воздействия различных веществ могут в какой-то мере компенсировать вред друг друга.
Ситуация усложняется, когда от контроля экологической обстановки на одном предприятии (и даже на одной сточной трубе) переходят к ее контролю на определенной территории. Сразу очевидна неоднородность территории с экологической точки зрения.
Например, рядом могут располагаться:
транспортная магистраль с недопустимо высокими уровнями шума и загазованности выхлопными газами автомобилей;
промышленное предприятие со сточными водами — отходами гальванического производства, выбросами в атмосферу — от сталеплавильных печей;
жилые дома, в целом экологически благополучные, но с отдельными экологически опасными точками и элементами (мусорными площадками, стаями одичавших собак, крысами и др.);
река, служащая сточной канавой для десятков предприятий, расположенных выше по течению;
лесопарковый массив, теоретически идеальный с экологической точки зрения, но уже загрязненный отдельными несанкционированными («дикими») свалками.
Дать обоснованную интегральную оценку качества экологической обстановки подобному району как целому нелегко. Однако такая оценка влияет, в частности, на стоимость жилья в тех или иных районах.
Проблема построения интегрального показателя качества экологической обстановки в настоящее время еще не решена окончательно. Для решения этой проблемы возможно применение такого показателя, как средняя ожидаемая продолжительность предстоящей жизни (СОППЖ) человека в тех или иных экологических условиях. Ее можно рассчитать исходя из погодовых коэффициентов смертности, т. е. на основе информации о возрасте умерших в конкретном регионе. Эти коэффициенты показывают, например, сколько мужчин из доживших до 49 лет умирает (в данном году и данном регионе) на 50-м году жизни. Однако в настоящее время на смертность населения гораздо большее влияние оказывают социально-экономические факторы, а не экологические, поэтому СОППЖ нельзя использовать как интегральный показатель экологической обстановки. Остается строить такой показатель с помощью методов экспертных оценок.
Выборочный экологический контроль. Число возможных точек контроля всегда превышает средства экологов. В качестве примера рассмотрим контроль состояния воздуха на улицах города. Теоретически было бы полезно знать ситуацию в целом, т.е. иметь информацию о содержании экологически вредных веществ (степени загазованности) во всех точках цилиндра, основание которого — территория города, а высота определяется возможностью распространения выхлопных газов вверх (например, 1 км). Практически же у экологов имеется возможность взять пробы воздуха в нескольких десятках или сотнях точек города (например, Москвы). Поэтому экологический контроль является выборочным, а не сплошным.
Выборочный контроль часто используется при контроле качества продукции и услуг. Основные идеи контроля на производстве и в экологии совпадают. Выборочный контроль, построенный на научной основе, т. е. исходящий из теории вероятностей и математической статистики, называют статистическим контролем. При статистическом контроле решение о генеральной совокупности, т. е. об экологической обстановке в данном регионе или о партии продукции, принимается по выборке, состоящей из некоторого количества единиц (единиц экологического контроля или единиц продукции), каждая из которых контролируется отдельно. Следовательно, выборка должна представлять партию, т. е. быть репрезентативной (представительной). Как эти слова понимать, как проверить репрезентативность? Ответ может быть дан лишь в терминах вероятностных моделей выборки.
Гипергеометрическое распределение соответствует случайному отбору единиц в выборку. Пусть среди N единиц, составляющих генеральную совокупность, имеется D дефектных. Случайность отбора означает, что каждая единица имеет одинаковые шансы попасть в выборку. Мало того, ни одна пара единиц не должна иметь при отборе в выборку преимущества перед любой другой парой. То же самое — для троек, четверок и т.д. Это условие выполнено тогда, когда каждое из С£ сочетаний по п единиц из N имеет одинаковые шансы быть отобранным в качестве выборки. Вероятность того, что будет отобрано заранее заданное сочетание, равна 1 /С£.
Близость результатов, получаемых с помощью биномиальной и гипергеометрической моделей, весьма важна с методологической точки зрения. Дело в том, что эти модели исходят из принципиально различных предпосылок. В биномиальной модели случайность присуща каждой единице, она с какой-то вероятностью дефектна, а с какой-то — годна. В то же время в гипергеометрической модели качество определенной единицы детерминировано, задано, фиксировано, а случайность проявляется лишь в отборе, вносится экологом, инженером или экономистом при составлении выборки.
В науках о человеке противоречие между аналогичными моделями выборки более выражено. Биномиальная модель предполагает, что поведение человека, в частности выбор определенного варианта при ответе на вопрос, определяется с участием случайных причин. Например, человек может случайно сказать «да», случайно — «нет». Некоторые философы и обществоведы, маркетологи и социологи отрицают присущую человеку случайность, а потому отвергают биномиальную модель. Они верят в причинность и считают поведение конкретного человека детерминированным, определенным теми или иными причинами. Поэтому они принимают гипергеометрическую модель и считают, что случайность отличия ответов в выборке от ответов во всей генеральной совокупности определяется всецело случайностью, вносимой при отборе единиц наблюдения в выборку.
Соотношение (2.6) показывает, что во многих случаях при анализе данных нет необходимости принимать чью-либо сторону в этом споре, поскольку обе модели дают близкие численные результаты. Отличия проявляются при обсуждении вопроса о том, какую выборку считать представительной. Является ли таковой выборка, составленная из 20 изделий, лежащих сверху в первом вскрытом ящике? В биномиальной модели — да, в гипергеометрической — нет.
Биномиальная модель легче для теоретического изучения, поэтому мы и будем ее рассматривать. При реальном контроле лучше (надежнее, обоснованное) формировать выборку исходя из гипергеометрической модели. Это делают, выбирая номера изделий (для включения в выборку) с помощью датчиков псевдослучайных чисел на ЭВМ или с помощью таблиц псевдослучайных чисел. Алгоритмы формирования выборки встраивают в современные программные продукты по статистическому контролю.
Планы статистического контроля и правила принятия решений.
Под планом статистического контроля понимают алгоритм, т.е. правила действий, при этом на входе — генеральная совокупность (партия продукции), а на выходе — одно из двух решений: «принять партию» либо «забраковать партию».
В реальной нормативно-технической документации (инструкциях по экологическому контролю, договорах на поставку, стандартах, технических условиях и т.д.) не всегда четко сформулированы планы статистического контроля и правила принятия решений. Например, при описании двухступенчатого плана контроля вместо задания приемочного числа с может стоять фраза «результат контроля второй выборки считается окончательным». Остается гадать, как принимать решение по второй выборке. Эколог или экономист, занимающийся вопросами экологического контроля или контроля качества, должен первым делом добиваться ясности в формулировках правил принятия решений, иначе неизбежны споры, судебные разбирательства, а в итоге — убытки.
Оперативная характеристика плана статистического контроля.
При практическом применении методов статистического приемочного контроля для нахождения оперативных характеристик планов контроля вместо формул, имеющих обозримый вид лишь для отдельных видов планов, применяют численные компьютерные алгоритмы или заранее составленные таблицы.
Таким образом, если входной уровень дефектности не превосходит, то вероятность забракования партии мала, т. е. не превосходит а.
Приемочный уровень дефектности выделяет зону А значений входного уровня дефектности, в которой нарушения экологической безопасности почти никогда не отмечаются, партии почти всегда принимаются, т. е. соблюдаются интересы проверяемого предприятия (в экологии) и поставщика (при контроле качества).
Если же входной уровень дефектности больше браковочного уровня дефектности, то нарушения почти наверняка фиксируются, партия почти всегда бракуется, т. е. экологи узнают о нарушениях, потребитель оказывается, защищен от попадания к нему партий со столь высоким уровнем брака. Поэтому можно сказать, что в зоне В наверняка соблюдаются интересы потребителя — брак к нему не попадает.
При выборе плана контроля часто начинают с определения приемочного и браковочного уровней дефектности. При этом выбор конкретного значения приемочного уровня дефектности отражает интересы поставщика, а выбор конкретного значения браковочного уровня дефектности — потребителя.
При практическом применении методов статистического приемочного контроля для нахождения приемочных и браковочных уровней дефектности планов контроля применяют численные компьютерные алгоритмы или заранее составленные таблицы, имеющиеся в нормативно-технической документации или научно-технических публикациях.
В бар зашли три зэка и заказали: гроб с костями, многоэтажку и то что мы строили. Официант им все принес и говорит: вот вам гроб с костями и многоэтажка. А то что вы строили – нет. Есть только то где вы были. Что заказали зэки?
Статью подготовил категорийный менеджер по работе с ключевыми клиентами Умберг Эмиль Дмитриевич. 
