12.1. Примеры процедур экспертных оценок
Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт,
знания и интуицию специалистов. После второй мировой войны в рамках научного
движения, включающего в себя эконометрику, кибернетику, теорию управления,
менеджмент и исследование операций стала развиваться самостоятельная дисциплина
- теория и практика экспертных оценок.
Методы экспертных оценок - это
методы организации работы со специалистами-экспертами и анализа мнений
экспертов. Эти мнения обычно выражены частично в
количественной, частично в качественной форме. Экспертные исследования
проводят с целью подготовки информации для принятия решений ЛПР (лицом,
принимающим решения). Для проведения работы по методу экспертных оценок создают
Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР
деятельность экспертов, объединенных (формально или по существу) в экспертную
комиссию (ЭК).
Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например,
преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но
в сложных случаях заболевания или угрозе отчисления студента за плохую учебу
обращаются к коллективному мнению - симпозиуму врачей или комиссии
преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает
решение единолично. Но в сложных и ответственных ситуациях проводят военный
совет. Один из наиболее известных примеров такого рода - военный совет 1812 г.
в Филях, на котором под председательством М.И. Кутузова решался вопрос:
"Давать или не давать французам сражение под Москвой?"
Другой простейший пример экспертных
оценок - оценка исполненных командами номеров в КВН. Каждый из членов жюри
поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю
арифметическую оценку, которая и объявляется как коллективное мнение жюри
(отметим, что такой подход некорректен с точки зрения теории измерений).
В фигурном катании процедура усложняется - перед
усреднением отбрасываются самая большая и самая маленькая оценки. Это
делается для того, чтобы у судьи не было соблазна завысить оценку одной
спортсменке (например, соотечественнице) или занизить другой. Такие резко
выделяющиеся из общего ряда оценки будут сразу отброшены.
Экспертные оценки часто используются
при выборе - одного варианта технических устройств из нескольких, группы
космонавтов из многих претендентов, набора проектов научно-исследовательских
работ для финансирования из массы заявок, получателей кредитов из многих
желающих, при выборе инвестиционных проектов для реализации среди
представленных, при проведении тендера (выбора исполнителей заказа из многих
желающих) и т.д.
Существует масса методов получения
экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не
знает, кто еще является экспертом, а потому высказывает свое мнение независимо
от авторитетов. В других экспертов собирают вместе для подготовки материалов
для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у
друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано
и таково, чтобы статистические методы проверки согласованности мнений и затем
их усреднения позволяли принимать обоснованные решения. В других - число
экспертов растет в процессе проведения экспертизы, например, при использовании
метода "снежного кома" (о нем - дальше).
Не меньше существует и методов
обработки ответов экспертов, в том числе весьма насыщенных математикой и
компьютеризированных. Многие из них основаны на достижениях статистики объектов
нечисловой природы и других современных методах эконометрики и прикладной
статистики.
Один из наиболее известных методов экспертных оценок -
это метод "Дельфи". Название дано по
ассоциации с древним обычаем для получения советов и поддержки при принятии
решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых
вулканических газов. Жрицы храма, надышавшись отравы,
начинали пророчествовать, произнося непонятные слова. Специальные
"переводчики" - жрецы храма толковали эти слова и отмечали на вопросы
пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский
храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у
Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Эти
места и даты вытекают из высшего достижения современной исторической науки -
новой статистической хронологии.
В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В
первом туре эксперты называли вероятные даты тех или иных будущих
научно-технических свершений. Во втором туре каждый эксперт знакомился с
прогнозами всех остальных (без указания фамилий авторов прогнозов). Если его
прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою
позицию, и эксперт довольно часто изменял свои оценки, приближаясь к средним
значениям. Эти средние значения и выдавались заказчику как групповое мнение.
Надо сказать, что реальные результаты прогностического исследования оказались
довольно скромными - хотя дата высадки американцев на Луну была предсказана с
точностью до месяца, все остальные прогнозы провалились - холодного
термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.
Однако сама методика оказалась популярной - за последующие годы она
использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования
по методу Дельфи - 5 тыс. долларов США, но в ряде
случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.
Несколько в стороне от основного русла экспертных
оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи
технологии сценарных экспертных прогнозов. Социально-экономическое или
экологическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако
решения органов власти, отдельных лиц, иные события, например, землетрясения, меняют условия, в которых живет население и текут экономические
процессы, и события развиваются по-иному, чем ранее предполагалось. Например,
вполне очевидно, что после первого тура президентских выборов 1996 г. о
дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если
победит Б.Н. Ельцин, то будет то-то и то-то, а если победит Г.А. Зюганов, то
события пойдут так-то и так-то.
Метод сценариев необходим не только в
экологической или социально-экономической области. Например, при разработке
методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог
сценариев аварий, связанных с утечками токсических химических веществ. Каждый
из таких сценариев описывает аварию своего типа, со своим индивидуальным
происхождением, развитием, последствиями, возможностями предупреждения.
Таким
образом, метод сценариев - это метод декомпозиции задачи прогнозирования,
предусматривающий выделение набора отдельных вариантов развития событий
(сценариев), в совокупности охватывающих все возможные варианты развития. При
этом каждый отдельный сценарий должен допускать возможность достаточно точного
прогнозирования, а общее число сценариев должно быть обозримо.
Возможность
подобной декомпозиции не очевидна. При применении метода сценариев необходимо
осуществить два этапа исследования:
-
построение исчерпывающего, но обозримого набора сценариев;
-
прогнозирование в рамках каждого конкретного сценария с целью получения ответов
на интересующие исследователя вопросы.
Каждый
из этих этапов лишь частично формализуем. Существенная часть рассуждений
проводится на качественном уровне, как это принято в общественно-экономических
и гуманитарных науках. Одна из причин заключается в том, что стремление к
излишней формализации и математизации приводит к искусственному внесению
определенности там, где ее нет по существу, либо к использованию громоздкого
математического аппарата. Так, рассуждения на словесном уровне считаются
доказательными в большинстве ситуаций, в то время как попытка уточнить смысл
используемых слов с помощью, например, теории нечетких множеств
приводит к весьма громоздким математическим моделям.
Набор сценариев должен быть обозрим.
Приходится исключать различные маловероятные события - прилет инопланетян,
падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по
себе создание набора сценариев - предмет экспертного исследования. Кроме того,
эксперты могут оценить вероятности реализации того или иного сценария.
Прогнозирование
в рамках каждого конкретного сценария с целью получения ответов на интересующие
исследователя вопросы также осуществляется в соответствии с описанной выше
методологией прогнозирования. При стабильных условиях могут быть применены
статистические методы прогнозирования временных рядов. Однако этому
предшествует анализ с помощью экспертов, причем зачастую прогнозирование на
словесном уровне является достаточным (для получения интересующих исследователя
и ЛПР выводов) и не требующим количественного уточнения.
Как известно, при
принятии решений на основе анализа ситуации, в том числе результатов
прогнозных исследований, можно исходить из различных критериев. Так, можно
ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или
средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия,
обеспечивающие минимально допустимые полезные результаты при любом варианте
развития ситуации, и т.д.
Еще один вариант экспертного
оценивания - мозговой штурм. Организуется он как собрание экспертов, на
выступления которых наложено одно, но очень существенное ограничение - нельзя
критиковать предложения других. Можно их развивать, можно высказывать свои
идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь"
друг от друга, высказывают все более экстравагантные соображения. Часа через
два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается
второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30
заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать
прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект -
прибыль, повышение технологической или экологической безопасности и т.п. При
этом интерпретация идей - творческий процесс. Например, при обсуждении
возможностей защиты кораблей от торпедной атаки была высказана идея:
"Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее
курс". После проработки эта идея привела к созданию специальных устройств,
создающих волны, сбивающиеся торпеду с курса.
Более подробно
рассмотрим отдельные этапы экспертного исследования.
