2.3 Особенности экспертного метода оценки качества
В квалиметрии экспертный метод применяется для измерения показателей качества, для определения значения весовых коэффициентов. Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.
Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:
- экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;
- в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждения экспертов; мнения экспертов должны быть независимыми;
- вопросы, поставленные перед экспертами, не должны допускать различного толкования;
- эксперты должны быть компетентны в решаемых вопросах;
- количество экспертов должно быть оптимальным;
- ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.
Качественный состав экспертной комиссии - важное условие экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым – инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.
Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.
Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специальной анкеты, в результате чего быстро и просто проверяется ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.
Весьма показательным является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.
При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности – отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.
Каждый эксперт дает одно из назначений отсчета, являющегося согласно основному постулату метрологии, случайным числом.
При подборе экспертов большое внимание уделяется согласованности мнений, которое характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации (К):
К = W 12S
n2 (m3 – m)
где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; n – число экспертов; m – число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).
Вопросы измерения качества изучает специальный раздел метрологии – квалиметрия.
Количественная характеристика одного или нескольких свойств объекта, составляющих его качество, называется показателем качества.
Измерение качества предполагает определение значений показателей качества и их последующее сравнение.
Методы измерения качества подразделяют на объективные (инструментальный, регистрационный, расчетный) и субъективные (экспертный, органолептический, социологический).
Похожие статьи
