Оценка точности диагностического метода является необходимым этапом перед внедрением этого метода в эксплуатацию. Для примера рассматривается оценка точности диагностики асинхронного электрического двигателя, который является относительно простым объектом для проведения диагностики. Подход может применяться для двигателей постоянного тока, синхронных генераторов и других технических объектов.
Типовая формулировка задачи для диагностического метода: Если вероятность отказа на заданном горизонте прогнозирования превышает заданный порог вероятности отказа, то двигатель должен быть снят с эксплуатации. Допустимую вероятность отказа целесообразно выбирать из анализа системы более высокого уровня с учетом возможного дублирования двигателей. Например, в случае транспортного средства, приводимого в движение электрическими двигателями, недопустимой будет ситуация, если выйдут из строя несколько двигателей и транспортное средство встанет на маршруте. При использовании электродвигателей для транспортеров на производстве, необходимо оценивать риски остановки производства. Горизонт прогнозирования выбирается из особенностей бизнес процесса. Типичный горизонт - прогнозирование отказа в течении нескольких дней. Горизонт прогнозирования может назначаться в требуемых часах работы двигателя, в километрах пути, которое должно пройти транспортное средство, или в киловатт-часах, которые должен потребить электродвигатель или выработать генератор.
Для примера на рисунке приведена гистограмма отказов парка асинхронных двигателей. По оси абсцисс отложено условное время наработки двигателя, которое рассчитывается как реальное время работы двигателя умноженное на коэффициенты, учитывающие режим работы двигателя и изменяющиеся условия его эксплуатации.
Общепринятым подходом контроля качества диагностического метода является построение, ROC-кривой (Receiver Operating Characteristic), которая показывает соотношение чувствительности и специфичности диагностического метода при изменении порога принятия решения. Для построения ROC-кривой могут быть использованы существующие библиотечные методы (1).
ROC-кривая позволяет понять, насколько хорошо тест отличает не исправные двигатели от исправных двигателей вне зависимости от выбранного порога допустимой вероятности отказа. Чем выше кривая заходит в левый верхний угол, тем лучше тест. Важным критерием качества разработанного диагностического метода является показатель AUC (Area Under the Curve, площадь под кривой). Если AUC < 0.5, то это абсолютно бесполезная диагностическая методика (хуже случайного угадывания, например, подбрасыванием монетки). AUC = 1 - идеал абсолютно достоверного диагностического метода, к которой нужно стремиться.
Предполагается, что перед построением ROC-кривой уже имеется процедура, определяющая вероятность отказа двигателя. В простейшем случае это может быть правило - если параметр вышел за допуск, то вероятность отказа единица. Например, если сопротивление изоляции обмотки ротора двигателя меньше заданного ограничения, то предполагается достоверный отказ двигателя. На практике обычно используются более сложные алгоритмы оценки вероятности отказа. В частности, асинхронный двигатель, для которого на рисунке показана ROC кривая, имел минимальную систему непрерывного мониторинга его работы. По имеющимся датчикам тока проводилась оценка режима работы двигателя и соответственно рассчитывался износ и выработанный ресурс. Дополнительно в диагностический метод входил учет работы вентиляторов охлаждения и вводились коэффициенты учета сезонного фактора. Нагрузка на двигатель при расчетах задавалась исходя из имевшихся бизнес планов.
На рисунке ROC кривая, выбранного для примера асинхронного двигателя, показана сплошной синей линией. Зеленые точки на кривой соответствуют различным порогам срабатывания алгоритма идентификации неисправного двигателя. Случайные угадывания ложатся на пунктирную диагональ, которая приведена для сравнения. ROC кривая предложенного диагностического метода значительно отошла от диагонали к левому верхнему углу и имеет параметр AUC порядка 0.85.
Для тех же данных, ниже приведена зависимость точности (Precision) от полноты диагностической модели (Recall). При диагностике ответственных агрегатов более опасно не заметить дефектный агрегат, который спровоцирует серьезные производственные проблемы, чем ошибочно снять с эксплуатации еще исправный двигатель. Поэтому для рассматриваемого в примере двигателя целесообразно принять настройки метода, при которых полнота (recall) выявления дефектов на горизонте прогнозирования ближайших суток будет 0.85, а точность (precision) примерно 0.7.
Точность метода, в конечном счете будет определяться правильностью выбора и описания физических процессов износа и деградации элементов контролируемого агрегата в процессе его эксплуатации. Так же точность прогнозирования отказа может быть повышена увеличением информации от непрерывного мониторинга и периодического инструментального контроля двигателя - но эти возможности ограничиваются экономической целесообразностью. Рассматриваемый подход к оценке точности диагностического метода является достаточно общим и может быть использован не только для электрических двигателей.
(1) 3.4. Metrics and scoring: quantifying the quality of predictions — scikit-learn 1.8.0 documentation