выявление аномалий машинное обучение

Детектирование аномалий с помощью автоенкодеров на Python

Детектирование аномалий — интересная задача машинного обучения. Не существует какого-то определенного способа ее решения, так как каждый набор данных имеет свои особенности. Но в то же время есть несколько подходов, которые помогают добиться успеха. Я хочу рассказать про один из таких подходов — автоенкодеры.

Какой датасет выбрать?

Самый актуальный вопрос в жизни любого дата-саентиста. Чтобы упростить повествование, я буду использовать простой по структуре датасет, который сгенерируем здесь же.

Рассмотрим пример работы функции. Создадим нормальное распределение с μ = 0.3 и σ = 0.05:

Объявим параметры нашего датасета:

И функции для генерирования примеров — нормальных и аномальных. Нормальными будут считаться распределения с одним максимумом, аномальными — с двумя:

Так выглядит нормальный пример:

Создадим массивы с признаками и метками:

И позволю себе немного схитрить. Для алгоритмов, работающих в две стадии, потребуется 2 обучающих выборки и 1 тестовая (валидационная). При работе с реальными данными пришлось бы урезать имеющиеся тренировочную и тестовую выборки, но мы можешь догенерировать данные (в больших количествах), чтобы более объективно оценить качество модели:

Модели

Перед тем, как перейти к теме статьи, проверим несколько алгоритмов детектирования аномалий из Sklearn: одноклассовый SVM и изолирующий лес. Это алгоритмы обучения без учителя, то есть они ориентируются только на представление данных, но не на обучающие метки.

One class SVM

OneClassSVM позволяет задать параметр nu — долю аномальных объектов в выборке.

Делаем предсказания на тестовом наборе:

Ну, такое. Довольно низкий f1-score свидетельствует о том, что модель плохо справляется с задачей.

Isolation forest

Окей, может быть, брат-близнец случайного леса сможет лучше справиться с задачей?

У изолирующего леса тоже есть параметр, отвечающий за долю аномальных объектов в выборке. Зададим его:

Classification report? — Classification report!

RandomForestClassifier

Конечно, всегда стоит проверять какой-нибудь простой вариант типа «а вдруг задача классификации окажется посильной для случайного леса?» Что ж, попробуем:

Autoencoder

В общем, случилась довольно обыденная для детектирования аномалий штука: ничего не сработало. Переходим к автокодировщикам.

Принцип работы автоенкодера состоит в том, что модель пытается сначала «сжать» данные, а потом восстановить их. Она состоит из 2 частей: Encoder’а и Decoder’а, которые занимаются сжатием и расшифровкой соответственно.

Изображение взято из статьи

Чтобы создать эффект «сжатия» данных, надо уменьшить скрытые слои, заставив их обрабатывать большее количество информации меньшим количеством нейронов.

Как этот эффект поможет нам? Теория информации говорит о том, что чем более вероятно событие, тем меньшее количество информации потребуется, чтобы описать это событие. Вспомним, что у нас всего лишь 9% аномалий и 91% нормальных объектов. Тогда для хранения информации об обычных объектах потребуется меньше информации, чем для запоминания аномальных. Но тогда, если мы подберем правильные параметры нейронной сети, то она сможет запоминать и восстанавливать только обычные объекты: на аномальные ей просто не будет хватать обобщающей способности.

Поэтому восстановленные моделью данные будут значительно отличаться от исходных.

Модель напишем на PyTorch, поэтому импортируем нужные модули:

Задаем гиперпараметры модели:

Очень важная часть. Тренировочный датасет должен состоять только из обычных объектов, потому что если модель увидит аномальные, то она может «подстроиться» под их восстановление и мы не сможем найти значительные отличия в исходных и восстановленных данных. Конечно, когда гиперпараметры модели (количество нейронов в скрытых слоях, learning rate, размер батча) подобраны правильно, то шанс неудачи понижается, но лучше перестраховаться.

Моделька. Скрытый слой будет иметь размер 4 нейрона, чтобы сымитировать неоптимальные параметры модели (для обычных примеров нам достаточно 2 нейронов: один для задания μ, другой — для σ, так мы полностью опишем распределение; но вот 4 нейрона могут восстановить распределение с двумя максимумами, как в наших аномальных примерах).

Чтобы как-то сравнивать loss’ы на нормальных и аномальных примерах, зададим функцию, строящую boxplot’ы ошибок:

На необученной модели функция выдает следующий результат:

Эпоха 50

Эпоха 100

Видим, что ошибки на аномальных и нормальных классах отличаются достаточно сильно. Сравним, как выглядят реальные и восстановленные данные:

Как модель отработает на нормальном примере:

Difference score

Самое очевидное — вычесть из аномального примера реальный. Тогда в том месте, где был второй пик, будет значение, большее нуля. И модель сможет легко это детектировать.

Как это происходит? При обучении автоенкодер стремится минимизировать ошибку на обучающей выборке. Поэтому difference_score на ней будет очень низок, и случайный лес (вторая модель) будет думать, что нужно поставить низкий порог значений, чтобы сдетектировать аномалию. Но когда мы начнем тестировать валидационную выборку, может выясниться, что средний уровень difference_score на неаномальных объектах выше, чем при обучении (потому что автоенкодер не видел такие объекты при обучении). И случайный лес не сможет адекватно обнаружить аномалии.

Оценим модель на валидационной выборке:

Уже лучше. Посмотрим на наши данные:

А что происходит с самими скорами? Нераспознанные аномалии:

Источник

Как использовать машинное обучение для обнаружения аномалий и мониторинга состояния

Дата публикации Dec 31, 2018

В этой статье я представлю несколько различных методов и приложений машинного обучения и статистического анализа, а затем покажу, как применять эти подходы для решения конкретного случая использования для обнаружения аномалий и мониторинга состояния.

Цифровое преобразование, цифровизация, Индустрия 4.0 и т. Д.

Обнаружение аномалий

Это подводит нас к одной из ключевых целей: как определить, являются ли точки данных нормальными или аномальными? В некоторых простых случаях, как на рисунке ниже,визуализация данныхможет дать нам важную информацию.

В этом случае двумерных данных (Икса такжеY), становится довольно легко визуально идентифицировать аномалии через точки данных, расположенные за пределами типичногораспределение, Однако, глядя на рисунки справа, невозможно определить выброс непосредственно из исследования одной переменной за раз: этосочетаниепеременной X и Y, которая позволяет нам легко идентифицировать аномалию. Это существенно усложняет ситуацию, когда мы масштабируемся от двух переменных до 10–100 с, что часто имеет место в практических применениях обнаружения аномалий.

Подключение к мониторингу состояния

Любая машина, будь то вращающаяся машина (насос, компрессор, газовая или паровая турбина и т. Д.) Или невращающаяся машина (теплообменник, ректификационная колонна, клапан и т. Д.), В конечном счете, окажется в плохом состоянии. Это может быть не фактический сбой или останов, а тот момент, когда оборудование больше не работает в своем оптимальном состоянии. Это сигнализирует о том, что может потребоваться некоторая деятельность по техническому обслуживанию для восстановления полного рабочего потенциала. Проще говоря, определение «состояния здоровья» нашего оборудования является областьюконтроль состояния,

Обе проблемы возникают по одной и той же причине: состояние сложного оборудования невозможно надежно оценить на основе анализа каждого измерения отдельно (как показано на рисунке 1 в вышеприведенном разделе об обнаружении аномалий). Мы должны скорее рассмотретьсочетаниеиз различных измерений, чтобы получить точное представление о ситуации

Технический раздел:

Трудно охватить темы машинного обучения и статистического анализа для обнаружения аномалий, не вдаваясь в некоторые более технические аспекты. Я все еще буду избегать слишком глубоких теоретических основ (но приведу несколько ссылок на более подробные описания). Если вас больше интересуют практические применения машинного обучения и статистического анализа, например, когда речь идет о. Мониторинг состояния, не стесняйтесь переходить к разделу «Вариант использования мониторинга состояния»

Подход 1: многомерный статистический анализ

Уменьшение размерности с использованием анализа главных компонентов: PCA

Поскольку работа с данными больших размеров часто сопряжена с трудностями, существует несколько методов, позволяющих уменьшить количество переменных (уменьшение размерности). Одним из основных методов являетсяАнализ главных компонентов(PCA), который выполняет линейное отображение данных в пространство меньшего размера таким образом, чтодисперсияданных в низкоразмерном представлении максимизируется. На практикековариационная матрицаданных строится исобственные векторыиз этой матрицы вычисляются. Собственные векторы, которые соответствуют наибольшим собственным значениям (главным компонентам), теперь можно использовать для восстановления большой доли дисперсии исходных данных. Оригинальное пространство признаков теперь уменьшено (с некоторой потерей данных, но, мы надеемся, сохранив наиболее важную дисперсию) до пространства, охватываемого несколькими собственными векторами.

Многофакторное обнаружение аномалий

Как мы отмечали выше, для выявления аномалий при работе с одной или двумя переменными визуализация данных часто может быть хорошей отправной точкой. Однако при масштабировании до многомерных данных (что часто имеет место в практических приложениях) такой подход становится все более сложным. Это к счастью гдемногомерная статистикаприходит на помощь

При работе с набором точек данных они обычно имеют определенное распределение (например,Гауссово распределение). Чтобы обнаружить аномалии более количественным способом, мы сначала вычислимраспределение вероятностейп(х) из точек данных. Тогда, когда новый пример,Икс,приходит, мы сравниваемп(х) с порогомр, Еслип(Х)

В контексте обнаружения аномалий и мониторинга состояния основная идея состоит в том, чтобы использовать сеть автоэнкодеров, чтобы «сжать» показания датчиков до более низкоразмерного представления, которое фиксируеткорреляциии взаимодействия между различными переменными. (По сути тот же принцип, что и в модели PCA, но здесь мы также учитываем нелинейные взаимодействия между переменными).

Затем сеть автокодера обучается на данных, представляющих «нормальное» рабочее состояние, с целью сначала сжать, а затем восстановить входные переменные. Во время уменьшения размерности сеть изучает взаимодействия между различными переменными и должна иметь возможность восстановить их обратно к исходным переменным на выходе. Основная идея заключается в том, что по мере ухудшения контролируемого оборудования это должно влиять на взаимодействие между переменными (например, изменения температуры, давления, вибрации и т. Д.). Когда это произойдет, вы начнете видеть повышенную ошибку в перестроении сетей входных переменных. Контролируя ошибку восстановления, можно, таким образом, получить индикацию «исправности» контролируемого оборудования, так как эта ошибка будет увеличиваться по мере деградации оборудования. Аналогично первому подходу использованияМахаланобис расстояниемы здесь используемраспределение вероятностейошибки реконструкции, чтобы определить, является ли точка данных нормальной или аномальной.

Сценарий мониторинга состояния: отказ подшипника редуктора

В этом разделе я рассмотрю практический пример использования для мониторинга состояния с использованием двух разных подходов, описанных выше. Поскольку большая часть данных, над которыми мы работаем с нашими клиентами, не является общедоступной, я предпочел продемонстрировать два подхода к данным, предоставленным НАСА, которые можно загрузитьВОТ,

Для этого варианта использования цель состоит в том, чтобы обнаружитьзубчатый подшипникухудшения характеристик двигателя и выдают предупреждение, которое позволяет принимать прогнозирующие меры для предотвращения отказа передачи (например, планового технического обслуживания / ремонта оборудования).

Экспериментальные детали и подготовка данных:

Три набора данных, каждый из которых состоял из четырех подшипников, работали до отказа при постоянной нагрузке и условиях эксплуатации. Сигналы измерения вибрации предоставляются для наборов данных в течение срока службы подшипников до отказа. Отказ произошел после 100 миллионов циклов с трещиной во внешней гонке (см. Документ readme со страницы загрузки для получения дополнительной информации об экспериментах). Поскольку оборудование работало до отказа, данные за первые два дня эксплуатации использовались в качестве обучающих данных для представления нормального и «здорового» оборудования. Оставшаяся часть наборов данных за время, предшествующее отказу подшипника, затем использовалась в качестве данных испытаний, чтобы оценить, могут ли различные методы обнаружить ухудшение подшипника до отказа.

Подход 1: расстояние PCA + Mahalanobis

Как более подробно объясняется в «Техническом разделе» этой статьи, первый подход состоял в том, чтобы сначала выполнитьАнализ главных компонентови затем рассчитатьМахаланобис расстояние(MD) для идентификации точек данных как нормальных или аномальных (признак деградации оборудования). Распределение MD для обучающих данных, представляющих «здоровое» оборудование, показано на рисунке ниже.

Используя распределение MD для «здорового» оборудования, мы можем определить пороговое значение для того, что считать аномалией. Из приведенного выше распределения мы можем, например, определить MD> 3 как аномалию Оценка этого метода для обнаружения деградации оборудования теперь состоит из вычисления MD для всех точек данных в тестовом наборе и сравнения его с определенным пороговым значением для пометки его как аномалии.

Оценка модели по данным испытаний:

Используя вышеприведенный подход, мы рассчитали MD для тестовых данных за период времени, предшествующий отказу подшипника, как показано на рисунке ниже.

На приведенном выше рисунке зеленые точки соответствуют вычисленному MD, тогда как красная линия представляет определенное пороговое значение для обозначения аномалии. Отказ подшипника происходит в конце набора данных, обозначенного черной пунктирной линией. Это показывает, что первый подход к моделированию смог обнаружить предстоящий отказ оборудования примерно за 3 дня до фактического отказа (где MD пересекает пороговое значение).

Теперь мы можем выполнить аналогичное упражнение, используя второй подход к моделированию, чтобы оценить, какой из методов работает лучше, чем другой.

Подход 2: Искусственная нейронная сеть

Как более подробно объяснено в «Техническом разделе» документа, второй подход состоял в использованииавтоассоциаторнейронная сеть для поиска аномалий (как выявлено в результате увеличения потерь при реконструкции из сети). Подобно первому подходу, мы также здесь используем распределение выходных данных модели для обучающих данных, представляющих «здоровое» оборудование, для обнаружения аномалий. Распределение потерь на реконструкцию (средняя абсолютная ошибка) для данных обучения показано на рисунке ниже:

Используя распределение потерь при реконструкции для «здорового» оборудования, мы теперь можем определить пороговое значение для того, что считать аномалией. Из приведенного выше распределения мы можем, например, определить потерю> 0,25 как аномалию. Оценка способа обнаружения деградации оборудования теперь состоит из расчета потерь на восстановление для всех точек данных в тестовом наборе и сравнения потерь с определенным пороговым значением для пометки этого как аномалии.

Оценка модели по данным испытаний:

Используя описанный выше подход, мы рассчитываем потери при восстановлении для данных испытаний за период времени, предшествующий отказу подшипника, как показано на рисунке ниже.

На приведенном выше рисунке синие точки соответствуют потерям на восстановление, тогда как красная линия представляет определенное пороговое значение для обозначения аномалии. Отказ подшипника происходит в конце набора данных, обозначенного черной пунктирной линией. Это показывает, что этот подход к моделированию также позволил обнаружить предстоящий отказ оборудования примерно за 3 дня до фактического отказа (когда потери при реконструкции пересекают пороговое значение).

Сводка результатов:

Как видно из вышеприведенных разделов о двух разных подходах к обнаружению аномалий, оба метода могут успешно обнаруживать предстоящий отказ оборудования за несколько дней до фактического отказа. В реальном сценарии это позволило бы принять прогнозирующие меры (техническое обслуживание / ремонт) перед отказом, что означает как экономию средств, так и потенциальную важность дляHSEаспекты отказа оборудования.

Перспективы:

Я полагаю, что в будущем машинное обучение будет использоваться гораздо большим количеством способов, чем мы можем себе представить сегодня. Как вы думаете, какое влияние это окажет на различные отрасли? Я хотел бы услышать ваши мысли в комментариях ниже.

Редактировать:Эта статья об обнаружении аномалий и мониторинге состояния получила много отзывов. Многие вопросы, которые я получаю, касаются технических аспектов и того, как настроить модели и т. Д. В связи с этим я решил написатьпоследующая статья, охватывающая все необходимые шаги в деталях, от предварительной обработки данных до построения моделей и визуализации результатов

Другие статьи:

Если вы нашли эту статью интересной, вам могут понравиться и другие мои статьи:

Источник

9 подходов для выявления аномалий

В предыдущей статье мы говорили о прогнозировании временных рядов. Логичным продолжением будет статья о выявлении аномалий.

Применение

Выявление аномалий используется в таких областях как:

1) Предсказание поломок оборудования

Так, в 2010 году Иранские центрифуги были атакованы вирусом Stuxnet, который задал неоптимальный режим работы оборудования и вывел из строя часть оборудования за счет ускоренного износа.

Если бы на оборудовании использовались алгоритмы поиска аномалий, ситуации выхода из строя можно было избежать.

Поиск аномалий в работе оборудования используется не только в атомной промышленности, но и в металлургии, и работе авиационных турбин. И в других областях, где использование предиктивной диагностики дешевле возможных потерь при непрогнозируемой поломке.

2) Предсказание мошеннических действий

Если с карты, которой вы пользуетесь в Подольске, снимают деньги в Албании, возможно, транзакции следует дополнительно проверить.

3) Выявление аномальных потребительских паттернов

Если часть клиентов демонстрирует аномальное поведение, возможно, есть проблема, о которой вы не знаете.

4) Выявление аномального спроса и нагрузки

Если продажи в магазине FMCG понизились ниже границы доверительного интервала прогноза, стоит найти причину происходящего.

Подходы к выявлению аномалий

1) Метод опорных векторов с одним классом One-Class SVM

Подходит, когда в обучающем наборе данные подчиняются нормальному распределению, а в тестовом содержат аномалии.

Одноклассовый метод опорных векторов строит нелинейную поверхность вокруг начала координат. Возможно задать границу отсечения, какие данные считать аномальными.

Исходя из опыта нашей команды DATA4, One-Class SVM самый часто используемый алгоритм для решения задачи поиска аномалий.

2) Метод изолирующего леса – isolate forest

При «случайном» способе построения деревьев выбросы будут попадать в листья на ранних этапах (на небольшой глубине дерева), т.е. выбросы проще «изолировать». Выделение аномальных значений происходит на первых итерациях работы алгоритма.

3) Elliptic envelope и статистические методы

Используется, когда данные нормально распределены. Чем ближе измерение к хвосту смеси распределений, тем более аномально значение.

К данному классу можно отнести и другие статистические методы.

Изображение с сайта dyakonov.org

4) Метрические методы

К методам относятся такие алгоритмы, как k ближайших соседей, k-го ближайшего соседа, ABOD (angle-based outlier detection) или LOF (local outlier factor).

Подходят, если расстояние между значениями в признаках равнозначны либо нормированы (чтобы не измерять удава в попугаях).

Алгоритм k ближайших соседей предполагает, что нормальные значения расположены в определенной области многомерного пространства, а расстояние до аномалий будет больше, чем до разделяющей гиперплоскости.

5) Кластерные методы

Суть кластерных методов заключается в том, что если значение удалено от центров кластеров более чем на определенную величину, значение можно считать аномальным.

Главное, использовать алгоритм, правильно кластеризующие данные, что зависит от конкретной задачи.

6) Метод главных компонент

Подходит, где выделяются направления наибольшего изменения дисперсии.

7) Алгоритмы на основе прогнозирования временных рядов

Идея заключается в том, что если значение выбивается из доверительного интервала предсказания, значение считается аномальным. Для предсказания временного ряда используются такие алгоритмы, как тройное сглаживание, S(ARIMA), бустинг и т.д.

Про алгоритмы прогнозирования временного ряда говорилось в предыдущей статье.

8) Обучение с учителем (регрессия, классификация)

Если данные позволяют, используем алгоритмы начиная от линейной регрессии и заканчивая рекуррентными сетями. Замерим разницу между предсказанием и фактическим значением, и сделаем вывод, насколько данные выбиваются из нормы. Важно, чтобы алгоритм обладал достаточной обобщающей способностью, и обучающая выборка не содержала аномальных значений.

9) Модельные тесты

Подойдем к задаче поиска аномалий как к задаче поиска рекомендаций. Разложим нашу матрицу признаков с помощью SVD или факторизационных машин, и значения в новой матрице, существенно отличающиеся от исходных, примем аномальными.

Изображение с сайта dyakonov.org

Заключение

В этой статье мы рассмотрели основные подходы к обнаружению аномалий.

Поиск аномалий во многом можно назвать искусством. Нет идеального алгоритма или подхода, применение которого решает все задачи. Чаще используется комплекс методов для решения конкретного кейса. Поиск аномалий осуществляется с помощью одноклассового метода опорных векторов, изолирующего леса, метрических и кластерных методов, а также с использованием главных компонент и прогнозирования временных рядов.

Если вы знаете другие методы, напишите про них в комментарии к статье.

Источник