Artificial Intelligence (AI)

How to perform anomaly detection with LOF

Written by smirow

Eine Einführung in die Ausreißererkennung mit dem Local Outlier Factor (LOF)-Algorithmus.

Amol Mavuduru
Auf dem Weg zur Datenwissenschaft
Foto von Priscilla Du Preez 🇨🇦 auf Unsplash

Die Erkennung von Anomalien ist zwar nützlich, wird aber in Kursen zum maschinellen Lernen oft ignoriert. Es gibt viele Anwendungen der Anomalieerkennung, insbesondere in Bereichen wie Betrugserkennung und Systemüberwachung.

Wenn Sie meinen Blog schon länger verfolgen, werden Sie sich daran erinnern, dass ich zuvor einen Artikel über die Verwendung von Isolationswäldern zur Anomalieerkennung geschrieben habe.

Neben Isolationswäldern gibt es auch eine weitere Anomalieerkennung, die sogenannte Local Outlier (LOF), die in der Praxis ebenfalls gut funktioniert. In diesem Artikel werde ich kurz auf den LOF-Algorithmus eingehen und auch zeigen, wie Sie diesen Algorithmus zur Anomalieerkennung in Python verwenden können.

Der LOF-Algorithmus ist ein unbeaufsichtigter Anomalieerkennungsalgorithmus. Es übernimmt Konzepte aus dem K-Nearest-Neighbors-Algorithmus und erstellt einen Anomalie-Score basierend auf dem Grad der Isolation eines Punktes von seinen lokalen Nachbarn. Die Grundannahme dieses Algorithmus besteht darin, dass Ausreißer oder Anomalien eine geringere Dichte (nächste Nachbarn) als andere Punkte aufweisen.

Um vollständig zu erklären, wie dieser Algorithmus Anomaliewerte berechnet, müssen wir vier Konzepte in der folgenden Reihenfolge verstehen:

  1. Abstand K
  2. Örtliche Erreichbarkeitsentfernung
  3. Lokaler abweichender Faktor

Abstand K

Der k-Abstand ist der Abstand zwischen einem Punkt und seinem k-ten nächsten Nachbarn. Der Wert, den wir für k auswählen, ist ein Hyperparameter für den LOF-Algorithmus, mit dem wir experimentieren können, um unterschiedliche Ergebnisse zu erzielen. Betrachten Sie das Diagramm unten, in dem der zweitnächste Punkt (oder der zweitnächste Nachbar) von Punkt A Punkt B ist, sodass der k-Abstand mit k = 2… ist.

About the author

smirow

Leave a Comment