Artificial Intelligence (AI)

Why You Should Never Use Cross-Validation | by Samuele Mazzanti | Mar, 2024

Written by smirow

Als Als Datenwissenschaftler benötige ich oft eine schnelle und schmutzige Schätzung der Leistung eines Vorhersagemodells für einen bestimmten Datensatz. Lange Zeit habe ich es durch Kreuzvalidierung gemacht. Dann wurde mir klar, dass ich völlig aus der Reihe geraten war. In der Tat,

Bei realen Problemen ist die Kreuzvalidierung völlig unzuverlässig.

Da ich wetten kann, dass viele Datenwissenschaftler immer noch auf diese Technik setzen, halte ich es für sehr relevant, tiefer in dieses Thema einzusteigen.

In diesem Artikel werde ich anhand eines Spielzeugbeispiels und eines realen Datensatzes die Gründe untersuchen, warum Kreuzvalidierung niemals eine gute Wahl ist, wenn es um Probleme der realen Welt geht.

Kreuzvalidierung ist eine Modellvalidierungstechnik, mit der eine Schätzung der Leistung eines auf einem Datensatz trainierten Modells auf einem neuen (unsichtbaren) Datensatz erhalten wird.

Hinweis: Es gibt viele Arten der Kreuzvalidierung. Der Einfachheit halber wird in diesem Artikel Wenn wir von „Kreuzvalidierung“ sprechen, beziehen wir uns auf eine zufällige Kreuzvalidierung multipliziert mit KDies ist bei weitem die häufigste Art der Kreuzvalidierung.

Wie funktioniert die Kreuzvalidierung in der Praxis?

Angenommen, wir haben einen Datensatz für ein Modell für maschinelles Lernen bereit, d. h. eine Matrix von Prädiktoren (die wir „…“ nennen). X) und einen Vektor, der die Zielvariable enthält (die wir nennen y).

Bei der Kreuzvalidierung wird jede Zeile im Datensatz einer der folgenden zugeordnet K Falten (normalerweise K=5). Beachten Sie, dass die Zuweisung völlig zufällig erfolgt, um sicherzustellen, dass alle Faltungen ungefähr die gleiche Anzahl an Zeilen haben.

Nehmen Sie zum Beispiel einen Datensatz bestehend aus 10 Zeilen und K=5.

Zufällige K-fache Kreuzvalidierung für einen Datensatz (K=5). [Image by Author]

Beim Kreuzvalidierungsprozess wird für jede Kombination ein anderes Modell trainiert K-1 Falte und messen Sie die Leistung an der verbleibenden Falte.

About the author

smirow

Leave a Comment