Artificial Intelligence (AI)

Setting Up Automated Model Training Workflows with AWS S3 | by Khuyen Tran | Mar, 2024

Written by smirow

Der Open-Source-Ansatz zur Workflow-Automatisierung

Khuyen Tran
Auf dem Weg zur Datenwissenschaft

Bedenken Sie, dass Sie eine E-Commerce-Plattform sind, deren Ziel es ist, die Personalisierung von Empfehlungen zu verbessern. Ihre Daten befinden sich in S3.

Um Empfehlungen zu verfeinern, können Sie Empfehlungsmodelle jedes Mal, wenn eine neue Datei zu S3 hinzugefügt wird, mithilfe neuer Kundeninteraktionsdaten neu trainieren. Doch wie genau gehen Sie an diese Aufgabe heran?

Sofern nicht anders angegeben, stammen alle Bilder vom Autor

Zwei gängige Lösungen für dieses Problem sind:

  1. AWS Lambda: Ein serverloser Rechendienst von AWS, der die Ausführung von Code als Reaktion auf Ereignisse ermöglicht, ohne dass Server verwaltet werden müssen.
  2. Open-Source-Orchestratoren: Tools, die Arbeitsabläufe und Aufgaben automatisieren, planen und überwachen, normalerweise selbst gehostet.

Die Verwendung eines Open-Source-Orchestrators bietet Vorteile gegenüber AWS Lambda:

  • Rentabilität: Die Ausführung lang laufender Jobs auf AWS Lambda kann teuer sein. Open-Source-Orchestratoren ermöglichen Ihnen die Nutzung Ihrer Infrastruktur, wodurch Sie potenziell Kosten sparen können.
  • Schnellere Iteration: Das lokale Entwickeln und Testen von Workflows beschleunigt den Prozess und erleichtert das Debuggen und Verfeinern.
  • Umweltkontrolle: Durch die vollständige Kontrolle über die Laufzeitumgebung können Sie Ihre Entwicklungstools und IDEs nach Ihren Wünschen anpassen.

Obwohl Sie dieses Problem in Apache Airflow lösen könnten, wäre dafür eine komplexe Bereitstellungsinfrastruktur und -konfiguration erforderlich. Daher verwenden wir Kestra, das eine intuitive Benutzeroberfläche bietet und mit einem einzigen Docker-Befehl gestartet werden kann.

Fühlen Sie sich frei, herumzuspielen und den Quellcode dieses Artikels hier zu teilen:

Dieser Workflow besteht aus zwei Hauptkomponenten: Python-Skripten und Orchestrierung.

About the author

smirow

Leave a Comment