Artificial Intelligence (AI)

The Promise of Edge AI and Approaches for Effective Adoption

Written by smirow

Das Versprechen von Edge AI und Ansätze für eine effektive EinführungDas Versprechen von Edge AI und Ansätze für eine effektive Einführung
Bild vom Herausgeber

Die heutige Technologielandschaft durchläuft einen entscheidenden Wandel hin zu Edge Computing, angetrieben durch schnelle Fortschritte bei generativer KI (GenAI) und traditionellen KI-Workloads. Diese KI-Arbeitslasten, die in der Vergangenheit vom Cloud Computing abhängig waren, stoßen nun auf die Einschränkungen cloudbasierter KI, einschließlich Datensicherheit, Souveränität und Netzwerkkonnektivität.

Durch die Umgehung dieser Einschränkungen cloudbasierter KI wollen Unternehmen Edge Computing nutzen. Die Fähigkeit von Edge Computing, Echtzeitanalysen und -reaktionen bei der Erstellung und Nutzung von Daten zu ermöglichen, ist der Grund, warum Unternehmen es als wesentlich für die KI-Innovation und das Wachstum ihres Unternehmens betrachten.

Mit ihrem Versprechen einer schnelleren Verarbeitung ohne oder mit minimaler Latenz kann Edge AI neue Anwendungen erheblich verändern. Auch wenn die Rechenleistung von Edge-Geräten immer besser wird, gibt es immer noch Einschränkungen, die die Implementierung hochpräziser KI-Modelle erschweren können. Technologien und Ansätze wie Musterquantifizierung, Nachahmungslernen, verteilte Inferenz und verteiltes Datenmanagement können dazu beitragen, Hindernisse für effizientere und kostengünstigere Edge-KI-Einsätze zu beseitigen, damit Unternehmen ihr wahres Potenzial ausschöpfen können.

Die KI-Inferenz in der Cloud wird oft durch Latenzprobleme beeinträchtigt, was zu Verzögerungen bei der Datenübertragung zwischen Geräten und Cloud-Umgebungen führt. Unternehmen sind sich der Kosten bewusst, die mit dem Verschieben von Daten zwischen Regionen, in die Cloud und zwischen der Cloud und dem Edge verbunden sind. Dies kann Anwendungen behindern, die extrem schnelle Echtzeitreaktionen erfordern, wie etwa Finanztransaktionen oder industrielle Sicherheitssysteme. Wenn Unternehmen außerdem KI-basierte Anwendungen an entfernten Standorten ausführen müssen, an denen die Netzwerkkonnektivität unzuverlässig ist, ist die Cloud nicht immer zur Hand.

Die Grenzen einer „nur Cloud“-KI-Strategie werden immer offensichtlicher, insbesondere für KI-gesteuerte Anwendungen der nächsten Generation, die schnelle Reaktionen in Echtzeit erfordern. Probleme wie Netzwerklatenz können die Informationen und Argumente verlangsamen, die an die Anwendung in der Cloud übertragen werden können, was zu Verzögerungen und erhöhten Kosten im Zusammenhang mit der Datenübertragung zwischen der Cloud und Edge-Umgebungen führt. Dies ist besonders problematisch für Echtzeitanwendungen, insbesondere in abgelegenen Gebieten, in denen die Netzwerkkonnektivität zeitweise unterbrochen ist. Während KI im Mittelpunkt der Entscheidungsfindung und Argumentation steht, kann die Physik der Datenverschiebung äußerst kostspielig sein und sich negativ auf die Geschäftsergebnisse auswirken.

Gartner prognostiziert, dass bis 2025 mehr als 55 % aller von tiefen neuronalen Netzen durchgeführten Datenanalysen am Erfassungspunkt in einem Edge-System stattfinden werden, gegenüber weniger als 10 % im Jahr 2021. Edge Computing trägt dazu bei, die Latenz, Skalierbarkeit und Daten zu reduzieren Sicherheit und Konnektivität. und andere Herausforderungen, die die Art und Weise verändern, wie die Datenverarbeitung verwaltet wird, und damit die Einführung von KI beschleunigen. Die Entwicklung von Anwendungen mit einem Offline-Ansatz wird für den Erfolg agiler Anwendungen von entscheidender Bedeutung sein.

Mit einer effektiven Edge-Strategie können Unternehmen mehr Wert aus ihren Anwendungen ziehen und Geschäftsentscheidungen schneller treffen.

Da KI-Modelle immer ausgefeilter und Anwendungsarchitekturen immer komplexer werden, wird die Herausforderung, diese Modelle auf Edge-Geräten unter Recheneinschränkungen bereitzustellen, immer größer. Allerdings ebnen technologische Fortschritte und sich weiterentwickelnde Methoden den Weg für die effektive Integration leistungsstarker KI-Modelle als Teil des Edge Computing, angefangen von:

Modellkomprimierung und Quantisierung

Techniken wie Modellbereinigung und Quantifizierung sind entscheidend, um die Größe von KI-Modellen zu reduzieren, ohne ihre Genauigkeit wesentlich zu beeinträchtigen. Durch die Modellbereinigung werden redundante oder unkritische Informationen aus dem Modell entfernt, während die Quantisierung die Präzision der in Modellparametern verwendeten Zahlen verringert, wodurch Modelle leichter und schneller auf Geräten mit eingeschränkten Ressourcen ausgeführt werden können. Die Modellquantifizierung ist eine Technik zur Komprimierung großer KI-Modelle, um die Portabilität zu verbessern und die Modellgröße zu reduzieren, wodurch sie leichter und für Edge-Bereitstellungen geeignet werden. Mithilfe von Feinabstimmungstechniken, einschließlich generalisierter Post-Training-Quantisierung (GPTQ), Low-Rank-Adaption (LoRA) und quantisierter LoRA (QLoRA), reduziert die Modellquantisierung die numerische Präzision von Modellparametern, wodurch die Modelle effizienter und für Edge-Geräte zugänglicher werden wie Tablets, Edge Gateways und Mobiltelefone.

Edge-spezifische KI-Frameworks

Die Entwicklung von KI-Frameworks und -Bibliotheken, die speziell für Edge Computing entwickelt wurden, kann den Prozess der Bereitstellung von Edge-KI-Workloads vereinfachen. Diese Frameworks sind für die Rechenbeschränkungen von Edge-Hardware optimiert und unterstützen eine effiziente Modellausführung mit minimalem Leistungsaufwand.

Datenbanken mit verteilter Datenverwaltung

Mit Funktionen wie Vektorsuche und Echtzeitanalysen helfen Sie dabei, die betrieblichen Anforderungen am Rande zu erfüllen und die lokale Datenverarbeitung zu unterstützen, indem Sie verschiedene Datentypen wie Audio, Bilder und Sensordaten verarbeiten. Dies ist besonders wichtig bei Echtzeitanwendungen wie autonomer Fahrzeugsoftware, bei denen ständig verschiedene Arten von Daten gesammelt werden und in Echtzeit analysiert werden müssen.

Verteilte Inferenz

Durch die Platzierung von Modellen oder Workloads auf mehreren Edge-Geräten mit lokalen Datenproben ohne tatsächlichen Datenaustausch können potenzielle Compliance- und Datenschutzprobleme gemildert werden. Für Anwendungen wie Smart Cities und industrielles IoT, die viele Edge- und IoT-Geräte umfassen, ist es entscheidend, die Verteilung der Inferenz zu berücksichtigen.

Obwohl KI hauptsächlich in der Cloud angegangen wird, wird es für die Beschleunigung von KI-Initiativen entscheidend sein, ein Gleichgewicht mit der Edge zu finden. Die meisten, wenn nicht alle Branchen haben KI und GenAI als Wettbewerbsvorteil erkannt. Deshalb wird das Sammeln, Analysieren und schnelle Erhalten aktueller Informationen immer wichtiger. Während Unternehmen ihren Einsatz von KI weiterentwickeln, wird die Implementierung von Modellquantifizierung, multimodalen Funktionen, Datenplattformen und anderen hochmodernen Strategien dazu beitragen, aussagekräftige Geschäftsergebnisse in Echtzeit zu erzielen.

Rahul Pradhan ist Vizepräsident für Produkt und Strategie bei Couchbase (NASDAQ: BASE), Anbieter einer führenden modernen Datenbank für Unternehmensanwendungen, auf die 30 % der Fortune-100-Unternehmen angewiesen sind. Rahul verfügt über mehr als 20 Jahre Erfahrung in der Leitung und Verwaltung von Entwicklungs- und Produktteams mit Fokus zu Datenbank-, Speicher-, Netzwerk- und Cloud-Sicherheitstechnologien. Vor Couchbase leitete er das Produktmanagement- und Geschäftsstrategieteam für die Geschäftsbereiche Emerging Technologies und Mid-Range Storage von Dell EMC, um alle NVMe-Flash-, Cloud- und SDS-Produkte auf den Markt zu bringen.

About the author

smirow

Leave a Comment