Gadgets and Devices

Warum Grok, Elon Musks Unternehmen für künstliche Intelligenz, wichtig ist – und warum nicht

Written by smirow

Elon Musks xAI hat dieses Wochenende sein großes Grok-Sprachmodell als „Open Source“ veröffentlicht. Der Milliardär hofft offensichtlich, sein Unternehmen gegen seinen Konkurrenten OpenAI antreten zu lassen, der trotz seines Namens nicht besonders offen ist. Aber trägt die Veröffentlichung von Code von etwas wie Grok tatsächlich zur KI-Entwicklungsgemeinschaft bei? Ja und nein.

Grok ist ein von xAI trainierter Chatbot, der die gleiche vage definierte Rolle wie ChatGPT oder Claude erfüllt: Sie fragen ihn, er antwortet. Dieses LLM erhielt jedoch einen frechen Ton und zusätzlichen Zugriff auf Twitter-Daten, um es von den anderen zu unterscheiden.

Wie immer ist es fast unmöglich, diese Systeme zu bewerten, aber der allgemeine Konsens scheint zu sein, dass sie mit der neuesten Generation mittelgroßer Modelle wie GPT-3.5 konkurrenzfähig sind. (Ob Sie entscheiden, dass dies angesichts der kurzen Entwicklungszeit beeindruckend oder angesichts des Budgets und des Hypes um xAI enttäuschend ist, liegt ganz bei Ihnen.)

Ungeachtet dessen ist Grok ein modernes, funktionales LLM von beträchtlicher Größe und Leistungsfähigkeit, und je mehr Zugriff die Entwicklergemeinschaft auf das Innere solcher Dinge hat, desto besser. Das Problem besteht darin, „offen“ auf eine Weise zu definieren, die mehr bewirkt, als nur einem Unternehmen (oder einem Milliardär) die moralische Überlegenheit zu ermöglichen.

Dies ist nicht das erste Mal, dass die Begriffe „offen“ und „Open Source“ in der Welt der KI in Frage gestellt oder missbraucht werden. Und wir reden hier nicht nur über ein technisches Problem, etwa die Wahl einer Benutzerlizenz, die nicht so offen ist wie eine andere (Grok ist Apache 2.0, falls Sie sich fragen).

Zunächst einmal unterscheiden sich KI-Modelle von anderer Software dadurch, dass sie „Open Source“ sind.

Wenn Sie beispielsweise ein Textverarbeitungsprogramm erstellen, ist es relativ einfach, es Open Source zu machen: Sie veröffentlichen Ihren gesamten Code öffentlich und lassen die Community Verbesserungen vorschlagen oder eine eigene Version erstellen. Ein Teil dessen, was Open Source als Konzept so wertvoll macht, liegt darin, dass jeder Aspekt der Anwendung originell ist oder seinem ursprünglichen Ersteller zugeschrieben wird. Diese Transparenz und der Respekt vor der korrekten Namensnennung sind nicht nur ein Nebenprodukt, sondern zentral für das Konzept der Offenheit.

Mit KI ist dies wohl überhaupt nicht möglich, da die Art und Weise, wie Modelle für maschinelles Lernen erstellt werden, einen weitgehend unbekannten Prozess beinhaltet, bei dem eine riesige Menge an Trainingsdaten in eine komplexe statistische Darstellung destilliert wird, die kein Mensch wirklich steuert oder auch nur versteht. . Dieser Prozess kann nicht auf die gleiche Weise wie herkömmlicher Code überprüft, geprüft und verbessert werden. Obwohl es in gewisser Hinsicht immer noch einen immensen Wert hat, kann es nie wirklich geöffnet werden. (Die Normungsgemeinschaft hat noch nicht einmal definiert, was Offenheit in diesem Zusammenhang sein wird, diskutiert aber aktiv darüber.)

Dies hat KI-Entwickler und Unternehmen nicht davon abgehalten, ihre Modelle als „offen“ zu entwerfen und zu bezeichnen, ein Begriff, der in diesem Zusammenhang viel von seiner Bedeutung verloren hat. Manche nennen ihr Modell „offen“, wenn es eine öffentliche Schnittstelle oder API gibt. Manche nennen es „offen“, wenn sie einen Artikel veröffentlichen, der den Entwicklungsprozess beschreibt.

Vielleicht kommt das KI-Modell „Open Source“ am nächsten, wenn seine Entwickler es veröffentlichen Gewicht, das heißt, die genauen Attribute der unzähligen Knoten seiner neuronalen Netzwerke, die vektormathematische Operationen in einer präzisen Reihenfolge ausführen, um das durch die Eingabe eines Benutzers initiierte Modell zu vervollständigen. Aber selbst „offen gewichtete“ Modelle wie LLaMa-2 schließen andere wichtige Daten wie den Datensatz und den Trainingsprozess aus, die erforderlich wären, um sie von Grund auf neu zu erstellen. (Manche Projekte gehen natürlich noch weiter.)

Ganz zu schweigen von der Tatsache, dass für die Erstellung oder Reproduktion dieser Modelle Millionen von Dollar an Rechen- und Ingenieursressourcen erforderlich sind, wodurch diejenigen, die sie erstellen und reproduzieren können, effektiv auf Unternehmen mit beträchtlichen Ressourcen beschränkt sind.

Wo ist Groks Version von xAI in diesem Spektrum einzuordnen?

Als offenes Modell kann jeder es herunterladen, verwenden, modifizieren, verfeinern oder destillieren. Das ist gut! Gemessen an den Parametern scheint es eines der größten Modelle zu sein, auf das jeder auf diese Weise frei zugreifen kann – 314 Milliarden – was neugierigen Ingenieuren viel Spielraum lässt, wenn sie testen möchten, wie es nach verschiedenen Modifikationen funktioniert.

Die Größe des Modells hat jedoch gravierende Nachteile: Sie benötigen Hunderte Gigabyte Hochgeschwindigkeits-RAM, um es in dieser Rohform zu nutzen. Wenn Sie nicht bereits beispielsweise ein Dutzend Nvidia H100 in einem sechsstelligen KI-Inferenzsystem besitzen, klicken Sie nicht auf diesen Download-Link.

Und obwohl Grok wohl mit einigen anderen modernen Modellen konkurrenzfähig ist, ist es auch viel größer als diese, was bedeutet, dass mehr Ressourcen erforderlich sind, um das Gleiche zu erreichen. Es gibt immer noch eine Hierarchie von Größe, Effizienz und anderen Parametern, und das ist immer noch wertvoll, aber es geht mehr um den Rohstoff als um das Endprodukt. Es ist auch unklar, ob dies die neueste und beste Version von Grok ist, wie die deutlich optimierte Version, auf die einige über X Zugriff haben.

Insgesamt ist es eine gute Sache, diese Daten zu veröffentlichen, aber sie verändern das Spiel nicht so sehr, wie manche gehofft hatten.

Es ist auch schwer, sich nicht zu fragen, warum Musk das tut. Hat sich sein junges KI-Unternehmen wirklich der Open-Source-Entwicklung verschrieben? Oder ist das nur Schlamm in den Augen von OpenAI, mit dem Musk derzeit einen Kampf auf Milliardärsniveau führt?

Wenn sie sich wirklich der Open-Source-Entwicklung widmen, wird dies der erste von vielen sein und hoffentlich werden sie das Feedback der Community entgegennehmen, andere wichtige Informationen veröffentlichen, den Datentrainingsprozess charakterisieren und ihren Ansatz weiter erläutern. Wenn dies nicht der Fall ist und dies nur geschieht, damit Musk in Online-Diskussionen darauf hinweisen kann, ist es immer noch wertvoll – aber es ist nicht etwas, wofür irgendjemand in der KI-Welt vorgesehen ist. Es wird es unterstützen oder ihm danach viel Aufmerksamkeit schenken die nächsten paar Monate damit spielen. das Model.

About the author

smirow

Leave a Comment