Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

Auf der I/O 2024 kündigte Google die nächste Gemma 2-Modellreihe an und veröffentlichte die leichten Modelle nun endlich unter einer Open-Source-Lizenz. Das neue Modell Gemma 2 27B soll vielversprechend sein und einige der größeren Modelle wie Llama 3 70B und Qwen 1.5 32B übertreffen. Um diese Aussage zu überprüfen, vergleichen wir Gemma 2 und Llama 3 – zwei der derzeit besten Open-Source-Modelle.

Kreatives Schreiben

Lassen Sie uns zunächst testen, wie gut Gemma 2 und Llama 3 beim kreativen Schreiben abschneiden. Der Autor des Artikels bat beide Modelle, eine Kurzgeschichte über die Beziehung zwischen Mond und Sonne zu schreiben. Beide schnitten sehr gut ab, aber Googles Gemma 2-Modell stach mit seiner interessanten Prosa und der guten Geschichte hervor.

Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?
Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

Andererseits wirkt das Llama 3 etwas langweilig und roboterhaft. Google war mit seinen Gemini-Modellen schon immer gut darin, Text zu generieren, und das kleinere Gemma 2 27B bildet da keine Ausnahme.

Gewinnoption: Gemma 2

Mehrsprachiges Testen

In der nächsten Runde wollen wir sehen, wie gut beide Modelle mit anderen Sprachen als Englisch umgehen. Da Google damit wirbt, dass Gemma 2 mehrere Sprachen gut versteht, habe ich es mit Metas Llama 3-Modell verglichen. Ich habe beide Modelle gebeten, einen Text in Hindi zu übersetzen. Sowohl Gemma 2 als auch Llama 3 schnitten sehr gut ab.

Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?
Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

Der Autor probierte auch eine weitere Sprache, Bengalisch, aus, und die Modelle zeigten eine ähnlich gute Leistung. Zumindest für indische Sprachen lässt sich sagen, dass Gemma 2 und Llama 3 auf einem großen Korpus gut trainiert wurden. Gemma 2 27B ist jedoch fast 2,5-mal kleiner als Llama 3 70B, was es noch beeindruckender macht.

Gewinnoptionen: Gemma 2 und Llama 3

Testen Sie Ihre Argumentation

Gemma 2 und Llama 3 gehören zwar nicht zu den intelligentesten Modellen auf dem Markt, können aber einige gängige Denktests genauso gut durchführen wie deutlich größere Modelle. Im vorherigen Vergleich zwischen Llama 3 und GPT-4 überzeugte Metas 70B-Modell, da es trotz seiner geringeren Größe eine recht gute Intelligenz zeigte.

Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?
Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

In dieser Runde schlug Lama 3 Gemma 2 mit großem Abstand. Lama 3 beantwortete zwei von drei Fragen richtig, während Gemma 2 Mühe hatte, auch nur eine richtig zu beantworten. Gemma 2 war einfach nicht darauf trainiert, komplexe Denkaufgaben zu lösen.

Llama 3 hingegen verfügt über eine solide Argumentationsgrundlage, die höchstwahrscheinlich aus dem Token-Datensatz abgeleitet wurde. Trotz seiner geringen Größe – zumindest im Vergleich zu Billionen-Parameter-Modellen wie GPT-4 – weist es ein überdurchschnittliches Maß an Intelligenz auf. Letztendlich führt die Verwendung von mehr Token zum Trainieren des Modells tatsächlich zu einem robusteren Modell.

Gewinnoption: Lama 3

Folgen Sie den Anweisungen

In der nächsten Runde baten die Autoren Gemma 2 und Llama 3, zehn Wörter mit der Endung „NPU“ zu generieren. Llama 3 erzielte 10 von 10 richtigen Antworten. Gemma 2 hingegen generierte nur 7 von 10 korrekten Sätzen. In vielen früheren Versionen folgten Google-Modelle, darunter auch Gemini, den Benutzeranweisungen nicht korrekt. Dieser Trend setzte sich auch bei Gemma 2 fort.

Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?
Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

Das Befolgen von Benutzeranweisungen ist für KI-Modelle sehr wichtig. Es gewährleistet Zuverlässigkeit und generiert präzise Antworten auf Ihre Anweisungen. Auch in puncto Sicherheit trägt es dazu bei, das Modell auf dem Boden zu halten und Sicherheitsprotokolle besser einzuhalten.

Gewinnoption: Lama 3

Informationen finden

Sowohl Gemma 2 als auch Llama 3 haben eine Kontextlänge von 8.000 Token. Der Autor fügte einen riesigen Textblock hinzu, der direkt aus dem Buch „Stolz und Vorurteil“ stammt und über 17.000 Zeichen und 3,8.000 Token umfasst. Wie üblich platzierte der Autor irgendwo im Text ein zufälliges Zitat und bat beide Modelle, es zu finden.

Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

Gemma 2 fand die Information schnell und wies darauf hin, dass die Anweisung zufällig eingefügt wurde. Auch Llama 3 fand sie und wies darauf hin, dass die Anweisung fehl am Platz wirkte. Was den langen Kontextspeicher betrifft, sind beide Modelle, obwohl auf 8.000 Token begrenzt, in dieser Hinsicht recht leistungsstark.

Beachten Sie, dass der Autor diesen Test auf HuggingChat (Web) ausgeführt hat, da meta.ai sich geweigert hat, diese Eingabeaufforderung auszuführen, höchstwahrscheinlich aufgrund urheberrechtlich geschützter Inhalte.

Gewinnoptionen: Gemma 2 und Llama 3

Auf Halluzinationen prüfen

Kleinere Modelle neigen aufgrund begrenzter Trainingsdaten zu KI-Halluzinationen und erfinden oft Informationen, wenn das Modell auf unbekannte Themen trifft. Daher verwendete der Autor einen erfundenen Ländernamen, um zu testen, ob Gemma 2 und Llama 3 halluzinieren würden. Überraschenderweise taten sie dies nicht, was bedeutet, dass sowohl Google als auch Meta eine recht gute Grundlage für ihre Modelle haben.

Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?
Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?
Ist Gemma 2 oder Llama 3 das beste Open-Source-Modell?

Der Autor stellte außerdem eine weitere (falsche) Frage, um die Gültigkeit der Modelle zu testen, doch auch hier halluzinierte er nicht. Übrigens testete der Autor Llama 3 auf HuggingChat, während meta.ai im Internet nach aktuellen Informationen zu verwandten Themen suchte.

Gewinnoptionen: Gemma 2 und Llama 3

Abschließen

Googles Gemma 2 27B-Modell schneidet zwar bei Denktests nicht gut ab, ist aber für eine Reihe anderer Aufgaben geeignet. Es eignet sich hervorragend für kreatives Schreiben, unterstützt mehrere Sprachen, hat ein gutes Gedächtnis und – das Beste – verursacht keine Halluzinationen wie frühere Modelle.

Llama 3 ist natürlich besser, aber auch ein deutlich größeres Modell, das mit 70 Milliarden Parametern trainiert wurde. Entwickler werden das Gemma 2 27B-Modell für viele Anwendungsfälle nützlich finden. Für Inferenz ist auch das Gemma 2 9B verfügbar.

Darüber hinaus sollten Nutzer einen Blick auf den Gemini 1.5 Flash werfen, der ebenfalls ein deutlich kleineres Modell ist und ebenfalls multimodale Eingabe unterstützt. Außerdem ist er extrem schnell und effizient.

Sign up and earn $1000 a day ⋙

Leave a Comment

So ändern Sie Maßeinheiten in Apple Maps

So ändern Sie Maßeinheiten in Apple Maps

Mit der Apple Maps-Anwendung können Sie die Maßeinheit je nach Bedarf und Nutzungsgewohnheiten der jeweiligen Person zwischen km, Meile und Meilen ändern.

7 ChatGPT- und KI-Apps zur kostenlosen Reiseplanung

7 ChatGPT- und KI-Apps zur kostenlosen Reiseplanung

Diese kostenlosen Reiseplanungs-Apps verwenden KI- und Machine-Learning-Tools wie ChatGPT, um Ihre Reiseroute in Sekundenschnelle vorzubereiten.

So verwenden Sie Gemini über die Adressleiste von Google Chrome

So verwenden Sie Gemini über die Adressleiste von Google Chrome

Google integriert KI-Funktionen in den Google Chrome-Browser und nutzt seit neuestem Gemini aus der Google Chrome-Adressleiste.

4 Möglichkeiten zum Ändern des Benutzerkontotyps in Windows

4 Möglichkeiten zum Ändern des Benutzerkontotyps in Windows

Neben der Erstellung mehrerer Benutzer können Sie in Windows 10 auch die Aktionen anderer Benutzer auf einem gemeinsam genutzten PC einschränken, indem Sie mehrere Arten von Konten bereitstellen, nämlich Standardbenutzerkonten und Administratorkonten.

10 nützliche Tastenkombinationen zur Steigerung der Produktivität in Microsoft Edge

10 nützliche Tastenkombinationen zur Steigerung der Produktivität in Microsoft Edge

Tastaturkürzel sind ein großartiges Produktivitätstool, insbesondere für diejenigen, deren Arbeit viel Tipparbeit erfordert.

Schwerwiegender Fehler zwingt Google, die KI-Funktion zum Erstellen von Bildern mit Text zu pausieren

Schwerwiegender Fehler zwingt Google, die KI-Funktion zum Erstellen von Bildern mit Text zu pausieren

Google hat angekündigt, dass es die Funktion zur Generierung von Personenbildern aus Text seines KI-Modells Gemini aufgrund eines schwerwiegenden historischen Fehlers aussetzt.

So verwenden Sie Copilot in PowerPoint

So verwenden Sie Copilot in PowerPoint

Copilot hilft Ihnen dabei, Ihren PowerPoint-Inhaltsfolien kreative Ideen hinzuzufügen oder den schlechten Inhalt Ihrer Präsentationsfolien zu korrigieren.

So löschen Sie Google Gemini-Konversationen

So löschen Sie Google Gemini-Konversationen

Anstatt Ihren gesamten Google Gemini-Verlauf zu löschen, können Sie auch nur die gewünschten Konversationen löschen. Dieser Artikel führt Sie durch das Löschen Ihrer Google Gemini-Konversationen.

So führen Sie ein Downgrade von iOS 16 Beta 1 auf iOS 15 durch

So führen Sie ein Downgrade von iOS 16 Beta 1 auf iOS 15 durch

In diesem Artikel erklärt Ihnen WebTech360, wie Sie ein Downgrade von iOS 16 Beta auf iOS 15 durchführen.

Die besten Apps zur Überwachung der Telefonnutzung von Kindern

Die besten Apps zur Überwachung der Telefonnutzung von Kindern

Hier ist eine Liste der besten Apps zur Kindersicherung, die Ihnen beim Vergleich der verschiedenen verfügbaren Optionen hilft.

So heften Sie Mediensteuerungen an das Chromebook-Regal an

So heften Sie Mediensteuerungen an das Chromebook-Regal an

Um diese Funktion nutzen zu können, muss auf Ihrem Chromebook Chrome OS 89 oder höher ausgeführt werden.

So beenden Sie die Freigabe des Safari-Webverlaufs auf mehreren Geräten

So beenden Sie die Freigabe des Safari-Webverlaufs auf mehreren Geräten

Der Safari-Browser teilt den Webverlauf mit anderen Apple-Geräten, die dasselbe iCloud-Konto verwenden. Viele Menschen, die sich um ihre Privatsphäre sorgen, können den Artikel lesen, um die Freigabe zu unterbinden.

So ändern Sie die Größe von Bildern in Photoshop richtig

So ändern Sie die Größe von Bildern in Photoshop richtig

Viele Leute fanden das Ändern der Bildgröße sehr lästig, bis sie von der einfachen kanalbasierten Schutzmethode von Photoshop erfuhren.

Neuester Grand Piece Online-Code 25.04.2025 So geben Sie den Belohnungscode ein

Neuester Grand Piece Online-Code 25.04.2025 So geben Sie den Belohnungscode ein

Hier sind die Grand Piece Online Codes, die aktualisiert werden, sobald neue Codes verfügbar sind. Einschließlich neuer Codes und alter Codes, die noch aktiv sind.

Wie man Schlaflosigkeit bei schwangeren Frauen in den letzten 3 Monaten heilt

Wie man Schlaflosigkeit bei schwangeren Frauen in den letzten 3 Monaten heilt

Im dritten Trimester schläft man während der Schwangerschaft oft am schwersten. Hier sind einige Möglichkeiten zur Behandlung von Schlaflosigkeit im dritten Trimester.