So installieren und führen Sie LLM lokal auf einem Android-Telefon aus

Durch die lokale Ausführung großer Sprachmodelle (LLMs) auf Ihrem Android-Smartphone können Sie auf KI-Modelle zugreifen, ohne auf Cloud-Server oder eine Internetverbindung angewiesen zu sein . Diese lokale Konfiguration gewährleistet Datenschutz, da Ihre Daten sicher und auf dem Gerät gespeichert bleiben. Dank der Fortschritte bei mobiler Hardware ist die lokale Ausführung von KI-Modellen Realität geworden. Mit der MLC Chat App können Sie diese leistungsstarke Technologie direkt auf Ihrem Smartphone erleben.

In diesem Artikel wird erläutert, wie wichtig es ist, LLM lokal auf Android-Telefonen auszuführen, und es werden schrittweise Anweisungen zur Installation und Ausführung mithilfe der MLC-Chat-App bereitgestellt.

Warum LLM auf einem Android-Telefon ausführen?

LLMs werden typischerweise auf Cloud-Servern ausgeführt, da sie erhebliche Rechenleistung erfordern. Android-Smartphones unterliegen zwar einigen Einschränkungen bei der Ausführung von LLMs, eröffnen aber auch interessante Möglichkeiten.

  • Verbesserter Datenschutz : Da alle Berechnungen auf dem Telefon stattfinden, bleiben Ihre Daten lokal, was für alle vertraulichen Informationen, die Sie weitergeben, wichtig ist.
  • Offline-Zugriff : Für den Zugriff auf diese Modelle und die Interaktion mit ihnen ist keine ständige Internetverbindung erforderlich. Dies ist besonders nützlich für Benutzer in abgelegenen Gebieten oder mit eingeschränkter Internetverbindung.
  • Kostengünstig : Der Betrieb von LLM auf Cloud-Servern verursacht Betriebskosten wie Cloud-Rechenleistung und Speicherplatz. Dieser Ansatz bietet eine kostengünstige Lösung für Benutzer.

Schritt-für-Schritt-Anleitung zum Installieren und Ausführen von MLC Chat auf Android

Die MLC-Chat-Anwendung ermöglicht Benutzern die lokale Ausführung und Interaktion mit großen Sprachmodellen (LLMs) auf verschiedenen Geräten, einschließlich Mobiltelefonen, ohne auf Cloud-basierte Dienste angewiesen zu sein. Befolgen Sie die folgenden Schritte, um LLMs lokal auf einem Android-Gerät auszuführen.

Schritt 1: Installieren Sie die MLC Chat-Anwendung

Zuerst müssen Sie die APK für die MLC Chat-App (112 MB) über den unten stehenden Link herunterladen.

MLC Chat-Anwendung APK-Datei

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus
Installieren Sie die MLC Chat-App

Sobald die APK heruntergeladen ist, tippen Sie auf die Datei, um die Installation zu starten.

Schritt 2: LLM herunterladen

Öffnen Sie die App nach erfolgreicher Installation. Sie sehen dann eine Liste der zum Download verfügbaren LLMs. Es stehen Modelle unterschiedlicher Größe und Kapazität zur Verfügung, wie zum Beispiel LLama-3.2, Phi-3.5 und Mistral. Wählen Sie das passende Modell aus und tippen Sie auf das Download-Symbol daneben, um den Download zu starten. Wenn Sie beispielsweise ein Mittelklasse-Smartphone wie das Redmi Note 10 verwenden, wählen Sie für eine reibungslosere Leistung ein leichtes Modell wie Qwen-2.5.

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus
LLM herunterladen

Schritt 3: Führen Sie das installierte LLM aus

Sobald das Modell heruntergeladen ist, wird daneben ein Chat-Symbol angezeigt. Tippen Sie auf das Symbol, um mit der Modellierung zu beginnen.

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus
Führen Sie das installierte LLM aus

Sobald das Modell fertig ist, können Sie mit der Eingabe von Eingabeaufforderungen und der Interaktion mit dem lokalen LLM beginnen.

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus

Auf einem Gerät wie dem Redmi Note 10 beispielsweise bietet die Ausführung eines kleineren Modells wie Qwen2.5 ein relativ reibungsloses Erlebnis und generiert etwa 1,4 Token pro Sekunde. Diese Leistung ist zwar langsamer als bei High-End-Geräten wie dem Galaxy S23 Ultra , funktioniert aber für grundlegende Aufgaben wie kurze Chats und die Erstellung einfacher Inhalte immer noch gut.

Die lokale Ausführung von LLM auf Android-Geräten über die MLC Chat-App bietet eine zugängliche und datenschutzfreundliche Möglichkeit zur Interaktion mit KI-Modellen. Die Leistung hängt stark von der Hardware des Telefons ab. Diese Lösung ist ideal für Nutzer, die Offline-Zugriff auf KI-Modelle benötigen, in Echtzeit mit LLM experimentieren oder sich um den Datenschutz sorgen. Mit der kontinuierlichen Verbesserung mobiler Hardware werden die Möglichkeiten des lokalen LLM stetig erweitert, was dies zu einem spannenden Bereich für die KI-Technologie macht.

Sign up and earn $1000 a day ⋙

Leave a Comment

So vergrößern Sie die Android-Tastatur

So vergrößern Sie die Android-Tastatur

Um die Navigation auf Ihrem Mobilgerät zu vereinfachen, können Sie die Schriftgröße unter Android ändern. Wenn Text, Schriftarten und Symbole besser zu erkennen sind, können Sie auch Ihre Android-Tastatur vergrößern.

Was ist der Unterschied zwischen Samsung- und Android-Telefonen?

Was ist der Unterschied zwischen Samsung- und Android-Telefonen?

Wer sich nicht mit Technik auskennt, kann leicht durch die verschiedenen Betriebssysteme, Hersteller, Gerätemodelle und Spezifikationen verwirrt werden. Ein Beispiel dafür ist die Annahme, Samsung und Android seien synonym, was nicht ganz richtig ist.

10 Samsung Galaxy-Funktionen, die jedes Android-Telefon kennen sollte

10 Samsung Galaxy-Funktionen, die jedes Android-Telefon kennen sollte

Wenn Sie bereits seit einigen Jahren ein Samsung-Telefon verwenden, werden Sie feststellen, dass die großartigen Funktionen der Galaxy-Reihe kaum zu übertreffen sind.

So erstellen Sie einen Screenshot auf dem Samsung Galaxy

So erstellen Sie einen Screenshot auf dem Samsung Galaxy

Auch das Erstellen von Screenshots ist auf Samsung Galaxy-Telefonen äußerst einfach.

So legen Sie die Standardlautstärke für jede Anwendung fest

So legen Sie die Standardlautstärke für jede Anwendung fest

In manchen Fällen ist es sinnvoll, für jede Anwendung eine Standardlautstärke festzulegen, beispielsweise wenn Sie mit der YouTube-Anwendung ein Video ansehen und die Lautstärke des Klingeltons und des Nachrichtentons verringern möchten, um nicht gestört zu werden.

So löschen und deinstallieren Sie Apps auf Android vollständig

So löschen und deinstallieren Sie Apps auf Android vollständig

Das vollständige Löschen und Deinstallieren einer App unter Android ist nicht immer so einfach wie das Tippen auf „Deinstallieren“. Stattdessen bleiben Dateien zurück und verstopfen Ihr System. Es gibt jedoch Möglichkeiten, diese loszuwerden.

Die besten Foto-Apps für iOS und Android

Die besten Foto-Apps für iOS und Android

Die Standard-Kamera-Apps auf Ihrem Handy bieten zwar viel, verfügen aber noch immer nicht über die nötigen erweiterten Tools für kreative Fotografie. Hier sind die besten Handy-Kamera-Apps.

So verwenden Sie Shelter zum Sandboxen von Apps auf Android

So verwenden Sie Shelter zum Sandboxen von Apps auf Android

Im folgenden Artikel erklärt Quantrimang, wie Shelter funktioniert und wie man dieses Tool verwendet.

9 Android-Bedienungshilfen, die jeder Benutzer ausprobieren sollte

9 Android-Bedienungshilfen, die jeder Benutzer ausprobieren sollte

Obwohl die Android-Bedienungshilfen für bestimmte Bedürfnisse entwickelt wurden, können einige davon für jeden von Nutzen sein.

5 Android-Funktionen für nahtloses Multitasking

5 Android-Funktionen für nahtloses Multitasking

Das Jonglieren mit mehreren Apps auf dem Smartphone kann manchmal überwältigend sein. Glücklicherweise bietet Android zahlreiche Funktionen, die Multitasking zum Kinderspiel machen.

So deaktivieren Sie den Tastenvibrationseffekt auf Android

So deaktivieren Sie den Tastenvibrationseffekt auf Android

Die meisten virtuellen Tastatur-Apps verfügen über eine Vibrations-Feedback-Funktion – auch als „haptisches Feedback“ bekannt –, um das Tippen auf einem Touchscreen realistischer zu gestalten.

Warum sollten Sie gleichzeitig ein iPhone und ein Android-Telefon verwenden?

Warum sollten Sie gleichzeitig ein iPhone und ein Android-Telefon verwenden?

Die Kombination aus iPhone und Android-Telefon bietet Vorteile, die es lohnenswert machen, beide mit sich zu führen.

So aktivieren Sie Cookies auf einem Android-Telefon

So aktivieren Sie Cookies auf einem Android-Telefon

Quantrimang zeigt Ihnen, wie Sie Cookies auf Android-Telefonen sowohl in Google Chrome als auch in Mozilla Firefox aktivieren.

So öffnen Sie schnell die Kamera auf Android-Telefonen

So öffnen Sie schnell die Kamera auf Android-Telefonen

Fotografie ist eine großartige Möglichkeit, unvergessliche Momente in unserem Leben festzuhalten.

So beheben Sie den Fehler „Mikrofon funktioniert nicht“ auf einem Android-Telefon

So beheben Sie den Fehler „Mikrofon funktioniert nicht“ auf einem Android-Telefon

Obwohl Probleme mit dem Mikrofon bei Android-Geräten recht häufig sind, können Sie sie mit den folgenden Schritten zur Fehlerbehebung beheben.

So installieren Sie Copilot als virtuellen Assistent auf Android

So installieren Sie Copilot als virtuellen Assistent auf Android

Android-Benutzer können Microsoft Copilot als virtuellen Assistenten auf ihrem Telefon installieren, ähnlich wie sie Gemini als virtuellen Assistenten auf Android verwenden.

So vergrößern Sie die Android-Tastatur

So vergrößern Sie die Android-Tastatur

Um die Navigation auf Ihrem Mobilgerät zu vereinfachen, können Sie die Schriftgröße unter Android ändern. Wenn Text, Schriftarten und Symbole besser zu erkennen sind, können Sie auch Ihre Android-Tastatur vergrößern.

Was ist der Unterschied zwischen Samsung- und Android-Telefonen?

Was ist der Unterschied zwischen Samsung- und Android-Telefonen?

Wer sich nicht mit Technik auskennt, kann leicht durch die verschiedenen Betriebssysteme, Hersteller, Gerätemodelle und Spezifikationen verwirrt werden. Ein Beispiel dafür ist die Annahme, Samsung und Android seien synonym, was nicht ganz richtig ist.

So minimieren Sie Chrome-Links, die von Android-Apps geöffnet werden

So minimieren Sie Chrome-Links, die von Android-Apps geöffnet werden

Wenn Sie in Chrome einen Link aus einer Android-App öffnen, verschwindet die App. So minimieren Sie einen aus einer Android-App geöffneten Chrome-Link.

Die 5 besten Android-Telefone von heute

Die 5 besten Android-Telefone von heute

Egal, ob Sie nach dem Neusten und Besten suchen oder eine preisgünstige Option wünschen, die dennoch ein gutes Smartphone-Erlebnis bietet, dies sind die besten derzeit erhältlichen Android-Telefone.

Dynamisches Insel-Cover-Hintergrundbild für iPhone 14 Pro und Pro Max

Dynamisches Insel-Cover-Hintergrundbild für iPhone 14 Pro und Pro Max

Diese Sammlung von Pillen-Hintergrundbildern für das iPhone 14 Pro und Pro Max umfasst eine breite Palette von Hintergrundbildkategorien. Von berühmten Zeichentrickfiguren über mehrfarbige und monochrome Hintergrundbilder bis hin zu Natur-Hintergrundbildern ...

So aktivieren Sie Gmail-Benachrichtigungen auf dem iPhone

So aktivieren Sie Gmail-Benachrichtigungen auf dem iPhone

Mit Gmail auf dem iPhone können Benutzer E-Mail-Benachrichtigungen entsprechend den individuellen Anforderungen erhalten, nur wichtige E-Mail-Benachrichtigungen erhalten, vorrangige E-Mail-Benachrichtigungen erhalten oder alle Arten von E-Mails über Gmail auf dem iPhone empfangen.

So überprüfen Sie, welche Apps auf Ihre Fotobibliothek auf dem iPhone zugreifen

So überprüfen Sie, welche Apps auf Ihre Fotobibliothek auf dem iPhone zugreifen

Können Sie sich noch erinnern, wie oft Sie eine App installiert, bei der Aufforderung zum Zugriff auf Fotos schnell auf „Zulassen“ getippt und dann ohne einen zweiten Gedanken weitergemacht haben?

So pinnen Sie freigegebene Inhalte in iPhone-Nachrichten an

So pinnen Sie freigegebene Inhalte in iPhone-Nachrichten an

iPhone-Nachrichten bietet die Möglichkeit, geteilte Inhalte anzuheften, sodass jeder sie sofort sehen kann. So fixieren Sie geteilte Inhalte in iPhone-Nachrichten.

So erstellen Sie eine Verknüpfung zum Neustarten des iPhone im Kontrollzentrum

So erstellen Sie eine Verknüpfung zum Neustarten des iPhone im Kontrollzentrum

Wenn Sie Ihr iPhone neu starten müssen, drücken Sie einfach die Verknüpfung „iPhone neu starten“ im Kontrollzentrum. Falls die Seitentaste defekt ist, können wir diese Methode verwenden.

So deaktivieren Sie die auf dem iPhone-Sperrbildschirm angezeigten Musikvorschläge

So deaktivieren Sie die auf dem iPhone-Sperrbildschirm angezeigten Musikvorschläge

Viele Nutzer mögen die Musikvorschläge auf dem iPhone-Sperrbildschirm nicht, weil sie störend oder unnötig sind. In diesem Fall können Sie die Musikvorschläge auf dem iPhone-Sperrbildschirm gemäß den folgenden Anweisungen deaktivieren.

So richten Sie eine Medikamentenerinnerung auf dem iPhone ein

So richten Sie eine Medikamentenerinnerung auf dem iPhone ein

Mit dem neuen iOS 17-Update hat Apple dem iPhone eine Medikamentenerinnerungsfunktion hinzugefügt, mit der Sie Ihren Medikamentenplan ganz einfach im Auge behalten können.

So verwenden Sie die Porträtmodi des iPhone

So verwenden Sie die Porträtmodi des iPhone

Sechs verschiedene Beleuchtungsstile sind im Porträtmodus des iPhone integriert. Aber sie sind nicht nur für Selfies gedacht.

10 Samsung Galaxy-Funktionen, die jedes Android-Telefon kennen sollte

10 Samsung Galaxy-Funktionen, die jedes Android-Telefon kennen sollte

Wenn Sie bereits seit einigen Jahren ein Samsung-Telefon verwenden, werden Sie feststellen, dass die großartigen Funktionen der Galaxy-Reihe kaum zu übertreffen sind.

So aktualisieren Sie die Google Play-Dienste auf Android

So aktualisieren Sie die Google Play-Dienste auf Android

Mit der neuesten Version der Google Play-Dienste stellen Sie sicher, dass Ihre Apps einwandfrei funktionieren. So aktualisieren Sie die Google Play-Dienste auf Android.