So installieren und führen Sie LLM lokal auf einem Android-Telefon aus

Durch die lokale Ausführung großer Sprachmodelle (LLMs) auf Ihrem Android-Smartphone können Sie auf KI-Modelle zugreifen, ohne auf Cloud-Server oder eine Internetverbindung angewiesen zu sein . Diese lokale Konfiguration gewährleistet Datenschutz, da Ihre Daten sicher und auf dem Gerät gespeichert bleiben. Dank der Fortschritte bei mobiler Hardware ist die lokale Ausführung von KI-Modellen Realität geworden. Mit der MLC Chat App können Sie diese leistungsstarke Technologie direkt auf Ihrem Smartphone erleben.

In diesem Artikel wird erläutert, wie wichtig es ist, LLM lokal auf Android-Telefonen auszuführen, und es werden schrittweise Anweisungen zur Installation und Ausführung mithilfe der MLC-Chat-App bereitgestellt.

Warum LLM auf einem Android-Telefon ausführen?

LLMs werden typischerweise auf Cloud-Servern ausgeführt, da sie erhebliche Rechenleistung erfordern. Android-Smartphones unterliegen zwar einigen Einschränkungen bei der Ausführung von LLMs, eröffnen aber auch interessante Möglichkeiten.

  • Verbesserter Datenschutz : Da alle Berechnungen auf dem Telefon stattfinden, bleiben Ihre Daten lokal, was für alle vertraulichen Informationen, die Sie weitergeben, wichtig ist.
  • Offline-Zugriff : Für den Zugriff auf diese Modelle und die Interaktion mit ihnen ist keine ständige Internetverbindung erforderlich. Dies ist besonders nützlich für Benutzer in abgelegenen Gebieten oder mit eingeschränkter Internetverbindung.
  • Kostengünstig : Der Betrieb von LLM auf Cloud-Servern verursacht Betriebskosten wie Cloud-Rechenleistung und Speicherplatz. Dieser Ansatz bietet eine kostengünstige Lösung für Benutzer.

Schritt-für-Schritt-Anleitung zum Installieren und Ausführen von MLC Chat auf Android

Die MLC-Chat-Anwendung ermöglicht Benutzern die lokale Ausführung und Interaktion mit großen Sprachmodellen (LLMs) auf verschiedenen Geräten, einschließlich Mobiltelefonen, ohne auf Cloud-basierte Dienste angewiesen zu sein. Befolgen Sie die folgenden Schritte, um LLMs lokal auf einem Android-Gerät auszuführen.

Schritt 1: Installieren Sie die MLC Chat-Anwendung

Zuerst müssen Sie die APK für die MLC Chat-App (112 MB) über den unten stehenden Link herunterladen.

MLC Chat-Anwendung APK-Datei

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus
Installieren Sie die MLC Chat-App

Sobald die APK heruntergeladen ist, tippen Sie auf die Datei, um die Installation zu starten.

Schritt 2: LLM herunterladen

Öffnen Sie die App nach erfolgreicher Installation. Sie sehen dann eine Liste der zum Download verfügbaren LLMs. Es stehen Modelle unterschiedlicher Größe und Kapazität zur Verfügung, wie zum Beispiel LLama-3.2, Phi-3.5 und Mistral. Wählen Sie das passende Modell aus und tippen Sie auf das Download-Symbol daneben, um den Download zu starten. Wenn Sie beispielsweise ein Mittelklasse-Smartphone wie das Redmi Note 10 verwenden, wählen Sie für eine reibungslosere Leistung ein leichtes Modell wie Qwen-2.5.

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus
LLM herunterladen

Schritt 3: Führen Sie das installierte LLM aus

Sobald das Modell heruntergeladen ist, wird daneben ein Chat-Symbol angezeigt. Tippen Sie auf das Symbol, um mit der Modellierung zu beginnen.

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus
Führen Sie das installierte LLM aus

Sobald das Modell fertig ist, können Sie mit der Eingabe von Eingabeaufforderungen und der Interaktion mit dem lokalen LLM beginnen.

So installieren und führen Sie LLM lokal auf einem Android-Telefon aus

Auf einem Gerät wie dem Redmi Note 10 beispielsweise bietet die Ausführung eines kleineren Modells wie Qwen2.5 ein relativ reibungsloses Erlebnis und generiert etwa 1,4 Token pro Sekunde. Diese Leistung ist zwar langsamer als bei High-End-Geräten wie dem Galaxy S23 Ultra , funktioniert aber für grundlegende Aufgaben wie kurze Chats und die Erstellung einfacher Inhalte immer noch gut.

Die lokale Ausführung von LLM auf Android-Geräten über die MLC Chat-App bietet eine zugängliche und datenschutzfreundliche Möglichkeit zur Interaktion mit KI-Modellen. Die Leistung hängt stark von der Hardware des Telefons ab. Diese Lösung ist ideal für Nutzer, die Offline-Zugriff auf KI-Modelle benötigen, in Echtzeit mit LLM experimentieren oder sich um den Datenschutz sorgen. Mit der kontinuierlichen Verbesserung mobiler Hardware werden die Möglichkeiten des lokalen LLM stetig erweitert, was dies zu einem spannenden Bereich für die KI-Technologie macht.

Sign up and earn $1000 a day ⋙

Leave a Comment

Diese Einstellung kann die Akkulaufzeit Ihres Telefons besser verlängern, als Sie denken.

Diese Einstellung kann die Akkulaufzeit Ihres Telefons besser verlängern, als Sie denken.

Sie glauben vielleicht, Sie wüssten, wie Sie Ihre Telefonzeit optimal nutzen können, aber wahrscheinlich wissen Sie nicht, wie groß der Unterschied ist, den diese allgemeine Einstellung macht.

Warum Sie dem Kompass Ihres Telefons nicht blind vertrauen sollten?

Warum Sie dem Kompass Ihres Telefons nicht blind vertrauen sollten?

Wenn Sie schon einmal den integrierten Kompass Ihres Telefons verwendet haben und das Gefühl hatten, dass etwas nicht stimmt, dann stimmt wahrscheinlich etwas damit nicht.

Android System Key Verifier schützt Sie vor Betrügern und Nachahmern, ohne dass Sie es merken.

Android System Key Verifier schützt Sie vor Betrügern und Nachahmern, ohne dass Sie es merken.

Die Android System Key Verifier-App ist als System-App auf Android-Geräten mit Version 8.0 oder höher vorinstalliert.

6 versteckte Tricks, die auf Samsung-Kameras angewendet werden können

6 versteckte Tricks, die auf Samsung-Kameras angewendet werden können

Früher waren die Leute auf separate Apps angewiesen, um QR-Codes zu scannen. Dann öffneten sie eines Tages ihre Samsung-Kamera und sahen, dass ein Link hervorgehoben wurde, sobald sie die Kamera darauf richteten.

Einfache und schnelle Android-Root-Anleitung

Einfache und schnelle Android-Root-Anleitung

Nach dem Rooten Ihres Android-Telefons haben Sie vollen Systemzugriff und können viele Arten von Apps ausführen, die Root-Zugriff erfordern.

So verhindern Telefondiebe, dass Sie Ihr Gerät orten können!

So verhindern Telefondiebe, dass Sie Ihr Gerät orten können!

Obwohl sowohl Android als auch iOS über Geräteverfolgungsfunktionen verfügen, gibt es dennoch viele Möglichkeiten, mit denen Diebe verhindern können, dass Sie Ihr Telefon orten können, wenn sie es einmal gestohlen haben.

Was tun, um Daten zurückzubekommen, wenn das Telefon gestohlen wurde?

Was tun, um Daten zurückzubekommen, wenn das Telefon gestohlen wurde?

Der Verlust Ihres Telefons ist eine der frustrierendsten Erfahrungen, die Sie machen können. Auch wenn Sie Ihr altes Gerät möglicherweise nicht zurückbekommen, gibt es Möglichkeiten, Ihre Daten wiederherzustellen.

Viel Spaß mit diesen 6 Apps zur Stimmveränderung auf Android

Viel Spaß mit diesen 6 Apps zur Stimmveränderung auf Android

Wollten Sie Ihren Freunden schon immer mal mit einer albernen Stimme einen Streich spielen? Dank einiger Smartphone-Apps benötigen Sie dafür keine umfangreiche Computersoftware mehr.

Anweisungen zum Sperren der Schnelleinstellungen auf Android

Anweisungen zum Sperren der Schnelleinstellungen auf Android

Um zu verhindern, dass andere die Schnelleinstellungen auf Android anpassen können, sollten Sie die Schnelleinstellungen sperren, indem Sie die folgenden Anweisungen befolgen.

So deaktivieren Sie Google Assistant auf dem Sperrbildschirm

So deaktivieren Sie Google Assistant auf dem Sperrbildschirm

Google Assistant funktioniert auf dem Sperrbildschirm und jeder kann auf Ihr Telefon zugreifen. Deaktivieren Sie daher Google Assistant auf dem Sperrbildschirm.

So verwandeln Sie Ihr Telefon mit DroidCam in eine Webcam für Ihren Computer

So verwandeln Sie Ihr Telefon mit DroidCam in eine Webcam für Ihren Computer

Der folgende Artikel erklärt Ihnen, wie Sie Droidcam auf Ihrem Computer und Telefon verwenden und gibt Ihnen einige Vorschläge für einen perfekten Videoanruf!

So entfernen Sie eine Zahlungsmethode aus Google Play

So entfernen Sie eine Zahlungsmethode aus Google Play

Vielleicht ist Ihre Google Play-Zahlungskarte abgelaufen oder Sie möchten zu einer neuen Bank wechseln. So entfernen Sie eine Zahlungsmethode aus Ihrem Google Play-Konto.

So deinstallieren und installieren Sie den Google Play Store auf Android neu

So deinstallieren und installieren Sie den Google Play Store auf Android neu

Wenn mit diesem Tool auf Ihrem Android-Telefon ein Problem auftritt, ist die Deinstallation und Neuinstallation des Google Play Store manchmal eine der empfohlenen Lösungen.

So installieren Sie XAPK-Dateien auf Android

So installieren Sie XAPK-Dateien auf Android

Wenn Sie Android nutzen, kennen Sie wahrscheinlich den Begriff APK. Aber wussten Sie, dass es auch XAPK gibt? Diese Anleitung erklärt, was XAPK-Dateien sind und wie Sie sie auf Ihrem Gerät installieren.

Schnelle Android-Reinigungstipps, um Gigabyte an Speicherplatz zurückzugewinnen

Schnelle Android-Reinigungstipps, um Gigabyte an Speicherplatz zurückzugewinnen

Das Freigeben von Speicherplatz auf Ihrem Android-Telefon macht keinen Spaß, muss aber nicht langweilig sein. Mit der Dateien-App von Google wird die oft langsame manuelle Bereinigung zu einem schnellen und einfachen Vorgang.

So deaktivieren Sie den Unschärfeeffekt des Sperrbildschirms auf dem iPhone

So deaktivieren Sie den Unschärfeeffekt des Sperrbildschirms auf dem iPhone

Ab iOS 26 hat Apple die Funktion „Always On Display“ um eine neue Einstellung erweitert, mit der Sie das Hintergrundbild unscharf machen können. Wenn Sie diesen Unschärfeeffekt nicht wünschen und den Hintergrund klar sehen möchten, deaktivieren Sie ihn gemäß den folgenden Anweisungen.

Anleitung zum Zusammenführen freigegebener Alben auf dem iPhone

Anleitung zum Zusammenführen freigegebener Alben auf dem iPhone

Wenn Sie ein gemeinsames Album auf dem iPhone an eine andere Person senden, muss diese der Teilnahme zustimmen. Es gibt verschiedene Möglichkeiten, Einladungen zum Teilen eines Albums auf dem iPhone anzunehmen, wie unten gezeigt.

So finden Sie verlorene AirPods

So finden Sie verlorene AirPods

Da AirPods klein und leicht sind, können sie leicht verloren gehen. Die gute Nachricht: Bevor Sie Ihr ganzes Haus auf der Suche nach Ihren fehlenden Ohrhörern auf den Kopf stellen, können Sie sie mit Ihrem iPhone orten.

So stellen Sie gelöschte Passwörter auf dem iPhone wieder her

So stellen Sie gelöschte Passwörter auf dem iPhone wieder her

Mit dem iCloud-Schlüsselbund können Sie Ihre Passwörter speichern und einfach auf Ihrem iPhone darauf zugreifen. So stellen Sie gelöschte Passwörter auf Ihrem iPhone wieder her.

So zeigen Sie den Anrufverlauf auf dem iPhone an und löschen ihn

So zeigen Sie den Anrufverlauf auf dem iPhone an und löschen ihn

Die Telefon-App auf dem iPhone wurde beim Upgrade auf iOS 18 mit einer Anrufverlaufssuchfunktion aktualisiert. Nachfolgend finden Sie Anweisungen zum Durchsuchen des Anrufverlaufs auf dem iPhone.

Wie lässt man sich vom iPhone Text vorlesen?

Wie lässt man sich vom iPhone Text vorlesen?

Accessibility Reader auf dem iPhone ist eine Text-to-Speech-Funktion, mit der Sie Inhalte verfolgen können, ohne sie direkt sehen zu müssen.

Diese Einstellung kann die Akkulaufzeit Ihres Telefons besser verlängern, als Sie denken.

Diese Einstellung kann die Akkulaufzeit Ihres Telefons besser verlängern, als Sie denken.

Sie glauben vielleicht, Sie wüssten, wie Sie Ihre Telefonzeit optimal nutzen können, aber wahrscheinlich wissen Sie nicht, wie groß der Unterschied ist, den diese allgemeine Einstellung macht.

Warum Sie dem Kompass Ihres Telefons nicht blind vertrauen sollten?

Warum Sie dem Kompass Ihres Telefons nicht blind vertrauen sollten?

Wenn Sie schon einmal den integrierten Kompass Ihres Telefons verwendet haben und das Gefühl hatten, dass etwas nicht stimmt, dann stimmt wahrscheinlich etwas damit nicht.

Android System Key Verifier schützt Sie vor Betrügern und Nachahmern, ohne dass Sie es merken.

Android System Key Verifier schützt Sie vor Betrügern und Nachahmern, ohne dass Sie es merken.

Die Android System Key Verifier-App ist als System-App auf Android-Geräten mit Version 8.0 oder höher vorinstalliert.

So aktivieren Sie die Benachrichtigung zur Reinigung der iPhone-Kamera

So aktivieren Sie die Benachrichtigung zur Reinigung der iPhone-Kamera

In iOS 26 verfügt Apple über eine nützliche neue Funktion, die Benutzer benachrichtigt, dass das iPhone-Kameraobjektiv gereinigt werden muss, wenn es verschmutzt ist.

Löschen Sie diese 10 vorinstallierten Apps sofort nach dem Kauf Ihres iPhones!

Löschen Sie diese 10 vorinstallierten Apps sofort nach dem Kauf Ihres iPhones!

Auf dem iPhone sind Dutzende Apps vorinstalliert, die Ihnen den Einstieg erleichtern. Doch nicht alle davon sind es wert, behalten zu werden. Sicher, einige sind wirklich nützlich und unverzichtbar, andere hingegen bleiben einfach da, ohne einen großen Mehrwert zu bieten.

5 Tipps zum Anzeigen des Computerverlaufs auf dem iPhone

5 Tipps zum Anzeigen des Computerverlaufs auf dem iPhone

Obwohl es auf dem iPhone keine Option zum Anzeigen des Computerverlaufs gibt, stehen den Benutzern einige Möglichkeiten zur Verfügung, den Computerverlauf auf dem iPhone zu überprüfen.

6 versteckte Tricks, die auf Samsung-Kameras angewendet werden können

6 versteckte Tricks, die auf Samsung-Kameras angewendet werden können

Früher waren die Leute auf separate Apps angewiesen, um QR-Codes zu scannen. Dann öffneten sie eines Tages ihre Samsung-Kamera und sahen, dass ein Link hervorgehoben wurde, sobald sie die Kamera darauf richteten.

Einfache und schnelle Android-Root-Anleitung

Einfache und schnelle Android-Root-Anleitung

Nach dem Rooten Ihres Android-Telefons haben Sie vollen Systemzugriff und können viele Arten von Apps ausführen, die Root-Zugriff erfordern.

So antworten Sie automatisch in Mail auf dem iPhone

So antworten Sie automatisch in Mail auf dem iPhone

Sie können die Mail-App verwenden, um eine Abwesenheitsnachricht einzurichten, wenn Sie Mail auf Ihrem iPhone nicht oft verwenden, oder eine automatische Nachricht in iCloud Mail einrichten.