So installieren und führen Sie LLM lokal auf einem Android-Telefon aus

Durch die lokale Ausführung großer Sprachmodelle (LLMs) auf Ihrem Android-Smartphone können Sie auf KI-Modelle zugreifen, ohne auf Cloud-Server oder eine Internetverbindung angewiesen zu sein . Diese lokale Konfiguration gewährleistet Datenschutz, da Ihre Daten sicher und auf dem Gerät gespeichert bleiben. Dank der Fortschritte bei mobiler Hardware ist die lokale Ausführung von KI-Modellen Realität geworden. Mit der MLC Chat App können Sie diese leistungsstarke Technologie direkt auf Ihrem Smartphone erleben.

In diesem Artikel wird erläutert, wie wichtig es ist, LLM lokal auf Android-Telefonen auszuführen, und es werden schrittweise Anweisungen zur Installation und Ausführung mithilfe der MLC-Chat-App bereitgestellt.

Warum LLM auf einem Android-Telefon ausführen?

LLMs werden typischerweise auf Cloud-Servern ausgeführt, da sie erhebliche Rechenleistung erfordern. Android-Smartphones unterliegen zwar einigen Einschränkungen bei der Ausführung von LLMs, eröffnen aber auch interessante Möglichkeiten.

• Verbesserter Datenschutz : Da alle Berechnungen auf dem Telefon stattfinden, bleiben Ihre Daten lokal, was für alle vertraulichen Informationen, die Sie weitergeben, wichtig ist.
• Offline-Zugriff : Für den Zugriff auf diese Modelle und die Interaktion mit ihnen ist keine ständige Internetverbindung erforderlich. Dies ist besonders nützlich für Benutzer in abgelegenen Gebieten oder mit eingeschränkter Internetverbindung.
• Kostengünstig : Der Betrieb von LLM auf Cloud-Servern verursacht Betriebskosten wie Cloud-Rechenleistung und Speicherplatz. Dieser Ansatz bietet eine kostengünstige Lösung für Benutzer.

Schritt-für-Schritt-Anleitung zum Installieren und Ausführen von MLC Chat auf Android

Die MLC-Chat-Anwendung ermöglicht Benutzern die lokale Ausführung und Interaktion mit großen Sprachmodellen (LLMs) auf verschiedenen Geräten, einschließlich Mobiltelefonen, ohne auf Cloud-basierte Dienste angewiesen zu sein. Befolgen Sie die folgenden Schritte, um LLMs lokal auf einem Android-Gerät auszuführen.

Schritt 1: Installieren Sie die MLC Chat-Anwendung

Zuerst müssen Sie die APK für die MLC Chat-App (112 MB) über den unten stehenden Link herunterladen.

MLC Chat-Anwendung APK-Datei

Sobald die APK heruntergeladen ist, tippen Sie auf die Datei, um die Installation zu starten.

Schritt 2: LLM herunterladen

Öffnen Sie die App nach erfolgreicher Installation. Sie sehen dann eine Liste der zum Download verfügbaren LLMs. Es stehen Modelle unterschiedlicher Größe und Kapazität zur Verfügung, wie zum Beispiel LLama-3.2, Phi-3.5 und Mistral. Wählen Sie das passende Modell aus und tippen Sie auf das Download-Symbol daneben, um den Download zu starten. Wenn Sie beispielsweise ein Mittelklasse-Smartphone wie das Redmi Note 10 verwenden, wählen Sie für eine reibungslosere Leistung ein leichtes Modell wie Qwen-2.5.

Schritt 3: Führen Sie das installierte LLM aus

Sobald das Modell heruntergeladen ist, wird daneben ein Chat-Symbol angezeigt. Tippen Sie auf das Symbol, um mit der Modellierung zu beginnen.

Sobald das Modell fertig ist, können Sie mit der Eingabe von Eingabeaufforderungen und der Interaktion mit dem lokalen LLM beginnen.

Auf einem Gerät wie dem Redmi Note 10 beispielsweise bietet die Ausführung eines kleineren Modells wie Qwen2.5 ein relativ reibungsloses Erlebnis und generiert etwa 1,4 Token pro Sekunde. Diese Leistung ist zwar langsamer als bei High-End-Geräten wie dem Galaxy S23 Ultra , funktioniert aber für grundlegende Aufgaben wie kurze Chats und die Erstellung einfacher Inhalte immer noch gut.

Die lokale Ausführung von LLM auf Android-Geräten über die MLC Chat-App bietet eine zugängliche und datenschutzfreundliche Möglichkeit zur Interaktion mit KI-Modellen. Die Leistung hängt stark von der Hardware des Telefons ab. Diese Lösung ist ideal für Nutzer, die Offline-Zugriff auf KI-Modelle benötigen, in Echtzeit mit LLM experimentieren oder sich um den Datenschutz sorgen. Mit der kontinuierlichen Verbesserung mobiler Hardware werden die Möglichkeiten des lokalen LLM stetig erweitert, was dies zu einem spannenden Bereich für die KI-Technologie macht.