Durch die lokale Ausführung großer Sprachmodelle (LLMs) auf Ihrem Android-Smartphone können Sie auf KI-Modelle zugreifen, ohne auf Cloud-Server oder eine Internetverbindung angewiesen zu sein . Diese lokale Konfiguration gewährleistet Datenschutz, da Ihre Daten sicher und auf dem Gerät gespeichert bleiben. Dank der Fortschritte bei mobiler Hardware ist die lokale Ausführung von KI-Modellen Realität geworden. Mit der MLC Chat App können Sie diese leistungsstarke Technologie direkt auf Ihrem Smartphone erleben.
In diesem Artikel wird erläutert, wie wichtig es ist, LLM lokal auf Android-Telefonen auszuführen, und es werden schrittweise Anweisungen zur Installation und Ausführung mithilfe der MLC-Chat-App bereitgestellt.
Warum LLM auf einem Android-Telefon ausführen?
LLMs werden typischerweise auf Cloud-Servern ausgeführt, da sie erhebliche Rechenleistung erfordern. Android-Smartphones unterliegen zwar einigen Einschränkungen bei der Ausführung von LLMs, eröffnen aber auch interessante Möglichkeiten.
Schritt-für-Schritt-Anleitung zum Installieren und Ausführen von MLC Chat auf Android
Die MLC-Chat-Anwendung ermöglicht Benutzern die lokale Ausführung und Interaktion mit großen Sprachmodellen (LLMs) auf verschiedenen Geräten, einschließlich Mobiltelefonen, ohne auf Cloud-basierte Dienste angewiesen zu sein. Befolgen Sie die folgenden Schritte, um LLMs lokal auf einem Android-Gerät auszuführen.
Schritt 1: Installieren Sie die MLC Chat-Anwendung
Zuerst müssen Sie die APK für die MLC Chat-App (112 MB) über den unten stehenden Link herunterladen.
Sobald die APK heruntergeladen ist, tippen Sie auf die Datei, um die Installation zu starten.
Schritt 2: LLM herunterladen
Öffnen Sie die App nach erfolgreicher Installation. Sie sehen dann eine Liste der zum Download verfügbaren LLMs. Es stehen Modelle unterschiedlicher Größe und Kapazität zur Verfügung, wie zum Beispiel LLama-3.2, Phi-3.5 und Mistral. Wählen Sie das passende Modell aus und tippen Sie auf das Download-Symbol daneben, um den Download zu starten. Wenn Sie beispielsweise ein Mittelklasse-Smartphone wie das Redmi Note 10 verwenden, wählen Sie für eine reibungslosere Leistung ein leichtes Modell wie Qwen-2.5.
Schritt 3: Führen Sie das installierte LLM aus
Sobald das Modell heruntergeladen ist, wird daneben ein Chat-Symbol angezeigt. Tippen Sie auf das Symbol, um mit der Modellierung zu beginnen.
Sobald das Modell fertig ist, können Sie mit der Eingabe von Eingabeaufforderungen und der Interaktion mit dem lokalen LLM beginnen.
Auf einem Gerät wie dem Redmi Note 10 beispielsweise bietet die Ausführung eines kleineren Modells wie Qwen2.5 ein relativ reibungsloses Erlebnis und generiert etwa 1,4 Token pro Sekunde. Diese Leistung ist zwar langsamer als bei High-End-Geräten wie dem Galaxy S23 Ultra , funktioniert aber für grundlegende Aufgaben wie kurze Chats und die Erstellung einfacher Inhalte immer noch gut.
Die lokale Ausführung von LLM auf Android-Geräten über die MLC Chat-App bietet eine zugängliche und datenschutzfreundliche Möglichkeit zur Interaktion mit KI-Modellen. Die Leistung hängt stark von der Hardware des Telefons ab. Diese Lösung ist ideal für Nutzer, die Offline-Zugriff auf KI-Modelle benötigen, in Echtzeit mit LLM experimentieren oder sich um den Datenschutz sorgen. Mit der kontinuierlichen Verbesserung mobiler Hardware werden die Möglichkeiten des lokalen LLM stetig erweitert, was dies zu einem spannenden Bereich für die KI-Technologie macht.
Ihr teures Samsung Galaxy muss nicht genauso aussehen wie jedes andere Telefon auf dem Markt. Mit ein paar Optimierungen können Sie es persönlicher, stilvoller und einzigartiger gestalten.
Nachdem ihnen iOS langweilig geworden war, wechselten sie schließlich zu Samsung-Telefonen und bereuen diese Entscheidung nicht.
Durch das Ändern des DNS auf dem iPhone oder dem DNS auf Android können Sie eine stabile Verbindung aufrechterhalten, die Geschwindigkeit der Netzwerkverbindung erhöhen und auf blockierte Websites zugreifen.
Viele Menschen hätten nie erwartet, dass die schwächste Kamera ihres Telefons zu einer Geheimwaffe für kreative Fotografie wird.
Mit Auto-Click-Anwendungen. Sie müssen beim Spielen, Verwenden von Anwendungen oder Aufgaben, die auf dem Gerät verfügbar sind, nicht viel tun.
Abhängig von Ihren Anforderungen erhalten Sie wahrscheinlich eine Reihe von Pixel-exklusiven Funktionen, die auf Ihrem vorhandenen Android-Gerät ausgeführt werden.
Die Lösung besteht nicht unbedingt darin, Ihre Lieblingsfotos oder -apps zu löschen. One UI enthält einige Optionen, mit denen Sie ganz einfach Speicherplatz freigeben können.
Die meisten von uns behandeln den Ladeanschluss ihres Smartphones, als wäre seine einzige Aufgabe, den Akku am Leben zu erhalten. Doch dieser kleine Anschluss ist viel leistungsfähiger, als man ihm zutraut.
Wenn Sie keine Lust mehr auf allgemeine Tipps haben, die nie funktionieren, finden Sie hier einige, die Ihre Art zu fotografieren still und leise verändert haben.
Wer auf der Suche nach einem neuen Smartphone ist, wirft natürlich als Erstes einen Blick auf das Datenblatt. Dort finden sich zahlreiche Hinweise zu Leistung, Akkulaufzeit und Displayqualität.
Die Emojimix-Anwendung erstellt einzigartige Emojis nach Ihren Wünschen, indem wir zwei Emojis miteinander mischen, um ein Emoji zu erstellen, das Sie noch nie zuvor gesehen haben.
Sehen Sie sich Digital Wellbeing auf Ihrem Samsung-Telefon an, um zu sehen, wie viel Zeit Sie tagsüber mit Ihrem Telefon verschwenden!
Mit der Anwendung „Fake Call“ können Sie Anrufe von Ihrem eigenen Telefon aus tätigen, um unangenehme, unerwünschte Situationen zu vermeiden.
Die neue Locket Widget-App hat eine Android-Version, nachdem iOS-Benutzer Locket Widget zuvor auf dem iPhone verwenden konnten.
Trotz des engen Ökosystems von Apple haben einige Leute ihre Android-Telefone in zuverlässige Fernbedienungen für ihr Apple TV verwandelt.
Ihr teures Samsung Galaxy muss nicht genauso aussehen wie jedes andere Telefon auf dem Markt. Mit ein paar Optimierungen können Sie es persönlicher, stilvoller und einzigartiger gestalten.
Nachdem ihnen iOS langweilig geworden war, wechselten sie schließlich zu Samsung-Telefonen und bereuen diese Entscheidung nicht.
Über die Weboberfläche Ihres Apple-Kontos in Ihrem Browser können Sie Ihre persönlichen Daten anzeigen, Einstellungen ändern, Abonnements verwalten und vieles mehr. Manchmal ist die Anmeldung jedoch aus verschiedenen Gründen nicht möglich.
Durch das Ändern des DNS auf dem iPhone oder dem DNS auf Android können Sie eine stabile Verbindung aufrechterhalten, die Geschwindigkeit der Netzwerkverbindung erhöhen und auf blockierte Websites zugreifen.
Wenn „Wo ist?“ ungenau oder unzuverlässig wird, können Sie die Genauigkeit mit ein paar Optimierungen erhöhen, wenn es am dringendsten benötigt wird.
Viele Menschen hätten nie erwartet, dass die schwächste Kamera ihres Telefons zu einer Geheimwaffe für kreative Fotografie wird.
Near Field Communication ist eine drahtlose Technologie, die es Geräten ermöglicht, Daten auszutauschen, wenn sie sich in unmittelbarer Nähe zueinander befinden, normalerweise innerhalb weniger Zentimeter.
Apple hat Adaptive Power eingeführt, das mit dem Energiesparmodus zusammenarbeitet. Beide verlängern die Akkulaufzeit des iPhones, funktionieren aber auf sehr unterschiedliche Weise.
Mit Auto-Click-Anwendungen. Sie müssen beim Spielen, Verwenden von Anwendungen oder Aufgaben, die auf dem Gerät verfügbar sind, nicht viel tun.
Abhängig von Ihren Anforderungen erhalten Sie wahrscheinlich eine Reihe von Pixel-exklusiven Funktionen, die auf Ihrem vorhandenen Android-Gerät ausgeführt werden.
Die Lösung besteht nicht unbedingt darin, Ihre Lieblingsfotos oder -apps zu löschen. One UI enthält einige Optionen, mit denen Sie ganz einfach Speicherplatz freigeben können.
Die meisten von uns behandeln den Ladeanschluss ihres Smartphones, als wäre seine einzige Aufgabe, den Akku am Leben zu erhalten. Doch dieser kleine Anschluss ist viel leistungsfähiger, als man ihm zutraut.
Wenn Sie keine Lust mehr auf allgemeine Tipps haben, die nie funktionieren, finden Sie hier einige, die Ihre Art zu fotografieren still und leise verändert haben.
Wer auf der Suche nach einem neuen Smartphone ist, wirft natürlich als Erstes einen Blick auf das Datenblatt. Dort finden sich zahlreiche Hinweise zu Leistung, Akkulaufzeit und Displayqualität.
Wenn Sie eine Anwendung aus einer anderen Quelle auf Ihrem iPhone installieren, müssen Sie manuell bestätigen, dass die Anwendung vertrauenswürdig ist. Anschließend wird die Anwendung zur Verwendung auf Ihrem iPhone installiert.
