KI-Chat mit lokalem Sprachmodell –
offline und privat

Qwen, Gemma und Llama sind die gängigen Familien, dazu rund fünfzig Varianten in der Bibliothek. Zur Einordnung aus dem Programm selbst: qwen3:8b belegt 5,2 GB, llama3.1:8b 4,9 GB, gemma3:12b 8,1 GB, qwen3:14b 9,0 GB. Der Filter blendet aus, was ohnehin nicht auf deine Karte passt, und empfiehlt die größte Fassung, die bei dir noch bequem läuft.

Seit v2.7.7 dürfen auch lokale Modelle Werkzeuge benutzen. Ab etwa 25 Milliarden Parametern bekommt ein Modell im Chat die Werkzeugliste; unter 30 Milliarden eine gekürzte Kern-Liste mit rund 18 Werkzeugen (3,4 KB statt 52 KB), weil kleinere Modelle sonst anfangen, Aufrufe zu erfinden. Ab 30 Milliarden und bei Cloud-Modellen gibt es die volle Liste.

Das Kontextfenster wird gerechnet aus zwei Dingen: was das Modell kann, und was neben ihm noch auf die Karte passt. Der kleinere Wert gewinnt. Neben einem sehr großen Modell bleibt entsprechend wenig übrig. Wer ein großes Fenster will, nimmt ein kleineres Modell, eine größere Karte oder lagert aus – eine feste hohe Zahl wäre eine Zusage, die die Hardware nicht hält.

Bei 90 Prozent Auslastung sichert Qwirbel erst, statt still abzuschneiden. Angeheftete Zeilen überleben das Kürzen. Wie viele Nachrichten das Kurzzeitgedächtnis hält, lässt sich seit v2.9.2 selbst einstellen – Standard sind fünfzehn. Mehr hilft bei „mach noch eins", kostet aber bei jeder Antwort Marken.

Nach der einmaligen Aktivierung kannst du die Netzwerkverbindung trennen und weiterarbeiten. Es gibt keinen Dienst, der antworten müsste, damit das Programm startet, keine Warteschlange, wenn andere gerade viel nutzen, und keine Inhaltsfilter eines fremden Anbieters, die dir bei einem harmlosen Text die Antwort verweigern.

Wenn deine Karte für eine Aufgabe nicht reicht, trägst du deinen eigenen Schlüssel ein und lässt dort rechnen – bei API-Betrieb bleibt deine Karte dann komplett frei, auch für Nebensächliches wie Chat-Namen. Der Schalter „Komplett lokal" schaltet alle Anbieter mit einem Klick wieder ab.

Das hängt an deiner Hardware. Der Modell-Katalog blendet mit dem Filter „Passt auf meine Karte“ alles aus, was nicht in deinen Grafikspeicher passt – so wählst du nicht ins Blaue. Kleinere Modelle antworten schneller, größere gründlicher.

Sie können es, und ein Schlüssel ist dafür nicht nötig. Im Chat greift ein lokales Modell ab rund 25 Milliarden Parametern zuverlässig zu Werkzeugen, Websuche und Web-Lesen. Bei uns läuft dafür Gemma 26B als GGUF in einer starken Quantisierung (Q2) über die mitgelieferte Engine Klecks – es muss also nicht die größte Fassung des Modells sein, und dadurch passt es auch auf eine mittlere Grafikkarte. In Work und Code bekommen Modelle unter 30 Milliarden eine kompakte Kern-Liste mit den wichtigsten Werkzeugen, größere lokale Modelle und Cloud-Anbieter die vollständige. Der Grund ist einfach: Eine sehr lange Werkzeug-Liste im Prompt bringt kleinere Modelle zum Stolpern.

Nein. Es gibt keine Anmeldung und keine Kontopflicht. Der Lizenzschlüssel wird einmalig an das Gerät gebunden, danach arbeitet Qwirbel offline weiter.

Nein. Die Gespräche liegen auf deinem Rechner. Es gibt keine Übertragung an uns, und es findet kein Training mit deinen Inhalten statt.

Ja, das ist optional: Mit einem eigenen Schlüssel lassen sich externe Anbieter einbinden. Das ist deine freie Entscheidung – für den Betrieb ist es nicht nötig, und Bild-, Video- und Musikerzeugung bleiben in jedem Fall lokal.