Die USB-KI

Die USB-KI: Das unzensierte Sprachmodell für die Hosentasche

Neben statischem Offline-Wissen wie Wikipedia oder dem AutarkWiki (siehe DIY Prepper Disk) ermöglicht es modernste Open-Source-Technologie, eine voll funktionsfähige Künstliche Intelligenz (KI) komplett offline auf einem USB-Stick oder einer externen Festplatte mitzuführen.

Im Krisenfall oder bei weitreichender Internetzensur mutiert dieser USB-Stick zum digitalen Berater im Basislager. Er liefert logische Antworten, übersetzt Sprachen, schreibt Programmcode oder diagnostiziert technische und medizinische Probleme (als Orientierungshilfe) – rein auf der Hardware eines alten Laptops, ohne jemals ein einziges Datenpaket ins Internet zu senden.

Die Philosophie: Ein wandelndes Gehirn ohne Netzzwang

Klassische KI-Systeme wie ChatGPT oder Copilot sind gigantische Systeme, die auf riesige Rechenzentren angewiesen sind. Wird das Internet gekappt oder zensiert, sind sie sofort unerreichbar.

Die USB-KI bricht diese Abhängigkeit auf. Dank extrem effizienter Komprimierungsverfahren (Quantisierung) wurden hochentwickelte Sprachmodelle (LLMs / SLMs) so stark geschrumpft (auf ca. 1,5 bis 5 Gigabyte), dass sie vollständig in den normalen Arbeitsspeicher (RAM) eines herkömmlichen Laptops oder PCs passen.

Das technische Fundament: Llamafile

Der absolute Goldstandard für die USB-KI ist das quelloffene Projekt Llamafile (initiiert von Mozilla-Entwicklern).

Llamafile nutzt sogenannte Cosmopolitan Executables. Das bedeutet für die Praxis: Das KI-Modell, die Berechnungslogik und eine lokale Web-Benutzeroberfläche sind in einer einzigen ausführbaren Datei verschmolzen.

• Keine Installation: Es müssen keine Treiber, kein Python und keine komplexen Abhängigkeiten installiert werden.
• Plattformübergreifend: Dieselbe Datei läuft per Doppelklick unter Linux, Windows, macOS und BSD-Systemen.
• Ressourcenschonend: Das System benötigt keine teure Grafikkarte (VRAM). Es berechnet die Antworten rein auf dem Hauptprozessor (CPU) älterer Computer.

Hardware-Voraussetzungen für das Basislager

Um die USB-KI von deinem Stick auf einem Rechner zu starten, muss dieser lediglich minimale Kriterien erfüllen:

• Der USB-Stick: Ein schneller USB-3.0- oder USB-3.1-Stick (oder eine externe SSD) mit mindestens 16 bis 32 GB freiem Speicherplatz.
• Der Prozessor (CPU): Nahezu jeder Prozessor ab dem Baujahr 2011 (Intel ab Sandy-Bridge-Generation, z. B. legendäre Off-Grid-Laptops wie das ThinkPad X220) wird unterstützt, da lediglich der AVX-Befehlssatz benötigt wird.
• Arbeitsspeicher (RAM): Ein Minimum von 8 GB RAM ist der Sweetspot für flüssige Antworten. Sehr kleine Modelle laufen im Notfall sogar mit 4 GB RAM.

Empfohlene Offline-Modelle für den Stick

Für den autarken Einsatz auf dem USB-Stick empfehlen wir im Wiki hochgradig optimierte Small Language Models (SLMs) im `.llamafile`- oder `.gguf`-Format:

• Qwen-2.5-7B-Instruct: Extrem stark in Logik, Programmcode und deutscher Sprache. Benötigt einen Laptop mit ca. 8–16 GB RAM.
• Llama-3-8B-Instruct (Quantisiert auf Q4_K_M): Der weltweite Open-Source-Standard für komplexe Alltagsfragen und technische Analysen.
• Qwen-2.5-1.5B oder Gemma-2-2B: Die absolute „Leichtbau-KI“. Sie verbraucht kaum Speicher und tippt ihre Antworten selbst auf uralten Dual-Core-Prozessoren in rasanter Geschwindigkeit herunter.

Schritt-für-Schritt: So erstellst du deine USB-KI

1. Speichermedium vorbereiten: Formatiere einen schnellen USB-3.0-Stick im exFAT- oder NTFS-Format.
2. Llamafile herunterladen: Besuche das offizielle GitHub-Repository von Llamafile oder Hugging Face und lade das gewünschte Komplettmodell (z. B. `Llava-v1.5-7b-Q4_K.llamafile` oder ein Qwen-Llamafile) direkt auf den Stick herunter.
3. Datei umbenennen (für Windows-Nutzer): Falls du Windows nutzt, hänge an das Ende des Dateinamens einfach ein `.exe` an (z. B. `mein-modell.llamafile.exe`).
4. Ausführbar machen (für Linux / macOS): Öffne das Terminal im Verzeichnis des Sticks und mache die Datei mit folgendem Befehl ausführbar:

   `chmod +x dateiname.llamafile`

5. Starten im Feld: Stecke den Stick in den Rechner und mache einen Doppelklick auf die Datei. Ein lokales Terminal öffnet sich und startet vollautomatisch den lokalen Webserver. Öffne den Browser unter `http://127.0.0.1:8080`. Deine private, unzensierte KI ist einsatzbereit.

Einbindung in das autarke WLAN-Ökosystem

Der wahre Genialitätsstreich passiert, wenn die USB-KI auf dem Laptop gestartet wird, der im lokalen Notfunk-WLAN (z. B. der Prepper Disk) hängt:

Der Laptop-Nutzer muss die KI nicht alleine nutzen. Startet man Llamafile mit dem Parameter `--host 0.0.0.0`, kann jedes Gruppenmitglied im Feld mit seinem Smartphone den Webbrowser öffnen, die lokale IP-Adresse des Laptops eingeben (z. B. `http://192.168.178.50:8080`) und über sein Handy drahtlos mit der Offline-KI im Basislager chatten.

Fazit

Die USB-KI bringt die Dezentralisierung von Wissen auf die nächste Stufe: Während die Prepper Disk als statische Enzyklopädie dient, agiert die USB-KI als dynamischer Werkzeugkasten für Problemlösungen – vollkommen unzensiert, krisenfest und autonom.